关键词： Spark架构, Spark优化
优化#
- 可靠性 驱动节点（Driver）失效 -> checkpoint
- ReduceByKey vs GroupByKey
ReduceByKey 先reduce，再shuffle， 更高效。
GroupByKey 先shuffle，再reduce。 - foreachRDD、foreachPartition和foreach 3个Action
与connection的关系
Spark公司内部培训
- 本文链接： https://www6v.github.io/www6vHomeHexo/2019/03/10/streamingSparkTrain/
- 版权声明： 本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！