spark作业的最大并行度
来源:千锋教育
发布人:wjy
2022-09-23
推荐
在线提问>>
spark作业的最大并行度=excutor个数*每个excutor的cpu core数 但spark的当前并行度取决于task数，而task数=分区数。
分区数可以通过spark.default.parallelism设置默认分区数，也可以在使用算子时显示地指定分区器和分区数量。
spark官方推荐设置分区数为最大并行度的2-3倍，这样可以保证提前计算的线程立刻被后面的task使用，并且每个task处理的数据量会更少。
