问题状态

问题已解决

解决方案

主要设置以下两个参数，单位为秒，根据执行时间，设置相应值就可以，这里是300s，表示执行5min

spark.akka.timeout=300

spark.network.timeout=300

其他参考

可以考虑使用以下参数配置。

1. 效率及稳定性相关参数

建议打开map（注意，在spark引擎中，也只有map和reduce两种task，spark叫ShuffleMapTask和ResultTask）中间结果合并及推测执行功能：

spark.shuffle.consolidateFiles=true

spark.speculation=trure

2.  容错相关参数

建议将这些值调大，比如：

spark.task.maxFailures=8

spark.akka.timeout=300

spark.network.timeout=300

spark.yarn.max.executor.failures=100