将master参数改为 --master local[15]


15表示15个核。


完整代码如下:


cluster="*"
master="local[15]"
queue="*"
conf="spark.speculation=true"
jar_file="*"

spark-submit \
  --cluster $cluster \
  --class $class \
  --master $master \
  --queue $queue \
  --conf $conf \
  --driver-memory 6G \
  --executor-memory 4G \
  jars/$jar_file