将master参数改为 --master local[15]
15表示15个核。
完整代码如下:
cluster="*" master="local[15]" queue="*" conf="spark.speculation=true" jar_file="*" spark-submit \ --cluster $cluster \ --class $class \ --master $master \ --queue $queue \ --conf $conf \ --driver-memory 6G \ --executor-memory 4G \ jars/$jar_file