02. 运行模式 - aliyun/MaxCompute-Spark GitHub Wiki
目前MaxCompute Spark支持以下几种运行方式:local模式,cluster模式,和在DataWorks中执行模式。
Local模式
local模式可用于小批量数据以及计算本地验证,local模式验证通过后再提交到yarn-cluster模式
说明 具体使用可参考Local模式
# /path/to/MaxCompute-Spark 请指向正确的编译出来后的application jar包
cd $SPARK_HOME
bin/spark-submit --master local[4] --class com.aliyun.odps.spark.examples.SparkPi \
/path/to/MaxCompute-Spark/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar
Cluster模式
说明 具体使用可参考Yarn Cluster模式
# /path/to/MaxCompute-Spark 请指向正确的编译出来后的application jar包
cd $SPARK_HOME
bin/spark-submit --master yarn-cluster --class com.aliyun.odps.spark.examples.SparkPi \
/path/to/MaxCompute-Spark/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar
DataWorks执行模式
Spark作业可以在DataWorks中进行调度,本质上也是采用了Yarn Cluster模式进行任务提交
说明 具体使用可参考Spark on Dataworks