02. 运行模式 - aliyun/MaxCompute-Spark GitHub Wiki

目前MaxCompute Spark支持以下几种运行方式:local模式,cluster模式,和在DataWorks中执行模式。

Local模式

local模式可用于小批量数据以及计算本地验证,local模式验证通过后再提交到yarn-cluster模式

说明 具体使用可参考Local模式

# /path/to/MaxCompute-Spark 请指向正确的编译出来后的application jar包
cd $SPARK_HOME
bin/spark-submit --master local[4] --class com.aliyun.odps.spark.examples.SparkPi \
/path/to/MaxCompute-Spark/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar

Cluster模式

说明 具体使用可参考Yarn Cluster模式

# /path/to/MaxCompute-Spark 请指向正确的编译出来后的application jar包
cd $SPARK_HOME
bin/spark-submit --master yarn-cluster --class com.aliyun.odps.spark.examples.SparkPi \
/path/to/MaxCompute-Spark/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar

DataWorks执行模式

Spark作业可以在DataWorks中进行调度,本质上也是采用了Yarn Cluster模式进行任务提交

说明 具体使用可参考Spark on Dataworks