Datax - zhongjiajie/zhongjiajie.github.com GitHub Wiki
DataX是阿里开源的异构数据同步框架
-
datax动态参数: 部分需要动态配置的datax参数可以通过
python datax.py -p"-Dparam=val" job.json
,如果有多个动态参数可以-p
后面加多个值python datax.py -p"-Dparam1=val1 -Dparam2=val2" job.json
-
想将HDFS中ds信息同步到目标库中,在reader字段中加入
${partition}
然后通过动态参数传递到datax中{ "value": "${partition}", "type": "string" }