部署文档 - NextMark/datashops GitHub Wiki

概览

DataShops作为分布式工作流编排及数据开发平台，支持部署在虚拟机下。 不同角色端口不同，支持独立部署及混合部署，但同一个实例只支持部署一个角色

依赖服务

• zookeeper 3.5.7+
• mysql 5.7.24+

核心组件版本

• flink 1.12.0
• sqoop 1.4.7-cdh6.3.2
• quartz 2.3.2

压缩包

下载最新的tar.gz压缩包

mkdir -p /opt/datashops

cd /opt/datashops

tar -zxvf datashops-0.0.1-bin.tar.gz -C /opt/datashops

mv datashops-0.0.1-bin  datashops-bin

源码编译

下载datashops源码，进入根目录，执行以下命令

mvn clean package -Dmaven.test.skip=true   

编译成功后会在当前目录生成output文件夹，里面包含压缩文件datashops-${version}-bin.tar.gz

部署

1. 安装mysql
2. 安装zookeeper
3. 解压datashops压缩包
4. 修改conf/quartz.properties，配置quartz所要使用的mysql地址
5. 修改conf/datashops.properties文件中zookeeper、mysql地址
6. 把hadoop集群中的三个配置文件放到conf下
   • core-site.xml
   • hdfs-site.xml
   • yarn-site.xml
7. 把flink配置文件放到conf/flink/flink-conf.yaml

数据库初始化

初始化quartz
    将conf/sql/datashops-quartz.sql表结构写入mysql中

初始化datashops元数据库
    将conf/sql/datashops-tables.sql表结构写入mysql中

端口

master: 8666
worker: 8667
api: 8668
master-rpc: 60000
worker-rpc: 60001

启动

datashops服务目前包含三个后端服务，分别是master、worker、api

master:
    bash bin/start.sh master
worker:
    bash bin/start.sh worker
api:
    bash bin/start.sh api

日志

在logs目录下会生成对应角色的日志

logs -
    api.log
    master.log
    worker.log