Flink集群管理

release 管理

• 查看 release 列表
• 加载 release
• 上传 release
• 下载 release

集群和任务

集群功能

资源管理

管理 Standalone，YARN，Native kubernetes 资源模式下所需要的资源连接信息。

• YARN。需要通过 HADOOP_HOME 或 HADOOP_CONF_DIR 配置 hadoop 连接地址。
• Native Kubernetes。需提供 kubeconfig 文件信息连接到 kubernetes。

除了配置文件，flink 也支持一些通用的配置信息来代替 core-site.xml 和 hdfs-site.xml 等配置文件中的内容

• YARN
• Kubernetes

资源管理功能如下：

• 资源列表
• 上传资源
• 下载资源
• 删除资源

配置管理

除了配置文件，flink 也支持一些通用的配置信息来代替 core-site.xml 和 hdfs-site.xml 等配置文件中的内容：

• YARN
• Kubernetes

除了上面 YARN 或 Kubernetes 相关的信息外，还可以配置：

• Checkpointing
• Checkpoints and State Backends
• High Availability
• Fault Tolerance
• Memory Configuration
• Execution
• Pipeline
• Metrics
• JVM and Logging Options

配置管理功能如下：

• 配置列表
• 添加配置
• 修改配置
• 删除配置

集群管理

flink 支持多种资源编排框架和部署模式，功能如下：

resource	Session	Per-Job	Application
Standalone	支持	不支持	支持
YARN	支持	支持（已废弃）	支持
Native Kubernetes	支持	不支持	支持

集群的功能需要能够适配多种资源编排框架和部署模式。

• 创建 session 集群。支持 YARN 和 Native Kubernetes。
• 提供 Session 和 Application 模式配置。支持 YARN 和 Native Kubernetes。
• 集群状态监控。

集群功能总结

• flink release 管理。管理 flink 各个 release 版本的发行包，以支持创建集群实例
  • 列表，上传，下载，删除，以及直接从 https://archive.apache.org/dist 加载。
• 配置文件管理。管理创建集群所需要的 hadoop 配置文件，如 core-site.xml。
  • 列表，上传，下载，删除
• 集群配置管理
  • 重要配置
    • flink 版本和对应的 release 包
    • 配置文件。hadoop 的 core-site.xml 和 hdfs-site.xml，Kubernetes 的 kubeconfig，Standalone 包含集群 rest.address 和 rest.port 等必要连接信息的 flink-conf.yaml
    • 自定义配置
  • 列表，新增，修改，删除
• 集群实例管理

任务功能

配置管理

任务级别的配置管理功能。支持模板配置。

• 新增配置。支持默认配置
• 修改配置。
• 删除配置。

配置内容：

• checkpoint & savepoint
• 内存
• ha，重启
• 日志

jar 任务管理

支持版本管理

• 创建任务
• 修改任务
• 提交任务
• 停止任务
• savepoint。创建，销毁
• 删除任务

sql 任务管理

待定

udf 管理

待定