DIS vs Kafka - tenji/ks GitHub Wiki
DIS vs Kafka
-
全局接入,解决公网、跨 VPC、PSZ/OM 区访问互通问题
-
与华为云集成认证、监控、企业项目等
-
Serverless:
- Topic as a Service,只需要关注业务带宽按需使用,自动扩缩容
- 无限扩容、超过单kafka集群限制的上限吞吐能力
-
HA
- 跨集群级别的高可用
-
接口rest协议
- 跨平台能力更强,但时延更高
- 通过压缩等优化,实现公网、专线等场景更低的带宽占用
-
与云上其他大数据服务集成,数据分发到 DWS/DLI 等
DIS vs DMS vs MRS
维度 | DIS | DMS | MRS |
---|---|---|---|
对标服务 | AWS Kinesis、阿里DataHub | 开源Kafka | 开源Kafka |
特点 | Serverless | 全托管式,按集群购买 | 半托管式,按集群购买 |
功能点 | 1.数据支持转储到OBS/DLI/DWS | 1.数据转储到OBS | 1.用户可最大化自由配置 |
2.支持公网访问 | 2.支持公网访问 | ||
3.服务间对接访问 | 3.可视化的消息管理界面 | ||
4.可视化的消息管理界面 | |||
5.支持数据解析 | |||
概念模型 | 通道->分区 | Topic->分区 | Topic->分区 |
Kafka版本 | 1.1 | 1.1和2.3.0 | 1.1 |
接口 | •Restful;类Kafka接口 | •完全兼容Kafka接口 | •完全兼容Kafka接口 |
•支持IOT类的协议,例如MQTT协议 | •多语言客户端支持:扩展包支持,例如Python语言包 | •多语言客户端支持:扩展包支持,例如Python语言包 | |
认证方式 | IAM认证 | 用户名和密码认证 | Kerberos认证 |
一致性 | At Least Once; | At Least Once; Exactly Once | At Least Once; Exactly Once |
插件支持 | Logstash、Flume | Logstash、Flume、Fluentd、Filebeat、Graylog等 | Logstash、Flume、Fluentd、Filebeat、Graylog等 |
性能 | 消息大小:10MB/s | 吞吐量:上限1200MB/s | 吞吐量:集群规模无上限,但是吞吐量 |
时延:几十毫秒级 | 消息大小:10MB/条 | 消息大小:可配置,一般不建议超过10MB/s | |
时延:毫秒级 | 时延:毫秒级 | ||
成本 | 服务营收:搭建成本高,收益低 | 1.对于客户,建设起步成本较高,但是综合成本较低 | 1. 对于客户,建设起步成本较高,但是综合成本较低 |
对于客户:低业务量,成本极低 | 2.相比MRS少了2个Master节点消耗 | ||
易用性 | 可视化的消息管理界面 | 可视化的消息管理界面 | 依托MRS Manager的一些监控界面 |
可视化的运维监控界面 | 可视化的运维监控界面,例如消费进度统计 | 用户可自行管理Partition的数据搬迁,副本因子等 | |
可靠性机制 | 支持多Kafka集群保证单用户业务可靠性 | 支持跨AZ部署 | 支持跨AZ部署 |
DIS服务故障,也就是所有用户的业务故障 | |||
DIS管控面支持跨AZ,租户面依赖MRS能力 | |||
弹性伸缩机制 | 支持弹性伸缩 | 不支持缩容Partiton | 不支持缩容Partiton |