DIS vs Kafka - tenji/ks GitHub Wiki

DIS vs Kafka

  • 全局接入,解决公网、跨 VPC、PSZ/OM 区访问互通问题

  • 与华为云集成认证、监控、企业项目等

  • Serverless:

    • Topic as a Service,只需要关注业务带宽按需使用,自动扩缩容
    • 无限扩容、超过单kafka集群限制的上限吞吐能力
  • HA

    • 跨集群级别的高可用
  • 接口rest协议

    • 跨平台能力更强,但时延更高
    • 通过压缩等优化,实现公网、专线等场景更低的带宽占用
  • 与云上其他大数据服务集成,数据分发到 DWS/DLI 等

DIS vs DMS vs MRS

维度 DIS DMS MRS
对标服务 AWS Kinesis、阿里DataHub 开源Kafka 开源Kafka
特点 Serverless 全托管式,按集群购买 半托管式,按集群购买
功能点 1.数据支持转储到OBS/DLI/DWS 1.数据转储到OBS 1.用户可最大化自由配置
2.支持公网访问 2.支持公网访问
3.服务间对接访问 3.可视化的消息管理界面
4.可视化的消息管理界面
5.支持数据解析
概念模型 通道->分区 Topic->分区 Topic->分区
Kafka版本 1.1 1.1和2.3.0 1.1
接口 •Restful;类Kafka接口 •完全兼容Kafka接口 •完全兼容Kafka接口
•支持IOT类的协议,例如MQTT协议 •多语言客户端支持:扩展包支持,例如Python语言包 •多语言客户端支持:扩展包支持,例如Python语言包
认证方式 IAM认证 用户名和密码认证 Kerberos认证
一致性 At Least Once; At Least Once; Exactly Once At Least Once; Exactly Once
插件支持 Logstash、Flume Logstash、Flume、Fluentd、Filebeat、Graylog等 Logstash、Flume、Fluentd、Filebeat、Graylog等
性能 消息大小:10MB/s 吞吐量:上限1200MB/s 吞吐量:集群规模无上限,但是吞吐量
时延:几十毫秒级 消息大小:10MB/条 消息大小:可配置,一般不建议超过10MB/s
时延:毫秒级 时延:毫秒级
成本 服务营收:搭建成本高,收益低 1.对于客户,建设起步成本较高,但是综合成本较低 1. 对于客户,建设起步成本较高,但是综合成本较低
对于客户:低业务量,成本极低 2.相比MRS少了2个Master节点消耗
易用性 可视化的消息管理界面 可视化的消息管理界面 依托MRS Manager的一些监控界面
可视化的运维监控界面 可视化的运维监控界面,例如消费进度统计 用户可自行管理Partition的数据搬迁,副本因子等
可靠性机制 支持多Kafka集群保证单用户业务可靠性 支持跨AZ部署 支持跨AZ部署
DIS服务故障,也就是所有用户的业务故障
DIS管控面支持跨AZ,租户面依赖MRS能力
弹性伸缩机制 支持弹性伸缩 不支持缩容Partiton 不支持缩容Partiton