kafka搭建 - youngperson/study-100 GitHub Wiki

安装Java

 Kafka 使用Zookeeper 来保存相关配置信息，Kafka及Zookeeper 依赖Java 运行环境
# yum install java
# java -version
openjdk version "1.8.0_141"
OpenJDK Runtime Environment (build 1.8.0_141-b16)
OpenJDK 64-Bit Server VM (build 25.141-b16, mixed mode)

安装kafka

从[官网](http://kafka.apache.org/downloads "官网")下载kafka安装包，解压安装，选择Binary downloads
# 说明：和elk的安装目录一致
# cd /opt/
# wget http://mirrors.hust.edu.cn/apache/kafka/1.0.0/kafka_2.12-1.0.0.tgz
# tar zxvf kafka_2.12-1.0.0.tgz
# mv kafka_2.12-1.0.0 kafka
# cd kafka

配置文件

Zookeeper 的配置在 config/zookeeper.properties 文件中，Kafka 的配置在 config/server.properties 文件中
# 在 zookeeper.properties 中
dataDir=/data/kafka-data/zookeeper
# 在 server.properties 中
log.dirs=/data/kafka-data/kafka-logs

其他配置这里推荐进行一些修改，具体如下
# advertised.listerners 改为对外服务的地址
# 比如对外的 ip 地址是 xx.xx.xx.xx，端口是 8080，那么
advertised.listeners=PLAINTEXT://xx.xx.xx.xx:8080
# 允许删除 topic
delete.topic.enable=true
# 不允许自动创建 topic，方便管理
auto.create.topics.enable=false
# 设定每个 topic 的分区数量，这里设为 100
num.partitions=100
# 设定日志保留的时间，这里改为 72 小时
log.retention.hours=72

功能验证

1、启动Zookeeper
使用安装包中的脚本启动单节点Zookeeper 实例
# nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

2、启动kafka服务
使用kafka-server-start.sh 启动kafka 服务
# nohup bin/kafka-server-start.sh config/server.properties &

3、创建topic
如果创建失败,请kill上面2个服务，在重启下试试
使用kafka-topics.sh 创建单分区单副本的topic test
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看topic
# bin/kafka-topics.sh --list --zookeeper localhost:2181
test

4、产生消息
使用kafka-console-producer.sh 发送消息：
# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
hello kafaka
tes msg

5、消费消息
使用kafka-console-consumer.sh 接收消息并在终端打印
# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

集群配置

单机多broker 集群配置
利用单节点部署多个broker。 不同的broker 设置不同的 id，监听端口及日志目录
# cp config/server.properties config/server-1.properties 
# bin/kafka-server-start.sh config/server-1.properties &
启动多个服务，按上文类似方式产生和消费消息。

多机器多broker集群配置
分别在多个节点按上述方式安装Kafka，配置启动多个Zookeeper 实例。 例如： 在10.4.253.22，10.4.253.23，10.4.253.24三台机器部署，Zookeeper配置如下：

initLimit=5
syncLimit=2
server.1=10.4.253.22:2888:3888
server.2=10.4.253.23:2888:3888
server.3=10.4.253.24:2888:3888

分别配置多个机器上的Kafka服务 设置不同的broke id，zookeeper.connect设置如下:
zookeeper.connect=10.4.253.22:2181,10.4.253.23:2181,10.4.253.24:2181
启动Zookeeper与Kafka服务，按上文方式产生和消费消息，验证集群功能。