Kafka 集群搭建
一， Zookeeper 集群安装
0, 准备工作： 修改机器打开文件句柄数量为最大，格式化磁盘xfs格式， 注意：尽量保持kafka的数据放到单独的磁盘
1, 创建日志目录和数据目录
mkdir /data/zookeeper/logs && mkdir /data/zookeeper/data
2, 解压zookeeper压缩包:
tar –xvf zookeeper-xxx.tar.gz
3, 拷贝配置文件
cd zookeeper-xxx && cp conf/zoo_sample.cfg conf/zoo.cfg
4, 修改配置文件zoo.cfg
设置 dataDir=/data/zookeeper/data 设置 dataLogDir=/data/zookeeper/logs
5, 修改集群配置（如有三台机）
server.1=192.168.1.1:2888:3888
server.2=192.168.1.2:2888:3888
server.3=192.168.1.3:2888:3888
6, 创建主机标识ID:
在第一台机器上执行： echo “1”> /data/zookeeper/data/myid
在第二台机器上执行： echo “2”> /data/zookeeper/data/myid
在第三台机器上执行： echo “3”> /data/zookeeper/data/myid
7，启动zookeeper: cd zookeeper-xxx/bin && sh zkServer.sh start
8, 查看启动日志 cd zookeeper-xx && tail –f zookeeper.out
二， Kafka 集群安装
1, 解压缩kafka文件
tar –xvf kafka_2.11-xxx.tgz
2, 创建kafka数据目录
mkdir /data/kafka/data
3, 修改配置文件server.properties
1）修改broker编号
broker.id=1(第一台机配置文件中修改为)
broker.id=2(第二台机配置文件中修改为)
broker.id=3(第三台机配置文件中修改为)
2） 修改数据目录
log.dir=/data/kafka/data
3）修改zookeeper 连接地址
zookeeper.connect=192.168.1.1:2181,192.168.1.2:2181, 192.168.1.3:2181
4）修改备份因子配置：
default.replication.factor=2
5）配置监听IP和端口
listeners=PLAINTEXT://192.168.1.1:9092(第一台机配置文件中修改为)
listeners=PLAINTEXT://192.168.1.2:9092(第二台机配置文件中修改为)
listeners=PLAINTEXT://192.168.1.3:9092(第三台机配置文件中修改为)
4, 启动kafka
cd kafka-xxx && nohup bin/kafka-server.sh config/server.properties &
5, 查看启动日志
cd kafka-xxx/logs && tail –f server.log
转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论，也可以邮件至 zoubinbf@163.com
