西安值得报名的大数据培训班?在西安大数据培训班有很多,但是根据师资和学习环境,小编推荐您可以到西安天琥教育了解一下!天琥为社会培养设计实战型人才,秉承“把经验传递给有梦想的人”的教育使命,引导着设计培训发展方向。
Kafka集群安装与和测试如何操作
一、安装JDK&配置JAVA_HOME
JDK安装和JAVA_HOME配置,大家都应该很熟悉了,我们在此不再赘述。
二、安装Zookeeper
参照Zookeeper搭建一个ZK集群,并启动ZK集群。
三、解压Kafka安装包
1.修改配置文件config/server.properties
vi server.properties
broker.id=0//集群中id,依次增长:0、1、2、3、4
log.dirs=/root/kafkaData///设置Kafka的消息数据存储路径
zookeeper.connect=node1:2181,node2:2181,node3:2181//zookeeperServers列表,节点间以逗号分开
delete.topic.enable=true
listeners=PLAINTEXT:/node1:9092
log.dirs=/root/kafkaData/
num.partitions=3
#往其他节点分发安装包
for i in 2 3;do scp-r kafka_2.11-0.10.2.1/node$i:$PWD;done
在其它几台节点上,分别修改此配置文件:broker.id依次增长。
2.启动Kafka
启动kafka之前,必须要增加在每个节点上zookeeper都是启动的。
在每个节点上启动Kafka:
bin/kafka-server-start.sh[-daemon]config/server.properties
3.集群测试
(1)进入kafka根目录,创建test主题(topic)
bin/kafka-topics.sh--create--zookeeper node1:2181,node2:2181,node3:2181--replication-factor 3--partitions 1--topic test
(2)显示已创建的topic列表
bin/kafka-topics.sh--list--zookeeper node1:2181