在Centos7上全分布式安装kafka2.8.0

此安装方式同样适用于3.3.1版本，只是版本号不一样而已

示例共3台服务器，分别为bigdata001、 bigdata002、 bigdata003

1. 下载

在bigdata001上操作

curl -O https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz

tar -zxvf kafka_2.13-2.8.0.tgz

cd kafka_2.13-2.8.0

2. 编辑config/server.properties

在bigdata001上操作

新建kafka-logs和logs目录

[bigdata@bigdata001 kafka_2.13-2.8.0]$ mkdir kafka-logs
[bigdata@bigdata001 kafka_2.13-2.8.0]$ mkdir logs
[bigdata@bigdata001 kafka_2.13-2.8.0]$ pwd
/opt/bigdata/kafka_2.13-2.8.0
[bigdata@bigdata001 kafka_2.13-2.8.0]$

修改部分：

log.dirs=/opt/bigdata/kafka_2.13-2.8.0/kafka-logs
listeners=PLAINTEXT://bigdata001:9092
zookeeper.connect=bigdata001:2181,bigdata002:2181,bigdata003:2181

添加部分：

delete.topic.enable=true

3. 分发kafka目录

在bigdata001上操作

scp -r kafka_2.13-2.8.0 bigdata@bigdata002:/opt/bigdata
scp -r kafka_2.13-2.8.0 bigdata@bigdata003:/opt/bigdata

修改bigdata002上的config/server.properties

broker.id=1
listeners=PLAINTEXT://bigdata002:9092

修改bigdata003上的config/server.properties

broker.id=2
listeners=PLAINTEXT://bigdata003:9092

4. 启动kafka

在每台服务器运行以下命令，进行服务的启动

bin/kafka-server-start.sh -daemon config/server.properties

在bigdata001上运行以下命令进行测试：

[bigdata@bigdata001 kafka_2.13-2.8.0]$ 
[bigdata@bigdata001 kafka_2.13-2.8.0]$ bin/kafka-topics.sh --create --bootstrap-server bigdata001:9092,bigdata002:9092,bigdata003:9092 --replication-factor 1 --partitions 3 --topic test
Created topic test.
[bigdata@bigdata001 kafka_2.13-2.8.0]$ 
[bigdata@bigdata001 kafka_2.13-2.8.0]$ bin/kafka-topics.sh --delete --bootstrap-server bigdata001:9092,bigdata002:9092,bigdata003:9092 --topic test
Topic test is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
[bigdata@bigdata001 kafka_2.13-2.8.0]$ 
[bigdata@bigdata001 kafka_2.13-2.8.0]$ bin/kafka-topics.sh --list --bootstrap-server bigdata001:9092,bigdata002:9092,bigdata003:9092
[bigdata@bigdata001 kafka_2.13-2.8.0]$

5. Kafka Tool

一款图形化软件用于管理Kafka，官网链接

该软件仅限个人免费使用。不能用于商业、教育和其它非营利性工作