淘东电商项目（49） -ELK+Kafka分布式日志收集（docker下搭建kafka）

引言

本文代码已提交至Github，有兴趣的同学可以下载来看看：https://github.com/ylw-github/taodong-shop

在上一篇博客《淘东电商项目（48） -ELK+Kafka分布式日志收集（原理篇）》 讲解了使用ELK+Kafka在分布式环境下收集日志的原理。之前已经搭建好了ELK了，在本文将讲解基于Dokcer搭建Kafka，当然，搭建Kafka环境之前，需要搭建Zookeeper。

本文目录结构： l____引言 l____ 1. 安装前须知 l____ 2. Zookeeper的安装 l____ 3. Kafka的安装 l____ 4. 测试

1. 安装前须知

注意：如果要让ELK+Kafka（单机版）跑起来，必须满足如下要求：

1.虚拟机内存必须6G以上，否则无法运行 2.必须关闭防火墙，否则Kafka无法连接Zookeeper

2. Zookeeper的安装

1.下载zookeeper

docker pull wurstmeister/zookeeper

2.启动Zookeeper

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

3.查看zookeeper是否启动

docker ps

可以看到Zookeeper启动成功！

3. Kafka的安装

1.下载Kafka

docker pull wurstmeister/kafka

2.启动kafka

docker run --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.162.134:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.162.134:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-d  wurstmeister/kafka  

3.查看容器是否启动成功

docker ps

可以看到Kafka也启动成功了！

4. 测试

1.进入kafka容器：

docker exec -it kafka /bin/bash

2.创建my_log主题（提示“Created topic 主题名”表示创建成功）：

/opt/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.162.134:2181 --replication-factor 1 --partitions 1 --topic my_log

3.查询创建主题：

/opt/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.162.134:2181

可以看到，查询结果为刚创建的主题my_log，成功！