您当前的位置: 首页 >  杨林伟 docker

淘东电商项目(49) -ELK+Kafka分布式日志收集(docker下搭建kafka)

杨林伟 发布时间:2020-04-29 14:49:52 ,浏览量:3

引言

本文代码已提交至Github,有兴趣的同学可以下载来看看:https://github.com/ylw-github/taodong-shop

在上一篇博客《淘东电商项目(48) -ELK+Kafka分布式日志收集(原理篇)》
讲解了使用ELK+Kafka在分布式环境下收集日志的原理。之前已经搭建好了ELK了,在本文将讲解基于Dokcer搭建Kafka,当然,搭建Kafka环境之前,需要搭建Zookeeper

本文目录结构:
l____引言
l____ 1. 安装前须知
l____ 2. Zookeeper的安装
l____ 3. Kafka的安装
l____ 4. 测试

1. 安装前须知

注意:如果要让ELK+Kafka(单机版)跑起来,必须满足如下要求:

1.虚拟机内存必须6G以上,否则无法运行
2.必须关闭防火墙,否则Kafka无法连接Zookeeper

2. Zookeeper的安装

1.下载zookeeper

docker pull wurstmeister/zookeeper


2.启动Zookeeper

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper


3.查看zookeeper是否启动

docker ps


可以看到Zookeeper启动成功!

3. Kafka的安装

1.下载Kafka

docker pull wurstmeister/kafka

2.启动kafka

docker run --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.162.134:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.162.134:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-d  wurstmeister/kafka  


3.查看容器是否启动成功

docker ps


可以看到Kafka也启动成功了!

4. 测试

1.进入kafka容器:

docker exec -it kafka /bin/bash

2.创建my_log主题(提示“Created topic 主题名”表示创建成功):

/opt/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.162.134:2181 --replication-factor 1 --partitions 1 --topic my_log


3.查询创建主题:

/opt/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.162.134:2181


可以看到,查询结果为刚创建的主题my_log,成功!

关注
打赏
查看更多评论

杨林伟

暂无认证

  • 3浏览

    0关注

    3183博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录