基于docker环境搭建kafka集群(单机版)

摘要:
作用域=存储库%3Wurstmeister%2Fkafka%3Pull&service=注册表。码头工人。io:net/htttp:requestcanceled,以相同的方式查询次映像:1dockersarchwurstmeister/kafka,然后执行1dockersullwurstmeaster/kafka。通过进入kafka容器的命令窗口,可以使用ifconfig查看ip。

1.Docker下查看是否有kafka的镜像

  1 docker images |grep kafka

2.拉取kafka镜像(如果没有kafka的镜像)
2.1.拉取zookeeper镜像

            在Linux下查看是否有zookeeper的镜像

  1 docker images | grep zookeeper

              如果没有 zookeeper 镜像,则拉去zookeeper镜像

  1 docker pull wurstmeister/zookeeper
            如果拉取报错:

Error response from daemon: Get https://registry-1.docker.io/v2/wurstmeister/zookeeper/manifests/latest: Get https://auth.docker.io/token?scope=repository%3Awurstmeister%2Fzookeeper%3Apull&service=registry.docker.io: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
             则需要提前去查找一下镜像:

  1 docker search wurstmeister/zookeeper
            再执行
  1 docker pull wurstmeister/zookeeper
             就会成功。

2.2.拉取 kafka镜像

  1 docker pull wurstmeister/kafka
            如果拉取报错:

  1 Error response from daemon: Get https://registry-1.docker.io/v2/wurstmeister/kafka/manifests/latest: Get https://auth.docker.io/token?scope=repository%3Awurstmeister%2Fkafka%3Apull&service=registry.docker.io: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
            则同理去查询一次镜像:

  1 docker search wurstmeister/kafka
            再执行
  1 docker pull wurstmeister/kafka
            就会成功。

3.查看是否成功拉取了zookeeper和kafka的镜像

  1 docker images
            如下图

基于docker环境搭建kafka集群(单机版)第1张

4.启动zookeeper和kafka的镜像

4.1.启动zookeeper镜像

  1 docker run -d --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime wurstmeister/zookeeper


4.2.启动kafka镜像

           (切记 192.168.101.139是我虚拟机ip,各位需要更换为自己的kafka镜像所在主机的ip)

  1 docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=192.168.101.139 --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka

4.3.查看两个镜像是否启动成功

  1 docker ps

基于docker环境搭建kafka集群(单机版)第2张

5.测试kafka(生产/消费)消息
5.1进入容器内部

            查看kafka的 CONTAINER ID :

  1 docker ps|grep kafka

            假设获取到的ID为:ba2540992d9e

           使用ID进入容器:

  1 docker exec -it ba2540992d9e /bin/bash

基于docker环境搭建kafka集群(单机版)第3张

5.2测试消息发送
            在容器命令界面(具体进入/opt/kafkaxxxx 要ls一下 查看自己拉取的哪个版本的镜像产生的容器):

  1 cd /opt/kafka_2.12-2.1.0/

            创建一个主题名为netmusic:

  1 bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic netmusic

            运行一个生产者:

  1 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic netmusic

             在另一个窗口打开容器命令窗口,运行一个消费者:172.17.0.3 是 kafka容器的ip。

            可以通过进入kafka容器的命令窗口(docker exec -it ba2540992d9e /bin/bash),使用ifconfig查看ip。

  1 bin/kafka-console-consumer.sh --bootstrap-server 172.17.0.3:9092 --topic netmusic


在生产者的窗口生产消息,就可以在消费者窗口消费消息看到消息。



归类 :自动化运维


免责声明:文章转载自《基于docker环境搭建kafka集群(单机版)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇推荐可以代替Visio的HTML开发的作图工具:ProcessOnOracle进程说明下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

1.kafka

什么是Kafka 1.Apache Kafka是一个开源消息系统,由Scala写成。 2.Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)称为broker。 3.无论是kafka集群,还是cons...

webstorm+nodejs环境中安装淘宝镜像

用过nodejs的人都知道,从node的官方模板库下载依赖包的时候,经常会遇到“假死”(页面静止不动)的状态,这种速度简直要逼死焦急地等待下班的人。还好咱们万能的淘宝提供了淘宝镜像这么一个不要更好用的东西。安装简单,即装即用。这几天也在折腾这个,简单的做一下整理。 ----------------------------------------------...

国产系统安装docker-ce、配置mysql

银河麒麟安装docker 一、安装 添加用户组和用户,非root启动docker groupadd docker useradd -m -g docker docker -s /sbin/nologin 添加权限 sudo tee /etc/sudoers.d/docker >/dev/null <<EOF docker ALL=(AL...

PHP Laravel的容器化开发与部署

本文说明一下PHP Laravel(包含Lumen)开发下的Docker化部署,写到了使用 CentOS 6.9、CentOS 7.0 进行生产环境部署,并使用了 Kong 来作为 API 网关进行鉴权。 Docker开发环境 首先,我们需要在开发环境下安装 Docker。这部分网络上的资料汗牛充栋,就不赘述了。 在项目根目录下创建 Dockerfile。...

虚拟机多了个网卡用ethtool -i查看是veth驱动,是docker 惹得祸

当我通过docker run启动任何容器时,我们得到一个新的veth interface.删除容器后,应删除与容器链接的veth接口.但是,有时它会失败(然后容器启动出错): root@hostname /home # ifconfig | grep veth | wc -l 53 root@hostname /home # docker run -d...

docker-compose 搭建 kafka 集群

环境准备 kafka依赖zookeeper,所以搭建kafka需要先配置zookeeper。网格信息如下: zookeeper 192.168.56.101:2181 kafka1 192.168.56.101:9092 kafka2 192.168.56.101:9093 kafka3 192.168.56.101:9094 开始搭建...