kafka服务端和客户端均无法消费

摘要:
一直报错:1partitionshaveleaderbrokerswithoutamatchinglistener,including[cloudeasy.cmdb.cancel.manage-0]查看zk服务端,报错如下:原因是watch太多且路径太长导致重连的时候超过了ZKmaxBuffer的限制把客户端从3.4.6升级到3.4.7就能解决这个问题先部署zookeeper,默认docker不需

一直报错:

1 partitions have leader brokers without a matching listener, including [cloudeasy.cmdb.cancel.manage-0]

查看zk服务端,报错如下:

kafka服务端和客户端均无法消费第1张

原因是 watch 太多且路径太长导致重连的时候超过了 ZK maxBuffer 的限制

把 客户端从 3.4.6 升级到 3.4.7 就能解决这个问题

先部署zookeeper,默认docker不需要参数,域名访问地址为zookeeper-dev.cmsp-dev.svc.cluster.local:2181

docker 部署kafka(2.12-2.5.0),启动参数如下:

sh

-c

exec kafka-server-start.sh /opt/kafka/config/server.properties --override advertised.host.name=zookeeper-dev.cmsp-dev.svc.cluster.local --override broker.id=-1 --override listeners=PLAINTEXT://:9092 --override advertised.listeners=PLAINTEXT://kafka-dev.cmsp-dev.svc.cluster.local:9092 --override zookeeper.connect=zookeeper-dev.cmsp-dev.svc.cluster.local:2181

./kafka-topics.sh --create --topic cloudeasy.dev.mess --replication-factor 1 --partitions 1 --zookeeper zookeeper-dev.cmsp-dev.svc.cluster.local:2181

./kafka-topics.sh --list --zookeeper zookeeper-dev.cmsp-dev.svc.cluster.local:2181

./kafka-topics.sh --delete --topic cloudeasy.dev.mess --zookeeper zookeeper-dev.cmsp-dev.svc.cluster.local:2181

如果删不掉,可以在zookeeper里删除

deleteall /brokers/topics

开发环境创建topic:

./kafka-topics.sh --create --topic cloudeasy.dev.mess --replication-factor 1 --partitions 1 --zookeeper zookeeper-dev.cmsp-dev.svc.cluster.local:2181
./kafka-topics.sh --create --topic cloudeasy.billing.executor --replication-factor 1 --partitions 1 --zookeeper zookeeper-dev.cmsp-dev.svc.cluster.local:2181
./kafka-topics.sh --create --topic cloudeasy.cloudmanager.event --replication-factor 1 --partitions 1 --zookeeper zookeeper-dev.cmsp-dev.svc.cluster.local:2181
./kafka-topics.sh --create --topic cloudeasy.cmdb.cancel.manage --replication-factor 1 --partitions 1 --zookeeper zookeeper-dev.cmsp-dev.svc.cluster.local:2181
./kafka-topics.sh --create --topic cloudeasy.cmdb.delete.resource --replication-factor 1 --partitions 1 --zookeeper zookeeper-dev.cmsp-dev.svc.cluster.local:2181
./kafka-topics.sh --create --topic cloudeasy.cmdb.update.project --replication-factor 1 --partitions 1 --zookeeper zookeeper-dev.cmsp-dev.svc.cluster.local:2181
./kafka-topics.sh --create --topic cloudeasy.user.event --replication-factor 1 --partitions 1 --zookeeper zookeeper-dev.cmsp-dev.svc.cluster.local:2181

查询有哪些客户端group
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

查询指定group的消费情况
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group cloudeasy --describe

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group cloudeasy.billing.consumer

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group cloudeasy.monitor.group

免责声明:文章转载自《kafka服务端和客户端均无法消费》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Mysql中查询索引和创建索引Linux之awk命令下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

R语言代写之文本分析:主题建模LDA

原文:http://tecdat.cn/?p=3897 文本分析:主题建模 library(tidyverse) theme_set( theme_bw()) 目标 定义主题建模 解释Latent Dirichlet分配以及此过程的工作原理 演示如何使用LDA从一组已知主题中恢复主题结构 演示如何使用LDA从一组未知主题中恢复主题结构 确定为k 选择适...

kafka-producer kerberos 原理和配置

kerberos简单介绍 kerberos这一名词来源于希腊神话“三个头的狗---地狱之门守护者”后来沿用作为安全认证的概念,该系统设计上 采用客户端/服务器结构与DES(Data Encryption Standard标准加密技术),AES(Advanced Encryption Standerd 高级加密技术)等加密技术,并且能够进行相互认证,即客户端...

Kafka-如何保证生产者的可靠性

Kafka-如何保证生产者的可靠性 即使我们尽可能把broker配置的很可靠,但如果没有对生产者进行可靠性方面的配置,整个系统仍然有可能出现突发性的数据丢失。 举例: 为broker配置了3个副本,并且禁用了不完全首领选举,这样应该可以保证万无一失。我们把生产者发送消息的acks设为1(只要首领接收到消息就可以认为消息写入成功)。生产者发送一个消息给首...

MQTT协议中的topic

1、MQTT协议中的topic 定阅与发布必须要有主题,只有当定阅了某个主题后,才能收到相应主题的payload,才能进行通信。 2、 主题层级分隔符——“/” 主题层级分隔符使得主题名结构化。如果存在分隔符,它将主题名分割为多个主题层级。 斜杠(‘/’ U+002F)用于分割主题的每个层级,为主题名提供一个分层结构。当客户端订阅指定的主题过滤器包含两种通...

window+kafka

window环境搭建zookeeper,kafka集群 为了演示集群的效果,这里准备一台虚拟机(window 7),在虚拟机中搭建了单IP多节点的zookeeper集群(多IP节点的也是同理的),并且在本机(win 7)和虚拟机中都安装了kafka。 前期准备说明: 1.三台zookeeper服务器,本机安装一个作为server1,虚拟机安装两个(单IP)...

kafka数据迁移实践

欢迎大家前往云+社区,获取更多腾讯海量技术实践干货哦~ 作者:mikealzhou 本文重点介绍kafka的两类常见数据迁移方式:1、broker内部不同数据盘之间的分区数据迁移;2、不同broker之间的分区数据迁移。 一、broker 内部不同数据盘之间进行分区数据迁移 1.1 背景介绍 最近,腾讯云的一个重要客户发现kafka broker内部的to...