kafka错误集锦

摘要:
javax.management.InstanceAlreadyExistsException:kafka.consumer:type=FetchRequestAndResponseMetrics,name=FetchResponseSize,clientId=iot在CloudearManager中安装kafka时,报了这样一个错:[KafkaServer92],Fatalerrorduring

javax.management.InstanceAlreadyExistsException: kafka.consumer:type=FetchRequestAndResponseMetrics,name=FetchRes
ponseSize,clientId=iot

在CloudearManager中安装kafka时,报了这样一个错:

[Kafka Server 92], Fatal error during KafkaServer startup. Prepare to shutdown
java.lang.OutOfMemoryError: Java heap space
    at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)
    at java.nio.ByteBuffer.allocate(ByteBuffer.java:331)
    at kafka.log.SkimpyOffsetMap.<init>(OffsetMap.scala:45)
    at kafka.log.LogCleaner$CleanerThread.<init>(LogCleaner.scala:214)
    at kafka.log.LogCleaner$$anonfun$3.apply(LogCleaner.scala:105)
    at kafka.log.LogCleaner$$anonfun$3.apply(LogCleaner.scala:105)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
    at scala.collection.immutable.Range.foreach(Range.scala:160)
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
    at scala.collection.AbstractTraversable.map(Traversable.scala:104)
    at kafka.log.LogCleaner.<init>(LogCleaner.scala:105)
    at kafka.log.LogManager.<init>(LogManager.scala:78)
    at kafka.log.LogManager$.apply(LogManager.scala:598)
    at kafka.server.KafkaServer.startup(KafkaServer.scala:215)
    at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44)
    at kafka.Kafka$.main(Kafka.scala:65)
    at com.cloudera.kafka.wrap.Kafka$.main(Kafka.scala:76)
    at com.cloudera.kafka.wrap.Kafka.main(Kafka.scala)

解决办法,就是在ClouderaManager中设定Java Heap Size of Broker的值,将50M改为256M,如下图:

kafka错误集锦第1张

免责声明:文章转载自《kafka错误集锦》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇java Spring 使用thrift分布式任务队列--Celery的学习笔记下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

如何设计实时数据平台(技术篇)

  敏捷之歌 我抽数故我存在 | DBus 人人玩转流处理 | Wormhole 就当吾是数据库 | Moonbox 颜值最后十公里 | Davinci 导读:实时数据平台(RTDP,Real-time Data Platform)是一个重要且常见的大数据基础设施平台。在上篇(设计篇)中,我们从现代数仓架构角度和典型数据处理角度介绍了RTDP,并探讨了...

kafka集群搭建(windows环境下)

一、简介 Kafka 是一个实现了分布式的、具有分区、以及复制的日志的一个服务。它通过一套独特的设计提供了消息系统中间件的功能。它是一种发布订阅功能的消息系统。 1、名词介绍 Message 消息,就是要发送的内容,一般包装成一个消息对象。   Topic 通俗来讲的话,就是放置“消息”的地方,也就是说消息投递的一个容器。假如把消息看作是信封的话,那么 T...

Kafka实战宝典:如何跨机房传输数据

工作中遇到Kafka跨机房传输到远程机房的场景,之前的方案是使用Flume消费后转发到目标kafka,当topic增多并且数据量变大后,维护性较差且Flume较耗费资源。 一、原理 MirrorMaker 为Kafka 内置的跨集群/机房数据复制工具,二进制包解压后bin目录下有kafka-mirror-maker.sh,Mirror Maker启动后,...

消息队列的常见问题

消息队列的常见问题 1.消息丢失怎么办?(消息的可靠性传输) 消息的丢失可能会出现在三个地方: RabbitMQ消息中间件: (1)生产者弄丢数据 生产者将数据发送到RabbitMQ的时候,可能数据就在半路给搞丢了,因为网络啥的问题,都有可能。怎么解决? 事务:生产者发送数据之前开启RabbitMQ事务(channel.txSelect),然后发送消息,如...

Flink实战(八十三):FLINK-SQL应用场景(一)维表join(五)Flink SQL之维表join之Temporal Table Join

https://zhuanlan.zhihu.com/p/165962937?utm_source=qq 维表是数仓中的一个概念,维表中的维度属性是观察数据的角度,在建设离线数仓的时候,通常是将维表与事实表进行关联构建星型模型。在实时数仓中,同样也有维表与事实表的概念,其中事实表通常存储在kafka中,维表通常存储在外部设备中(比如MySQL,HBase)...

MQ框架的比较

MQ框架的比较MQ框架非常之多,比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个?要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。 第一部分:RabbitMQ,ActiveMq,ZeroMq比较 1、 TPS比较 一 ZeroMq 最好,RabbitMq 次之, ActiveMq...