Kafka单机环境的部署

摘要:
此时,打开刚才创建消费者的窗口,您将看到输入消息直到现在都已被使用。Kafka单机消息队列基本配置和操作正常,单机环境配置基本相同

前面说过Kafka集群环境的部署,现在主要说一下在本地测试中Kafka单机环境的部署,和前面一样首先保证zookeeper服务的正常运行,然后解压并释放kafka安装包,并放到指定位置:

tar -xvzf kafka_2.9.2-0.8.2.2.tar.gz
mkdir /usr/kafka
mv kafka_2.9.2-0.8.2.2 /usr/kafka/
cd /usr/kafka/kafka_2.9.2-0.8.2.2

  现在开始编辑配置文件server.properties,执行命令: vim config/server.properties 打开配置文件

  首先去掉#host.name=localhost前面的注释,这个开发过程中可以填写集群主机名或者IP地址,有很多错误就是因为这里被注释导致的,建议单机环境一定去掉注释根据情况配置;集群中一般根据zookeeper.connect识别,所以此项可以配置也可以忽略

  Kafka单机环境的部署第1张

  然后之前集群部署中曾经修改过borker.id,port这里不用动,都是默认即可,修改一下log.dirs放到/usr/kafka/logs目录中,这个可以自己指定

  Kafka单机环境的部署第2张

  logs目录我们后来需要手动创建,然后log.cleaner.enable要改为true,表示自动清理日志

  Kafka单机环境的部署第3张

  然后修改zookeeper.connect为localhost:2181/kafka,默认是localhost:2181,这样会在zookeeper上直接创建kafka对应文件,这里加上/kafka和之前一样,表示在zookeeper上创建kafka节点,把kafka相关文件都放在localhost:2181/kafka节点下

  Kafka单机环境的部署第4张

  到现在,基本的配置就完成了,现在保存并退出配置文件

  然后创建logs日志目录: mkdir /usr/kafka/logs ,创建目录之后,开始启动kafka服务:

nohup bin/kafka-server-start.sh config/server.properties >> /dev/null &

  上面代码hohup代表把任务放到后台作为服务运行,有些脚本不像之前的二进制程序一样可以一直跑在服务器上,虽然后面加上&表示在后台运行,但是一段时间后可能会退出,nohup可以让程序一直跑在后台,输入以上命令后命令行会卡住,然后需要再次输入一次回车回到命令行,另外我们退出shell时必须使用logout退出,切不可直接关闭窗口,否则程序也可能异常退出

  然后创建一个消息队列:

bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --zookeeper localhost:2181/kafka

  创建队列的时候,replication-factor只能是1个,因为是单节点,而partitions分区可以是1个或者2个都可以,测试环境建议是1个即可

  然后,创建一个消费者:

bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka --topic test

  此时,命令行会进入运行状态,界面就卡住不动了,然后再新建一个窗口,进入kafka目录,继续创建一个生产者:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

  同样这个时候命令行进入运行状态,我们输入一个字符串:Hello Kafka!

  Kafka单机环境的部署第5张

  此时打开刚才创建消费者的窗口,会看到刚才的输入消息被消费了

  Kafka单机环境的部署第6张

  到现在,Kafka单机消息队列基本的配置和运行都是正常的,单机环境配置基本上就是这些

免责声明:文章转载自《Kafka单机环境的部署》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇黑屏指令备忘Geohash算法原理及实现下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

ZeroMQ接口函数之 :zmq_setsockopt –设置ZMQ socket的属性

ZeroMQ API 目录 :http://www.cnblogs.com/fengbohello/p/4230135.html 本文地址 :http://www.cnblogs.com/fengbohello/p/4398953.html 翻译:郝峰波 mail : fengbohello@qq.com ZeroMQ 官方地址 :http://api....

MAMP、wordpress安装

MAMP、Wordpress 一、MAMP   1、简介 1.1、MAMP:本地服务器环境的OS X软件(windows用的是WAMP,原理差不多) 1.2、Apache、MySQL、PHP、Postfix等服务器软件,如果安装了MAMP,等同于全部安装了 1.3、可以集中管理和调整运行环境:PHP多版本的切换、imagemagick图形处理工具、动态...

JRebel激活服务搭建

前言 因为平时的开发工具是使用IntelliJ IDEA,所以热部署项目代码的时候,使用的Jrebel。因为Jrebel是收费的,所以以前用的时候都是在网上找破解方法(国人通用做法),在网上找到的办法是输入一个在线激活服务,来进行激活。由于简单方便就一直这样用的,今天早上打开IDEA后发现,Jrebel激活失效了。后来才发现原来之前的在网上找的在线激活服务...

kafka单机安装和启动

1.下载并解压到/usr/local/src目录下 2.运行kafka需要使用Zookeeper,先启动Zookeeper,如果没有Zookeeper,可以使用kafka自带打包和配置好的Zookeeper 前台运行: bin/zookeeper-server-start.sh config/zookeeper.properties 后台运行: nohu...

Kafka-如何保证可靠性

Kafka-可靠性保证-保证了哪些可靠性 ACID是关系型数据库普遍支持的标准可靠性保证。 ACID:原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability) 如果数据库遵循ACID规范,那么该数据库就支持与事务相关的行为。 kafka在哪些方面做出保证? 1.kafka可以保证分区消息...

Kafka基础教程(三):C#使用Kafka消息队列

接上篇Kafka的安装,我安装的Kafka集群地址:192.168.209.133:9092,192.168.209.134:9092,192.168.209.135:9092,所以这里直接使用这个集群来演示 首先创建一个项目,演示采用的是控制台(.net core 3.1),然后使用Nuget安装 Confluent.Kafka 包: 上面的截图中有C...