1-rocketmq简介-部署

摘要:
体系结构组1的四个组件。NameServer:可以部署在集群中,节点之间没有信息同步。通过指定相同的BrokerName和不同的BrokerId来定义Master和Slave之间的对应关系。BrokerId为0表示Master,非0表示Slave。Producer是完全无状态的,可以部署在集群中。消费者可以订阅来自主服务器或从服务器的消息。订阅规则由代理配置确定。部署启动nameservernohupshmqnamesrv&startbrokernohupshbin/mqbroker-n${namesrvIp}:9876-c/conf/broker。conf&-c代理。可以指定conf配置文件。默认情况下,将加载conf/broker.conf内存配置。修改runbroker.sh和runbroker.shJAVA_OPT=“${JAVA_OPT}-server-Xms1g-Xmx1g-Xmn512g”Xms是指程序启动时使用的内存大小。

简介

基于java开发,高可用

应用场景

1、应用解耦

2、流量销峰

3、异步处理

4、消息分发(邮件、短信、日志、数据处理)

延时队列场景:需要延时单次延迟执行的场景,比如订单取消

常见问题

1、如何保证高可用

集群部署

2、如何保证消息不丢失(消息的可靠性传输)

  • 生产者丢失数据

    开启生产者确认模式,确认发送成功了才对消费者可见

  • 消息队列丢失数据

    开启消息持久化,设置好刷盘策略

  • 消费者丢失数据

    假如是自动提交offset,消息投递后还没有消费完就会被更新offset
    开启手动提交,确保消息消费完了才被确认

  • 集群同步丢失

总结:发送者确认模式开启,消息持久化默认开启,消费者消费开启手动ack

3、消费者幂等(如何确保消息不被重复消费)

发送时消息重复

投递时消息重复

负载均衡时消息重复

解决:

  • 业务层做幂等,重复消费不影响
  • 记录消息messageId重复消息丢弃

4、如何保证消息顺序性

先保证入队有序性,然后消费者通过业务逻辑保证消息的顺序消费

对比

特性ActiveMQRabbitMQRocketMQkafka
开发语言javaerlangjavascala
单机吞吐量万级万级10万级10万级
时效性ms级us级ms级ms级以内
可用性高(主从架构)高(主从架构)非常高(分布式架构)非常高(分布式架构)
功能特性成熟的产品,在很多公司得到应用;有较多的文档;各种协议支持较好基于erlang开发,所以并发能力很强,性能极其好,延时很低;管理界面较丰富MQ功能比较完备,扩展性佳只支持主要的MQ功能,像一些消息查询,消息回溯等功能没有提供,毕竟是为大数据准备的,在大数据领域应用广。

架构

img

组要的四个组成部分

1、NameServer :可集群部署,节点之间无任何信息同步。提供轻量级的服务发现和路由

2、Broker :分为Master 与Slave,一个Master 可以对应多个Slave,但是一个Slave 只能对应一个Master。Master 与Slave 的对应关系通过指定相同的BrokerName,不同的BrokerId来定 义,BrokerId为0 表示Master,非0 表示Slave。Master 也可以部署多个。只有brokerId=1的从服务器才会参与消息的读负载,也就是当master挂掉后消费者依然能够正常消费,消费者挂掉后生产者依然能够正常发送消息

Broker主从没有自动选举,依靠配置文件brokerId来指定

3、Producer:拥有相同 Producer Group 的 Producer 组成一个集群, 与Name Server 集群中的其中一个节点(随机选择)建立长连接,定期从Name Server 取Topic 路由信息,并向提供Topic服务的Master 建立长连接,且定时向Master 发送心跳。Producer 完全无状态,可集群部署。

4、Consumer :拥有相同 Consumer Group 的 Consumer 组成一个集群,与Name Server 集群中的其中一个节点(随机选择)建立长连接,定期从Name Server 取Topic 路由信息,并向提供Topic 服务的Master、Slave 建立长连接,且定时向Master、Slave 发送心跳。Consumer既可以从Master 订阅消息,也可以从Slave 订阅消息,订阅规则由Broker 配置决定

部署

启动nameserver

nohup sh mqnamesrv &

启动broker

nohup sh bin/mqbroker -n ${namesrvIp}:9876 -c /conf/broker.conf & 

-c可以指定broker.conf配置文件。默认情况下会加载conf/broker.conf

内存配置修改

修改runbroker.sh和runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512g"
Xms 是指设定程序启动时占用内存大小。一般来讲,大点,程序会启动的快一点,但是也可能会导致机器暂时间变慢。
Xmx 是指设定程序运行期间最大可占用的内存大小。如果程序运行需要占用更多的内存,超出了这个设置值,就会抛出OutOfMemory异常。
xmn 年轻代的heap大小,一般设置为Xmx的3、4分之一

Broker配置文件详解(broker.conf)

#nameserver地址
namesrvAddr= ip:port;ip:port
#Cluster名称,如果集群机器数比较多,可以分成多个cluster,每个cluster提供给不同的业务场景使用
brokerClusterName = DefaultCluster
#如果配置主从模式,master和slave需要配置相同的名称来表名关系
brokerName = broker-a
# 0master 1-slave
brokerId = 0
#在磁盘上保存消息的时长,单位是小时,自动删除超时的消息
fileReservedTime = 48
#与 fileReservedTim巳 参数呼应,表明在几点做消息删除动作,默认值 04 表示凌晨 4 点 。
deleteWhen = 04
#brokerRole 主从复制策略 有3种: 
#SYNC MASTER
#ASYNC MASTER
#关键词 SY1叫C 和 ASYNC 表示 Master 和 Slave 之间同步消息的机制, SYNC 的意思是当 Slave 和 Master 消息同步完成后,再返回发送成功的状态 。
brokerRole = ASYNC_MASTER
#flushDiskType 表示刷 盘策略,分为 SYNC_FLUSH 和 ASYNC_FLUSH 两种,分别代表同步刷盘和异步刷盘 。 同步刷盘情况下,消息真正写人磁盘后再返回成功状态;异步刷盘情况下,消息写入 page_cache 后就返回成功状态 。
flushDiskType = ASYNC_FLUSH
#broker端口号
listenPort=10911
#topic不存在的情况下自动创建
autoCreateTopicEnable = true
#存储消息以及一些配置信息的根目录 每个broker需要配置不同的地址否则抛异常
#java.lang.RuntimeException: Lock failed,MQ already started
#        at org.apache.rocketmq.store.DefaultMessageStore.start(DefaultMessageStore.java:227)
#        at org.apache.rocketmq.broker.BrokerController.start(BrokerController.java:853)
#       at org.apache.rocketmq.broker.BrokerStartup.start(BrokerStartup.java:64)
#      at org.apache.rocketmq.broker.BrokerStartup.main(BrokerStartup.java:58)
storePathRootDir=/home/rocketmq/store-a
#所属集群名字 brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样 brokerName=broker-a或者broker-b
#0 表示 Master, >0 表示 Slave brokerId=0
#nameServer地址,分号分割 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数 defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭 autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭 autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口 listenPort=10911
#删除文件时间点,默认凌晨 4点 deleteWhen=04
#文件保留时间,默认 48 小时 fileReservedTime=120
#commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整 mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88
#存储路径 storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径 storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径 storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径 storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径 storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径 abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小 maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

配置文件设置好后通过命令指定配置文件路径启动Broker

nohup sh bin/mqbroker -c [配置文件路径] & 

停止服务

sh mqshutdown broker
sh mqshutdown namesrv

集群

集群支持
RocketMQ天生对集群的支持非常友好

单Master

优点:除了配置简单没什么优点
缺点:不可靠,该机器重启或宕机,将导致整个服务不可用

多Master

优点:配置简单,性能最高
缺点:可能会有少量消息丢失(配置相关),单台机器重启或宕机期间,该机器下未被消费的消息在机器恢复前不可订阅,影响消息实时性

多Master多Slave

每个Master配一个Slave,有多对Master-Slave,集群采用异步复制方式,主备有短暂消息延迟,毫秒级
优点:性能同多Master几乎一样,实时性高,主备间切换对应用透明,不需人工干预
缺点:Master宕机或磁盘损坏时会有少量消息丢失

多Master多Slave

每个Master配一个Slave,有多对Master-Slave,集群采用同步双写方式,主备都写成功,向应用返回成功优点:服务可用性与数据可用性非常高
缺点:性能比异步集群略低,当前版本主宕备不能自动切换为主,需要注意的是,在RocketMQ里面,1台机器只能要么是Master,要么是Slave。这个在初始的机器配置里面,就定死了。不会像kafka那样存在master动态选举的功能。其中Master的broker id = 0,Slave
的broker id > 0。
有点类似于mysql的主从概念,master挂了以后,slave仍然可以提供读服务,但是由于有多主的存在,当一个master挂了以后,可以写到其他的master上

控制面板

代码:https://github.com/apache/rocketmq-externals/tree/master/rocketmq-console

文档:https://github.com/apache/rocketmq-externals/blob/master/rocketmq-console/doc/1_0_0/UserGuide_CN.md

配置文件中指定其中一个namesrv地址

rocketmq.config.namesrvAddr=10.211.55.4:9876

或者后台手动更新

image-20200708154222324

可以通过面板创建topic

image-20200708154615280

writeQueueNums表示producer发送到的MessageQueue的队列个数
readQueueNumbs表示Consumer读取消息的MessageQueue队列个数,其实类似于kafka的分区的概念
这两个值需要相等,在集群模式下如果不相等,假如说writeQueueNums=6,readQueueNums=3, 那么每个broker上会有3个queue的消息是无法消费的。

https://help.aliyun.com/document_detail/29532.html?spm=a2c4g.11186623.6.541.15be3af90vnILO

http://rocketmq.apache.org/docs/motivation/

免责声明:文章转载自《1-rocketmq简介-部署》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇QT Graphics-View图元组使用PIVOT浏览器试用体验下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

vue props 用法(转载)

前面的话   组件接受的选项大部分与Vue实例一样,而选项props是组件中非常重要的一个选项。在 Vue 中,父子组件的关系可以总结为 props down, events up。父组件通过 props 向下传递数据给子组件,子组件通过 events 给父组件发送消息。本文将详细介绍Vue组件选项props 父子级组件   在介绍props之前,先介绍...

【微信】新闻推送步骤

微信公众平台主页 准备群发素材 这里演示多图文消息情况—— 群发消息 在素材中找之前编辑好的内容 补充:微社区后台设置 进入微社区后点击【话题管理】-【发新话题】,然后进行复制粘贴即可(注意:图片需要下载后上传到微社区里,无法粘贴) 记得把标签改为【七院动态】 编辑好后提取网页链接 补充:编辑器用法略讲 所有编辑器基本都差不多,...

Celery学习---Celery 分布式队列介绍及安装

 Celery介绍和基本使用 Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理, 如果你的业务场景中需要用到异步任务,就可以考虑使用celery, 举几个实例场景中可用的例子: 1. 你想对100台机器执行一条批量命令,可能会花很长时间 ,但你不想让你的程序等着结果返回,而是给你返回 一个任务ID,...

GitLab实战操作指南

一、Git原理 1、Git是什么? Git是目前世界上最先进的分布式版本控制系统(没有之一)。 2、Git有什么特点? 简单来说就是:高端大气上档次! 3、GIt与SVN区别 SVN管理: 属于集中式版本控制系统,版本库是集中存放在中央服务器,必须联网才能工作,脱离局域网,采取互联网提交大文件会比较慢   Git管理: 属于分布式版本控制系统,根...

Springboot+WebSocket+Kafka(写着玩的)

闹着玩的来源:前台发送消息,后台接受处理发给kafka,kafka消费者接到消息传给前台显示。联想到websocket。 最终效果如图: 页面解释: 不填写内容的话,表单值默认为Topic、Greeting、Name 点击订阅,按钮变黑 Send Topic 广播 前台显示前缀:T-You Send Subscribe Topic 订阅广播 前台...

HBase实践案例:车联网监控系统

项目背景 本项目为车联网监控系统,系统由车载硬件设备、云服务端构成。车载硬件设备会定时采集车辆的各种状态信息,并通过移动网络上传到服务器端。服务器端接收到硬件设备发送的数据首先需要将数据进行解析,校验,随后会将该消息转发到国家汽车监测平台和地方汽车监测平台,最后将解析后的明文数据和原始报文数据存储到系统中。车辆的数据和其他数据需要通过web页面或rest...