目前主流的MQ主要是Rocketmq、kafka、Rabbitmq,Rocketmq相比于Rabbitmq、kafka具有主要优势特性有:,Rocketmq就是对kafka实现的升级版本。,RocketMQ 优点,RocketMQ 缺点,消息生产者,位于用户的进程内,Producer通过NameServer获取所有Broker的路由信息,根据负载均衡策略选择将消息发到哪个Broker,然后调用Broker接口提交消息。,生产者组,简单来说就是多个发送同一类消息的生产者称之为一个生产者组。,消息消费者,位于用户进程内。Consumer通过NameServer获取所有broker的路由信息后,向Broker发送Pull请求来获取消息数据。Consumer可以以两种模式启动,广播(Broadcast)和集群(Cluster),广播模式下,一条消息会发送给所有Consumer,集群模式下消息只会发送给一个Consumer。,消费者组,和生产者类似,消费同一类消息的多个 Consumer 实例组成一个消费者组。,用于将消息按主题做划分,Producer将消息发往指定的Topic,Consumer订阅该Topic就可以收到这条消息。Topic跟发送方和消费方都没有强关联关系,发送方可以同时往多个Topic投放消息,消费方也可以订阅多个Topic的消息。在RocketMQ中,Topic是一个上逻辑概念。消息存储不会按Topic分开。,代表一条消息,使用MessageId唯一识别,用户在发送时可以设置messageKey,便于之后查询和跟踪。一个 Message 必须指定 Topic,相当于寄信的地址。Message 还有一个可选的 Tag 设置,以便消费端可以基于 Tag 进行过滤消息。也可以添加额外的键值对,例如你需要一个业务 key 来查找 Broker 上的消息,方便在开发过程中诊断问题。,可以被认为是对 Topic 进一步细化。一般在相同业务模块中通过引入标签来标记不同用途的消息。,是RocketMQ的核心模块,负责接收并存储消息,同时提供Push/Pull接口来将消息发送给Consumer。Consumer可选择从Master或者Slave读取数据。多个主/从组成Broker集群,集群内的Master节点之间不做数据交互。Broker同时提供消息查询的功能,可以通过MessageID和MessageKey来查询消息。Borker会将自己的Topic配置信息实时同步到NameServer。,Queue Topic和Queue是1对多的关系,一个Topic下可以包含多个Queue,主要用于负载均衡。发送消息时,用户只指定Topic,Producer会根据Topic的路由信息选择具体发到哪个Queue上。Consumer订阅消息时,会根据负载均衡策略决定订阅哪些Queue的消息。,是RocketMQ在存储消息时会为每个Topic下的每个Queue生成一个消息的索引文件,每个Queue都对应一个Offset记录当前Queue中消息条数。,NameServer可以看作是RocketMQ的注册中心,它管理两部分数据:集群的Topic-Queue的路由配置;Broker的实时配置信息。其它模块通过Nameserver提供的接口获取最新的Topic配置和路由信息。,通过查询接口获取Topic对应的Broker的地址信息,注册配置信息到NameServer, 实时更新Topic信息到NameServer,这里用作学习使用,所以使用docker安装,安装速度快。,1、安装启动
nameserver
服务,2、安装启动broker服务,根据容器卷配置,在指定位置添加broker.conf内容 /opt/rocketmq/conf/broker.conf 。(可以不需要),启动broker服务,3、安装启动控制台,集群部署原理图,
,broker主备,主:,备:同步主节点的数据,当主节点宕机之后,可以从被变为主保证高可用。,在rocketmq中分为多主多从实现对我们topic数据实现分片存储。,集群的部署主要在于配置文件,nameserver部署好之后,多个broker的配置文件中配置同一个nameserver 集群的连接信息,broker集群就搭建好了。之后 Rocketmq-console 连接其中一个nameserver就可以了。,配置文件说明:,1、首先启动两个nameserver服务,2、启动多个broker服务(这里安排两个),第一个broker配置文件,第二个broker配置文件,启动方式: