zoukankan      html  css  js  c++  java
  • 消息队列rabbitmq

    1.MQ 全称为 Message Queue, 消息队列( MQ )

    是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。

    消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

    排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

    2. AMQP 即 Advanced Message Queuing Protocol

    高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。

    AMQP 的主要特征是面向消息、队列、路由(包括点对点和发布 / 订阅)、可靠性、安全。

    3. Rabbitmq概念

    属于一个流行的开源消息队列系统。属于AMQP( 高级消息队列协议 ) 标准的一个 实现。是应用层协议的一个开放标准,为面向消息的中间件设计。用于在分布式系统中存储转发消息,在 易用性、扩展性、高可用性等方面表现不俗。

    消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。

    AMQP 的主要特征是面向消息、队列、路由(包括点对点和发布 / 订阅)、可靠性、安全。

    RabbitMQ特点:

    使用Erlang编写

    支持持久化

    支持HA

    提供C# , erlang,java,perl,python,ruby等的client开发端,运维了解即可。

    4. 什么是耦合、解耦合

    一、耦合

      1、耦合是指两个或两个以上的体系或两种运动形式间通过相互作用而彼此影响以至联合起来的现象。

      2、在软件工程中,对象之间的耦合度就是对象之间的依赖性。对象之间的耦合越高,维护成本越高,因此对象的设计应使类和构件之间的耦合最小。

      3、分类:有软硬件之间的耦合,还有软件各模块之间的耦合。耦合性是程序结构中各个模块之间相互关联的度量。它取决于各个模块之间的接口的复杂程度、调用模块的方式以及哪些信息通过接口。

    二、解耦

      1、解耦,字面意思就是解除耦合关系。

      2、在软件工程中,降低耦合度即可以理解为解耦,模块间有依赖关系必然存在耦合,理论上的绝对零耦合是做不到的,但可以通过一些现有的方法将耦合度降至最低。

      3、设计的核心思想:尽可能减少代码耦合,如果发现代码耦合,就要采取解耦技术。让数据模型,业务逻辑和视图显示三层之间彼此降低耦合,把关联依赖降到最低,而不至于牵一发而动全身。原则就是A功能的代码不要写在B的功能代码中,如果两者之间需要交互,可以通过接口,通过消息,甚至可以引入框架,但总之就是不要直接交叉写。

    5. RabbitMQ中的概念名词

    Broker:简单来说就是消息队列服务器实体。

    Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。

    Queue:消息队列载体,每个消息都会被投入到一个或多个队列。 Binding:绑定,它的作用就是把exchange和queue按照路由规则绑定起来。

    Routing Key:路由关键字, exchange根据这个关键字进行消息投递。

    vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。

    producer:消息生产者,就是投递消息的程序。

    consumer:消息消费者,就是接受消息的程序。

    channel:消息通道,在客户端的每个连接里,可建立多个channel,每个 channel代表一个会话任务。

    6. RabbitMQ工作原理

    MQ 是消费 - 生产者模型的一个典型的代表,一端往消息队列中不断写入消息,而另一端则可以读取或者订阅队列中的消息。 MQ 则是遵循了 AMQP协议的具体实现和产品。在项目中,将一些无需即时返回且耗时的操作提取出来,进行了异步处理,而这种异步处理的方式大大的节省了服务器的请求响应时间,从而提高了系统的吞吐量。

    clip_image002

    ( 1)客户端连接到消息队列服务器,打开一个channel。

    ( 2)客户端声明一个exchange,并设置相关属性。

    ( 3)客户端声明一个queue,并设置相关属性。

    ( 4)客户端使用routing key,在exchange和queue之间建立好绑定关系。

    ( 5)客户端投递消息到exchange。

    ( 6) exchange接收到消息后,就根据消息的key和已经设置的binding,进 行消息路由,将消息投递到一个或多个队列里

    clip_image003

    7. Rabbitmq 的 metadata

    元数据可以持久化在 RAM 或 Disc. 从这个角度可以把 RabbitMQ 集群中的节点分成两种 :RAM Node和 Disk Node.

    RAM Node 只会将元数据存放在RAM

    Disk node 会将元数据持久化到磁盘。

    单节点系统就没有什么选择了 , 只允许 disk node, 否则由于没有数据冗余一旦重启就会丢掉所有的配置信息 . 但在集群环境中可以选择哪些节点是 RAM node.在集群中声明(declare) 创建 exchange queue binding, 这类操作要等到所有的节点都完成创建才会返回 :

    如果是内存节点就要修改内存数据 ,

    如果是 disk node 就要等待写磁盘 , 节点过多这里的速度就会被大大的拖慢 .

    有些场景 exchang queue 相当固定 , 变动很少 ,那即使全都是 disc node, 也没有什么影响 . 如果使用 Rabbitmq 做 RPC( RPC :Remote Procedure Call—远程过程调用), RPC 或者类似 RPC 的场景这个问题就严重了 , 频繁创建销毁临时队列 , 磁盘读写能力就很快成为性能瓶颈了。所以 , 大多数情况下 , 我们尽量把 Node 创建为RAM Node. 这里就有一个问题了 , 要想集群重启后元数据可以恢复就需要把集群元数据持久化到磁盘 , 那需要规划 RabbitMQ 集群中的 RAM Node 和 Disk Node 。

    只要有一个节点是 Disc Node 就能提供条件把集群元数据写到磁盘 ,RabbitMQ 的确也是这样要求的 : 集群中只要有一个 disk node 就可以 , 其它的都可以是 RAM node. 节点加入或退出集群一定至少要通知集群中的一个 disk node 。

    如果集群中 disk node 都宕掉 , 就不要变动集群的元数据 . 声明 exchange queue 修改用户权限 , 添加用户等等这些变动在节点重启之后无法恢复 。

    有一种情况要求所有的 disk node 都要在线情况在才能操作 , 那就是增加或者移除节点 .RAM node 启动的时候会连接到预设的 disk node 下载最新的集群元数据 . 如果你有两个 disk node(d1 d2), 一个 RAM node 加入的时候你只告诉 d1, 而恰好这个 RAM node 重启的时候 d1 并没有启动 , 重启就会失败 . 所以加入 RAM 节点的时候 , 把所有的disk node 信息都告诉它 ,RAM node 会把 disk node 的信息持久化到磁盘以便后续启动可以按图索骥 .

    8. Rabbitmq 集群部署

    一、 环境准备

    (1)条件:准备3台linux系统,确保配置好源,及epel源

    (2)三台虚拟机:node1:192.168.88.50;node2:192.168.88.55;node3:192.168.88.56

    做好域名解析,主机名改为node1,node2,node3

    (3)设置可以无密钥登陆(SSH)

    二、安装过程:

    (1)所有node(node1,node2,node3 )安装rabbtimq和erlang软件包:

    yum install -y erlang rabbitmq-server.noarch

    [root@node1 ~]# systemctl enable rabbitmq-server.service

    [root@node1 ~]# systemctl restart rabbitmq-server.service

    [root@node1 ~]# systemctl status rabbitmq-server.service

    查看监听端口:

    [root@node1 ~]# netstat -lantp |grep 5672

    clip_image004

    配置文件:vim /etc/rabbitmq/rabbitmq.config # 不用修改

    [root@node1 ~]# rabbitmqctl cluster_status

    clip_image005

    node2

    clip_image006

    node3

    clip_image007

    (2)node1:编辑rabbittmq变量文件

    [root@node1 ~]# vim /etc/rabbitmq/rabbitmq-env.conf # 没有这个文件,需要新创建

    RABBITMQ_NODE_PORT=5672

    ulimit -S -n 4096

    RABBITMQ_SERVER_ERL_ARGS="+K true +A30 +P 1048576 -kernel inet_default_connect_options [{nodelay,true},{raw,6,18,<<5000:64/native>>}] -kernel inet_default_listen_options [{raw,6,18,<<5000:64/native>>}]"

    RABBITMQ_NODE_IP_ADDRESS=192.168.88.50 #这个ip是本机ip

    (3)node1:将rabbittmq变量文件拷贝到其他两节点,之后并修改相应节点的ip

    [root@node1 ~]# scp /etc/rabbitmq/rabbitmq-env.conf node2:/etc/rabbitmq/rabbitmq-env.conf

    [root@node1 ~]# scp /etc/rabbitmq/rabbitmq-env.conf node3:/etc/rabbitmq/rabbitmq-env.conf

    查看rabbitmq插件

    [root@node1 ~]# /usr/lib/rabbitmq/bin/rabbitmq-plugins list

    clip_image008

    (4)所有node 开启rabbitmq的web管理页面

    [root@node1 ~]# rabbitmq-plugins enable rabbitmq_management

    clip_image009

    [root@node1 ~]# systemctl restart rabbitmq-server.service

    [root@node1 ~]# systemctl status rabbitmq-server.service

    clip_image010

    查看node1,2,3插件启动状态:

    [root@node1 ~]# /usr/lib/rabbitmq/bin/rabbitmq-plugins list

    clip_image011

    (5)登陆验证:节点ip:15672

    clip_image012

    默认:

    Username: guest

    Password:guest

    (6)node1:修改guest密码为admin(默认用户为:guest 密码为:guest)

    [root@node1 ~]# rabbitmqctl change_password guest admin

    clip_image013

    (7)node1发送erlang.cookie到其他节点配置集群

    [root@node1 ~]# scp /var/lib/rabbitmq/.erlang.cookie node2:/var/lib/rabbitmq/

    [root@node1 ~]# scp /var/lib/rabbitmq/.erlang.cookie node3:/var/lib/rabbitmq/

    (8)node2和node3停止应用,并以ram的方式加入node1节点,之后重启应用

    node1端:

    [root@node1 ~]# rabbitmqctl cluster_status

    clip_image014

    node2和node3端:都加入到node1的急群中

    [root@node2 ~]# systemctl restart rabbitmq-server.service

    [root@node2 ~]# rabbitmqctl stop_app

    clip_image015

    [root@node2 ~]# rabbitmqctl join_cluster --ram rabbit@node1 #以ram节点形式,要加入的集群名,

    [root@node2 ~]# rabbitmqctl start_app

    clip_image016

    [root@node3 ~]# rabbitmqctl stop_app

    clip_image017

    [root@node3 ~]# rabbitmqctl join_cluster --ram rabbit@node1

    clip_image018

    [root@node3 ~]# rabbitmqctl start_app

    clip_image019

    (9)登陆验证:查看集群状态

    clip_image020

    可以看出node2和node3已经加入到了node1的集群里。

    (10)node1:添加一个user1的用户,并设密码为admin。并设置权限和成为管理员

    [root@node3 ~]# rabbitmqctl add_user user1 admin

    clip_image021

    clip_image022

    给user1用户赋予权限

    [root@node3 ~]# rabbitmqctl set_permissions user1 ".*" ".*" ".*"

    clip_image023

    clip_image024

    赋予user1管理员权限

    [root@node3 ~]# rabbitmqctl set_user_tags user1 administrator

    clip_image025

    (11)node1检查集群状态

    [root@node1 ~]# rabbitmqctl cluster_status

    clip_image026

    三、其他命令:

    (1)添加管理员:用户名user2,密码admin

    rabbitmqctl add_user user2 admin

    rabbitmqctl set_user_tags user2 administrator

    rabbitmqctl set_permissions -p / user2 ".*" ".*" ".*"

    (2)更改节点类型(内存型或磁盘型)

    [root@node2 ~]# rabbitmqctl stop_app

    [root@node2 ~]# rabbitmqctl change_cluster_node_type disc 或 rabbitmqctl change_cluster_node_type ram

    [root@node2 ~]# rabbitmqctl start_app

    页面查看:

    clip_image027

    (3)从集群移除节点(或者重置节点)

    [root@node2 ~]# rabbitmqctl stop_app

    [root@node2 ~]# rabbitmqctl reset

    [root@node2 ~]# rabbitmqctl start_app

    [root@node1 ~]# rabbitmqctl cluster_status #node1节点处查看发现node2已经去掉

    clip_image028

    (4)从某个节点移除集群中其他节点

    node3:rabbitmqctl stop_app

    rabbitmqctl forget_cluster_node rabbit@node3

    rabbitmqctl reset

    rabbitmqctl start_app

    rabbitmqctl cluster_status

    四、注意

    1. 保证集群中至少有一个磁盘类型的节点以防数据丢失,在更改节点类型时尤其要注意。

    2. 若整个集群被停掉了,应保证最后一个 down 掉的节点被最先启动,若不能则要使用 forget_cluster_node 命令将其移出集群

    3. 若集群中节点几乎同时以不可控的方式 down 了此时在其中一个节点使用 force_boot 命令重启节点

  • 相关阅读:
    DOS命令行编译运行java
    mysql安装
    ICCV2021 | Vision Transformer中相对位置编码的反思与改进
    ICCV2021 | 医学影像等小数据集的非自然图像领域能否用transformer?
    ICCV2021 | TransFER:使用Transformer学习关系感知的面部表情表征
    2021视频监控中的多目标跟踪综述
    ML2021 | (腾讯)PatrickStar:通过基于块的内存管理实现预训练模型的并行训练
    ICCV2021 | SOTR:使用transformer分割物体
    ICCV2021 | PnPDETR:用Transformer进行高效的视觉分析
    使用Latex/Tex创建自己的简历。
  • 原文地址:https://www.cnblogs.com/liangzb310/p/11089091.html
Copyright © 2011-2022 走看看