zoukankan      html  css  js  c++  java
  • 消息队列Rabbit MQ 学习第一篇

    1 介绍 

    1.1RabbitMQ

    MQ全称为Message Queue,即消息队列, RabbitMQ是由erlang语言开发,基于AMQP(Advanced Message Queue 高级消息队列协议)协议实现的消息队列,它是一种应用程序之间的通信方法,消息队列在分布式系统开 发中应用非常广泛。

    RabbitMQ官方地址:http://www.rabbitmq.com/
    开发中消息队列通常有如下应用场景:
    1、任务异步处理。
    将不需要同步处理的并且耗时长的操作由消息队列通知消息接收方进行异步处理。提高了应用程序的响应时间。
    2、应用程序解耦合 MQ相当于一个中介,生产方通过MQ与消费方交互,它将应用程序进行解耦合。

    市场上还有哪些消息队列?
    ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ、Redis。

    ****************************************************

    Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:
    以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间复杂度的访问性能。
    高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。
    支持Kafka Server间的消息分区,及分布式消费,同时保证每个Partition内的消息顺序传输。
    同时支持离线数据处理和实时数据处理。
    Scale out:支持在线水平扩展。

    RabbitMQ
    RabbitMQ是使用Erlang编写的一个开源的消息队列,本身支持很多的协议:AMQP,XMPP, SMTP, STOMP,也正因如此,它非常重量级,更适合于企业级的开发。同时实现了Broker构架,这意味着消息在发送给客户端时先在中心队列排队。对路由,负载均衡或者数据持久化都有很好的支持。

    Redis
    Redis是一个基于Key-Value对的NoSQL数据库,开发维护很活跃。虽然它是一个Key-Value数据库存储系统,但它本身支持MQ功能,所以完全可以当做一个轻量级的队列服务来使用。对于RabbitMQ和Redis的入队和出队操作,各执行100万次,每10万次记录一次执行时间。测试数据分为128Bytes、512Bytes、1K和10K四个不同大小的数据。实验表明:入队时,当数据比较小时Redis的性能要高于RabbitMQ,而如果数据大小超过了10K,Redis则慢的无法忍受;出队时,无论数据大小,Redis都表现出非常好的性能,而RabbitMQ的出队性能则远低于Redis。

    ZeroMQ
    ZeroMQ号称最快的消息队列系统,尤其针对大吞吐量的需求场景。ZeroMQ能够实现RabbitMQ不擅长的高级/复杂的队列,但是开发人员需要自己组合多种技术框架,技术上的复杂度是对这MQ能够应用成功的挑战。ZeroMQ具有一个独特的非中间件的模式,你不需要安装和运行一个消息服务器或中间件,因为你的应用程序将扮演这个服务器角色。你只需要简单的引用ZeroMQ程序库,可以使用NuGet安装,然后你就可以愉快的在应用程序之间发送消息了。但是ZeroMQ仅提供非持久性的队列,也就是说如果宕机,数据将会丢失。其中,Twitter的Storm 0.9.0以前的版本中默认使用ZeroMQ作为数据流的传输(Storm从0.9版本开始同时支持ZeroMQ和Netty作为传输模块)。

    ActiveMQ
    ActiveMQ是Apache下的一个子项目。 类似于ZeroMQ,它能够以代理人和点对点的技术实现队列。同时类似于RabbitMQ,它少量代码就可以高效地实现高级应用场景。

    Kafka/Jafka
    Kafka是Apache下的一个子项目,是一个高性能跨语言分布式发布/订阅消息队列系统,而Jafka是在Kafka之上孵化而来的,即Kafka的一个升级版。具有以下特性:快速持久化,可以在O(1)的系统开销下进行消息持久化;高吞吐,在一台普通的服务器上既可以达到10W/s的吞吐速率;完全的分布式系统,Broker、Producer、Consumer都原生自动支持分布式,自动实现负载均衡;支持Hadoop数据并行加载,对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka通过Hadoop的并行加载机制统一了在线和离线的消息处理。Apache Kafka相对于ActiveMQ是一个非常轻量级的消息系统,除了性能非常好之外,还是一个工作良好的分布式系统。

    以上转自:http://www.infoq.com/cn/articles/kafka-analysis-part-1/

    ****************************************************

    为什么使用RabbitMQ呢?
    1、使得简单,功能强大。
    2、基于AMQP协议。
    3、社区活跃,文档完善。
    4、高并发性能好,这主要得益于Erlang语言。
    5、Spring Boot默认已集成RabbitMQ

    1.2 其它相关知识 

    AMQP是什么 ?

    AMQP,即Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息,并不受客户端/中间件不同产品,不同的开发语言等条件的限制。Erlang中的实现有RabbitMQ等。

    总结:AMQP是一套公开的消息队列协议,最早在2003年被提出,它旨在从协议层定义消息通信数据的标准格式, 为的就是解决MQ市场上协议不统一的问题。RabbitMQ就是遵循AMQP标准协议开发的MQ服务。 官方:http://www.amqp.org/
     
    JMS是什么 ?

    JMS即Java消息服务(Java Message Service)应用程序接口,是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信。Java消息服务是一个与具体平台无关的API,绝大多数MOM提供商都对JMS提供支持。

    总结:JMS是java提供的一套消息服务API标准,其目的是为所有的java应用程序提供统一的消息通信的标准,类似java的 jdbc,只要遵循jms标准的应用程序之间都可以进行消息通信。它和AMQP有什么 不同,jms是java语言专属的消 息服务标准,它是在api层定义标准,并且只能用于java应用;而AMQP是在协议层定义的标准,是跨语言的 。

    2 快速入门 

    2.1 RabbitMQ的工作原理

     组成部分说明如下:

         Broker:消息队列服务进程,此进程包括两个部分:Exchange和Queue。
         Exchange:消息队列交换机,按一定的规则将消息路由转发到某个队列,对消息进行过虑。
         Queue:消息队列,存储消息的队列,消息到达队列并转发给指定的消费方。
         Producer:消息生产者,即生产方客户端,生产方客户端将消息发送到MQ。 Consumer:消息消费者,即消费方客户端,接收MQ转发的消息。
    消息发布接收流程:
          -----发送消息----
         1、生产者和Broker建立TCP连接。
         2、生产者和Broker建立通道。
         3、生产者通过通道消息发送给Broker,由Exchange将消息进行转发。
         4、Exchange将消息转发到指定的Queue(队列)
         ----接收消息----
         1、消费者和Broker建立TCP连接
         2、消费者和Broker建立通道
         3、消费者监听指定的Queue(队列)
         4、当有消息到达Queue时Broker默认将消息推送给消费者。
         5、消费者接收到消息。

    2.2  下载安装

    2.2.1 下载安装

    RabbitMQ由Erlang语言开发,Erlang语言用于并发及分布式系统的开发,在电信领域应用广泛,OTP(Open Telecom Platform)作为Erlang语言的一部分,包含了很多基于Erlang开发的中间件及工具库,安装RabbitMQ需 要安装Erlang/OTP,并保持版本匹配,如下图: RabbitMQ的下载地址:http://www.rabbitmq.com/download.html

    1)下载erlang
    地址如下:
    http://erlang.org/download/otp_win64_20.3.exe
    或去老师提供的软件包中找到 otp_win64_20.3.exe,以管理员方式运行此文件,安装。
    erlang安装完成需要配置erlang环境变量:
    ERLANG_HOME=D:Program Fileserl9.3
    在path中添
    加%ERLANG_HOME%in;
    2)安装RabbitMQ
    https://github.com/rabbitmq/rabbitmq-server/releases/tag/v3.7.3
    或去老师提供的软件包中找到 rabbitmq-server-3.7.3.exe,以管理员方式运行此文件,安装。

    2.2.2启动

    安装成功后会自动创建RabbitMQ服务并且启动。
    1)从开始菜单启动RabbitMQ
    完成在开始菜单找到RabbitMQ的菜单:
    RabbitMQ Service-install :安装服务
    RabbitMQ Service-remove 删除服务
    RabbitMQ Service-start 启动
    RabbitMQ Service-stop 启动
    2)如果没有开始菜单则进入安装目录下sbin目录手动启动:

    1)安装并运行服务

    rabbitmq-service.bat install 安装服务 rabbitmq-service.bat stop 停止服务 rabbitmq-service.bat start 启动服务
    2)安装管理插件
    安装rabbitMQ的管理插件,方便在浏览器端管理RabbitMQ
    管理员身份运行 rabbitmq-plugins.bat enable rabbitmq_management
    3、启动成功 登录RabbitMQ
    进入浏览器,输入:http://localhost:15672
    初始账号和密码:guest/guest

    2.2.3 注意事项

    1、安装erlang和rabbitMQ以管理员身份运行。
    2、当卸载重新安装时会出现RabbitMQ服务注册失败,此时需要进入注册表清理erlang
    搜索RabbitMQ、ErlSrv,将对应的项全部删除。
  • 相关阅读:
    Python对象的永久存储
    今天说车,今天吹一波吉利。
    Python 程序能用很多方式处理日期和时间
    Python爬虫1-数据提取-BeautifulSoup4
    优秀的 Java 爬虫项目?
    用Python复制文件的9个方法
    赵孟頫《心经》高清放大单字
    Java遍历Properties的所有的元素
    javaHttps发送POST请求[亲测可用]
    Burp Post、Get数据包转为上传multipart/form-data格式数据包
  • 原文地址:https://www.cnblogs.com/antonyhubei/p/12053314.html
Copyright © 2011-2022 走看看