zoukankan      html  css  js  c++  java
  • RabbitMq

    一.消息队列的概念

      消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。
    
      消息队列(Message Queue)是一种应用间的通信方式,消息发送后可以立即返回,由消息系统来确保消息的可靠传递。消息
    发布者只管把消息发布到 MQ 中而不用管谁来取,消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。

    二.为何使用消息队列

    从上面的描述中可以看出消息队列是一种应用间的异步协作机制,那什么时候需要使用 MQ 呢?
    
      以常见的订单系统为例,用户点击【下单】按钮之后的业务逻辑可能包括:扣减库存、生成相应单据、发红包、发短信通知。
    在业务发展初期这些逻辑可能放在一起同步执行,随着业务的发展订单量增长,需要提升系统服务的性能,这时可以将一些不需
    要立即生效的操作拆分出来异步执行,比如发放红包、发短信通知等。这种场景下就可以用 MQ ,在下单的主流程(比如扣减库
    存、生成相应单据)完成之后发送一条消息到 MQ 让主流程快速完结,而由另外的单独线程拉取MQ的消息(或者由 MQ 推送消息),
    当发现 MQ 中有发红包或发短信之类的消息时,执行相应的业务逻辑

    三.RabbitMq

      RabbitMQ 是一个由 Erlang 语言开发的 AMQP 的开源实现。
      rabbitMQ是一款基于AMQP协议的消息中间件,它能够在应用之间提供可靠的消息传输。在易用性,扩展性,
    高可用性上表现优秀。使用消息中间件利于应用之间的解耦,生产者(客户端)无需知道消费者(服务端)
    的存在。而且两端可以使用不同的语言编写,大大提供了灵活性。

     

    四.rabbitMq的工作模型

      一.简单模式

        1.最简单的模式

    ###################生产者

    import
    pika #1.连接rabbitmq connection=pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) channel=connection.channel() #2.创建队列,队列名称 channel.queue_declare(queue='hello') #3.往队列里面塞消息 #exchange='',代表的是简单模式 # routing_key代表要操作的的队列 #body代表往队列塞的东西 channel.basic_publish(exchange='', routing_key='hello', body='我发消息了' ) print('[x] Sent Hello World!') #4.关闭连接 connection.close()

      代码:

    ############消费者

    import
    pika #1.连接rabbitmq connection=pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) channel=connection.channel() #2.创建队列 channel.queue_declare(queue='hello') # # # #3,定义一个回调函数 def callback(ch,method,properties,body): print('[x] received %r' %body) # # # # #确定监听事件 channel.basic_consume(callback, queue='hello', no_ack=True ) # #分配方式 channel.basic_qos(prefetch_count=1) # #开始监听 channel.start_consuming()

        2.no-ack 参数的使用

          上面是no-act=True的模式,就无应答的模式(默认是false),如果no-act=false(即有应答的)模式呢?

          有应答的模式是消息队列必须在消费者取走数据,并且在处理完数据之后,向消息队列发送一条应答,说我已经处理完了,我取走的消息你可以删除了!

        否则,消息队列会一直保留消费者取走的数据,直到消费者应答之后才把数据删除.

          所以:

           1. 回调函数中的ch.basic_ack(delivery_tag=method.delivery_tag)

           2. basic_comsume中的no_ack=False

       消费者应该这样写:  

    import pika
    
    #1.连接rabbitmq
    connection=pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
    channel=connection.channel()
    
    #2.创建队列
    channel.queue_declare(queue='hello')
    #
    #
    # #3,定义一个回调函数
    def callback(ch,method,properties,body):
        print('[x] received %r' %body)
        # 应答
        ch.basic_ack(delivery_tag=method.delivery_tag)
    
    
    #
    #
    # #确定监听事件
    channel.basic_consume(callback,
                          queue='hello',
                          no_ack=False
                        )
    # #分配方式
    channel.basic_qos(prefetch_count=1)
    # #开始监听
    channel.start_consuming()

         3. durable 参数的使用 :消息不丢失

            消息不消失服务器宕机),那就是持久化存储,

          代码:

    # 生产者
    #!/usr/bin/env python
    import pika
    
    connection = pika.BlockingConnection(pika.ConnectionParameters(host='10.211.55.4'))
    channel = connection.channel()
    
    #声明一个消息队列,并且这个消息队列是可持久化存储的
    channel.queue_declare(queue='hello', durable=True)
    
    channel.basic_publish(exchange='',
                          routing_key='hello',
                          body='Hello World!',
                          properties=pika.BasicProperties(
                              delivery_mode=2, # make message persistent
                          ))
    print(" [x] Sent 'Hello World!'")
    connection.close()
    
    
    # 消费者
    #!/usr/bin/env python
    # -*- coding:utf-8 -*-
    import pika
    
    connection = pika.BlockingConnection(pika.ConnectionParameters(host='10.211.55.4'))
    channel = connection.channel()
    
    # 声明一个消息队列,并且这个消息是可持久化存储的
    channel.queue_declare(queue='hello', durable=True)
    
    
    def callback(ch, method, properties, body):
        print(" [x] Received %r" % body)
        import time
        time.sleep(10)
        print 'ok'
        ch.basic_ack(delivery_tag = method.delivery_tag)
    
    channel.basic_consume(callback,
                          queue='hello',
                          no_ack=False)
    
    print(' [*] Waiting for messages. To exit press CTRL+C')
    channel.start_consuming()

        4.消息获取顺序

        默认消息队列里的数据是按照顺序被消费者拿走,例如:消费者1 去队列中获取 奇数 序列的任务,消费者1去队列中获取 偶数 序列的任务。

      channel.basic_qos(prefetch_count=1) 表示谁来谁取,不再按照奇偶数排列

    #!/usr/bin/env python
    # -*- coding:utf-8 -*-
    import pika
    
    connection = pika.BlockingConnection(pika.ConnectionParameters(host='10.211.55.4'))
    channel = connection.channel()
    
    # make message persistent
    channel.queue_declare(queue='hello')
    
    
    def callback(ch, method, properties, body):
        print(" [x] Received %r" % body)
        import time
        time.sleep(10)
        print 'ok'
        ch.basic_ack(delivery_tag = method.delivery_tag)
    
    channel.basic_qos(prefetch_count=1)
    
    channel.basic_consume(callback,
                          queue='hello',
                          no_ack=False)
    
    print(' [*] Waiting for messages. To exit press CTRL+C')
    channel.start_consuming()

       二.exchange模式

        1.发布订阅:  exchange type = fanout

        发布订阅和简单的消息队列区别在于,发布订阅会将消息发送给所有的订阅者,而消息队列中的数据被消费一次便消失。

      所以,RabbitMQ实现发布和订阅时,会为每一个订阅者创建一个队列,而发布者发布消息时,会将消息放置在所有相关队列中。

       

    # 生产者
    #!/usr/bin/env python
    import pika
    import sys
    
    connection = pika.BlockingConnection(pika.ConnectionParameters(
            host='localhost'))
    channel = connection.channel()
    
    channel.exchange_declare(exchange='logs',  #所以这边声明的不再是队列,而是一个交换机
                             type='fanout')   #fanout是广播模式,和这台交换机绑定队列都能接收到他广播的消息
    
    message = ' '.join(sys.argv[1:]) or "info: Hello World!"
    channel.basic_publish(exchange='logs',        #路由模式
                          routing_key='',      #所以这个就应该为空
                          body=message)
    print(" [x] Sent %r" % message)
    connection.close()
    
    
    # 消费者
    #!/usr/bin/env python
    import pika
    
    connection = pika.BlockingConnection(pika.ConnectionParameters(
            host='localhost'))
    channel = connection.channel()
    
    #声明交换机 channel.exchange_declare(exchange
    ='logs', #相应消费者这边也应该是路由模式分发 type='fanout')
    #声明队列(让队列去监听对应的交换机) result
    = channel.queue_declare(exclusive=True) queue_name = result.method.queue #给路由命令
    #为队列绑定交换机 channel.queue_bind(exchange
    ='logs', queue=queue_name) #绑定路由 print(' [*] Waiting for logs. To exit press CTRL+C') def callback(ch, method, properties, body): print(" [x] %r" % body) channel.basic_consume(callback, queue=queue_name, no_ack=True) channel.start_consuming()

       2.关键字发送:  exchange type = direct

        通过精确匹配消息的路由关键字,将消息路由到零个或者多个队列中,绑定关键字用来将队列和交换器绑定到一起。

      这让我们可以构建经典的点对点队列消息传输模型,不过和任何已定义的交换器类型一样,当消息的路由关键字与多个

      绑定关键字匹配时,消息可能会被发送到多个队列中。。

     

      

    import pika
    import sys
    
    connection = pika.BlockingConnection(pika.ConnectionParameters(
            host='localhost'))
    channel = connection.channel()
    
    channel.exchange_declare(exchange='direct_logs',
                             exchange_type='direct')
    
    result = channel.queue_declare(exclusive=True)
    queue_name = result.method.queue
    
    
    
    
    channel.queue_bind(exchange='direct_logs',
                       queue=queue_name,
                       routing_key="error")
    
    
    
    print(' [*] Waiting for logs. To exit press CTRL+C')
    
    def callback(ch, method, properties, body):
        print(" [x] %r:%r" % (method.routing_key, body))
    
    channel.basic_consume(callback,
                          queue=queue_name,
                          no_ack=True)
    
    channel.start_consuming()

       3.模糊匹配:   exchange type = topic

      

          主题式交换器类型提供了这样的路由机制:通过消息的路由关键字和绑定关键字的模式匹配,将消息路由到被绑定的队列中。

        这种路由器类型可以被用来支持经典的发布/订阅消息传输模型——使用主题名字空间作为消息寻址模式,将消息传递给那些部分

        或者全部匹配主题模式的多个消费者。

          在topic类型下,可以让队列绑定几个模糊的关键字,之后发送者将数据发送到exchange,exchange将传入”路由值“和 ”关键字“进

        行匹配,匹配成功,则将数据发送到指定队列。

      •    # 表示可以匹配 0 个 或 多个 单词
      •     *  表示只能匹配 一个 单词
    #!/usr/bin/env python
    import pika
    import sys
    
    connection = pika.BlockingConnection(pika.ConnectionParameters(
            host='localhost'))
    channel = connection.channel()
    
    channel.exchange_declare(exchange='topic_logs',
                             type='topic')
    
    result = channel.queue_declare(exclusive=True)
    queue_name = result.method.queue
    
    binding_keys = sys.argv[1:]
    if not binding_keys:
        sys.stderr.write("Usage: %s [binding_key]...
    " % sys.argv[0])
        sys.exit(1)
    
    for binding_key in binding_keys:
        channel.queue_bind(exchange='topic_logs',
                           queue=queue_name,
                           routing_key=binding_key)
    
    print(' [*] Waiting for logs. To exit press CTRL+C')
    
    def callback(ch, method, properties, body):
        print(" [x] %r:%r" % (method.routing_key, body))
    
    channel.basic_consume(callback,
                          queue=queue_name,
                          no_ack=True)
    
    channel.start_consuming()
  • 相关阅读:
    头像点击预览代码
    知识总结和记录——Bootstrap
    知识总结和记录——HTML
    知识总结和记录——面向对象
    知识总结和记录——递归
    知识总结和记录——迭代器和生成器
    知识总结和记录——内置函数
    zap 学习笔记
    2020年总结
    学习笔记_Linux常用指令
  • 原文地址:https://www.cnblogs.com/tjp40922/p/10526041.html
Copyright © 2011-2022 走看看