zoukankan      html  css  js  c++  java

  • Spring整合ActiveMQ

    Spring整合ActiveMQ

    1.管理ActiveMQ

    地址  http://localhost:8161/admin/

        默认用户和密码：admin=admin

    1. 运行发送者，eclipse控制台输出，如下图： 
      这里写图片描述 
      此时，我们先看一下ActiveMQ服务器，Queues内容如下： 
      这里写图片描述
      我们可以看到创建了一个名称为HelloWorld的消息队列，队列中有10条消息未被消费，我们也可以通过Browse查看是哪些消息，如下图： 
      这里写图片描述
      如果这些队列中的消息，被删除，消费者则无法消费。

    2. 我们继续运行一下消费者，eclipse控制台打印消息，如下： 
      这里写图片描述 
      此时，我们先看一下ActiveMQ服务器，Queues内容如下： 
      这里写图片描述
      我们可以看到HelloWorld的消息队列发生变化，多一个消息者，队列中的10条消息被消费了，点击Browse查看，已经为空了。 
      点击Active Consumers，我们可以看到这个消费者的详细信息： 
      这里写图片描述

    2.Spring整合ActiveMQ

       1.maven

           
    [html] view plain copy
     
    1. <!--ActiveMQ依赖 -->  
    2.         <dependency>  
    3.             <groupId>org.apache.activemq</groupId>  
    4.             <artifactId>activemq-all</artifactId>  
    5.             <version>5.13.2</version>  
    6.         </dependency>  
    7. <!-- Spring整合ActiveMQ所需依赖 -->  
    8.             <dependency>  
    9.                 <groupId>org.springframework</groupId>  
    10.                 <artifactId>spring-jms</artifactId>  
    11.             </dependency>  
    12.             <dependency>  
    13.                 <groupId>org.springframework</groupId>  
    14.                 <artifactId>spring-messaging</artifactId>  
    15.             </dependency>  




       2.ActiveMQ配置文件

    [html] view plain copy
     
    1. <?xml version="1.0" encoding="UTF-8"?>  
    2. <beans xmlns="http://www.springframework.org/schema/beans"  
    3.     xmlns:context="http://www.springframework.org/schema/context"  
    4.     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:amq="http://activemq.apache.org/schema/core"  
    5.     xmlns:jms="http://www.springframework.org/schema/jms"  
    6.     xsi:schemaLocation="http://www.springframework.org/schema/beans     
    7.         http://www.springframework.org/schema/beans/spring-beans-4.0.xsd     
    8.         http://www.springframework.org/schema/context     
    9.         http://www.springframework.org/schema/context/spring-context-4.0.xsd  
    10.         http://www.springframework.org/schema/jms  
    11.         http://www.springframework.org/schema/jms/spring-jms-4.0.xsd  
    12.         http://activemq.apache.org/schema/core  
    13.         http://activemq.apache.org/schema/core/activemq-core-5.8.0.xsd">  
    14.   
    15.     <!-- ActiveMQ 连接工厂 -->  
    16.     <!-- 真正可以产生Connection的ConnectionFactory，由对应的 JMS服务厂商提供-->  
    17.     <!-- 如果连接网络：tcp://ip:61616；未连接网络：tcp://localhost:61616 以及用户名，密码-->  
    18.     <amq:connectionFactory id="amqConnectionFactory"  
    19.         brokerURL="tcp://172.17.65.29:61616" userName="admin" password="admin"  />  
    20.   
    21.     <!-- Spring Caching连接工厂 -->  
    22.     <!-- Spring用于管理真正的ConnectionFactory的ConnectionFactory -->    
    23.     <bean id="connectionFactory" class="org.springframework.jms.connection.CachingConnectionFactory">  
    24.         <!-- 目标ConnectionFactory对应真实的可以产生JMS Connection的ConnectionFactory -->    
    25.         <property name="targetConnectionFactory" ref="amqConnectionFactory"></property>  
    26.         <!-- 同上，同理 -->  
    27.         <!-- <constructor-arg ref="amqConnectionFactory" /> -->  
    28.         <!-- Session缓存数量 -->  
    29.         <property name="sessionCacheSize" value="100" />  
    30.     </bean>  
    31.   
    32.     <!-- Spring JmsTemplate 的消息生产者 start-->  
    33.   
    34.     <!-- 定义JmsTemplate的Queue类型 -->  
    35.     <bean id="jmsQueueTemplate" class="org.springframework.jms.core.JmsTemplate">  
    36.         <!-- 这个connectionFactory对应的是我们定义的Spring提供的那个ConnectionFactory对象 -->    
    37.         <constructor-arg ref="connectionFactory" />  
    38.         <!-- 非pub/sub模型（发布/订阅），即队列模式 -->  
    39.         <property name="pubSubDomain" value="false" />  
    40.     </bean>  
    41.   
    42.     <!-- 定义JmsTemplate的Topic类型 -->  
    43.     <bean id="jmsTopicTemplate" class="org.springframework.jms.core.JmsTemplate">  
    44.          <!-- 这个connectionFactory对应的是我们定义的Spring提供的那个ConnectionFactory对象 -->    
    45.         <constructor-arg ref="connectionFactory" />  
    46.         <!-- pub/sub模型（发布/订阅） -->  
    47.         <property name="pubSubDomain" value="true" />  
    48.     </bean>  
    49.   
    50.     <!--Spring JmsTemplate 的消息生产者 end-->  
    51.   
    52.   
    53.     <!-- 消息消费者 start-->  
    54.   
    55.     <!-- 定义Queue监听器 -->  
    56.     <jms:listener-container destination-type="queue" container-type="default" connection-factory="connectionFactory" acknowledge="auto">  
    57.         <jms:listener destination="test.queue" ref="queueReceiver1"/>  
    58.         <jms:listener destination="test.queue" ref="queueReceiver2"/>  
    59.     </jms:listener-container>  
    60.   
    61.     <!-- 定义Topic监听器 -->  
    62.     <jms:listener-container destination-type="topic" container-type="default" connection-factory="connectionFactory" acknowledge="auto">  
    63.         <jms:listener destination="test.topic" ref="topicReceiver1"/>  
    64.         <jms:listener destination="test.topic" ref="topicReceiver2"/>  
    65.     </jms:listener-container>  
    66.   
    67.     <!-- 消息消费者 end -->  
    68. </beans>    

    3.生产者

    1.queue消息队列模式

     
    [java] view plain copy
     
    1. package com.jay.mq.demo1.producer.queue;  
    2.   
    3.   
    4. import javax.jms.JMSException;  
    5. import javax.jms.Message;  
    6. import javax.jms.Session;  
    7.   
    8.   
    9. import org.springframework.beans.factory.annotation.Autowired;  
    10. import org.springframework.beans.factory.annotation.Qualifier;  
    11. import org.springframework.jms.core.JmsTemplate;  
    12. import org.springframework.jms.core.MessageCreator;  
    13. import org.springframework.stereotype.Component;  
    14.   
    15.   
    16. /** 
    17.  * ActiveMQ的消息队列模式 
    18.  * Description: <br/> 
    19.  * 队列消息的生产者，发哦是哪个消息到队列 
    20.  * @author hetiewei 
    21.  * @date 2016年4月25日 上午10:20:20 
    22.  * 
    23.  */  
    24. @Component("queueSender")  
    25. public class QueueSender1 {  
    26. <span style="white-space:pre">    </span>  
    27. <span style="white-space:pre">    </span>/** 
    28. <span style="white-space:pre">    </span> * 通过Qualifier来注入对应的Bean 
    29. <span style="white-space:pre">    </span> */  
    30. <span style="white-space:pre">    </span>@Autowired  
    31. <span style="white-space:pre">    </span>@Qualifier("jmsQueueTemplate")  
    32. <span style="white-space:pre">    </span>private JmsTemplate jmsTemplate;  
    33. <span style="white-space:pre">    </span>  
    34. <span style="white-space:pre">    </span>/** 
    35. <span style="white-space:pre">    </span> * Description: <br/> 
    36. <span style="white-space:pre">    </span> * 发送消息到指定的队列(目标) 
    37. <span style="white-space:pre">    </span> * @author hetiewei 
    38. <span style="white-space:pre">    </span> * @date 2016年4月25日 上午10:24:57 
    39. <span style="white-space:pre">    </span> * @param queueName  队列名称 
    40. <span style="white-space:pre">    </span> * @param message    消息内容 
    41. <span style="white-space:pre">    </span> */  
    42. <span style="white-space:pre">    </span>public void send(String queueName, final String message){  
    43. <span style="white-space:pre">        </span>jmsTemplate.send(queueName, new MessageCreator() {  
    44. <span style="white-space:pre">            </span>  
    45. <span style="white-space:pre">            </span>public Message createMessage(Session session) throws JMSException {  
    46. <span style="white-space:pre">                </span>return session.createTextMessage(message);  
    47. <span style="white-space:pre">            </span>}  
    48. <span style="white-space:pre">        </span>});  
    49. <span style="white-space:pre">    </span>}  
    50. }  



    2. topic/sub订阅模式

    [java] view plain copy
     
    1. package com.jay.mq.demo1.producer.topic;  
    2.   
    3. import javax.jms.JMSException;  
    4. import javax.jms.Message;  
    5. import javax.jms.Session;  
    6.   
    7. import org.springframework.beans.factory.annotation.Autowired;  
    8. import org.springframework.beans.factory.annotation.Qualifier;  
    9. import org.springframework.jms.core.JmsTemplate;  
    10. import org.springframework.jms.core.MessageCreator;  
    11. import org.springframework.stereotype.Component;  
    12.   
    13. /** 
    14.  * ActiveMQ的topic/sub模式 
    15.  * Description: <br/> 
    16.  * Topic生产者发送消息到Topic 
    17.  * @author hetiewei 
    18.  * @date 2016年4月25日 上午11:22:40 
    19.  * 
    20.  */  
    21. @Component  
    22. public class TopicSender1 {  
    23.       
    24.     @Autowired  
    25.     @Qualifier("jmsTopicTemplate")  
    26.     private JmsTemplate jmsTemplate;  
    27.       
    28.     /** 
    29.      * 发送一条消息到指定的队列（目标） 
    30.      * @param queueName 队列名称 
    31.      * @param message 消息内容 
    32.      */  
    33.     public void send(String topicName,final String message){  
    34.         jmsTemplate.send(topicName, new MessageCreator() {  
    35.               
    36.             public Message createMessage(Session session) throws JMSException {  
    37.                 return session.createTextMessage(message);  
    38.             }  
    39.         });  
    40.     }  
    41.       
    42. }  


    4.消费者

    1.queue消息队列模式

    [java] view plain copy
     
    1. package com.jay.mq.demo1.consumer.queue;  
    2.   
    3. import javax.jms.JMSException;  
    4. import javax.jms.Message;  
    5. import javax.jms.MessageListener;  
    6. import javax.jms.TextMessage;  
    7.   
    8. import org.springframework.stereotype.Component;  
    9.   
    10. /** 
    11.  * Description: <br/> 
    12.  * 消息队列监听器 
    13.  * @author hetiewei 
    14.  * @date 2016年4月25日 上午10:32:14 
    15.  * 
    16.  */  
    17. @Component  
    18. public class QueueReceiver1 implements MessageListener {  
    19.   
    20.     public void onMessage(Message message) {  
    21.         try {  
    22.             System.out.println("QueueReceiver1接收到消息："+((TextMessage)message).getText());  
    23.         } catch (JMSException e) {  
    24.             e.printStackTrace();  
    25.         }  
    26.     }  
    27.       
    28. }  


    [java] view plain copy
     
    1. package com.jay.mq.demo1.consumer.queue;  
    2.   
    3. import javax.jms.JMSException;  
    4. import javax.jms.Message;  
    5. import javax.jms.MessageListener;  
    6. import javax.jms.TextMessage;  
    7.   
    8. import org.springframework.stereotype.Component;  
    9.   
    10. /** 
    11.  * Description: <br/> 
    12.  * 消息队列监听器 
    13.  * @author hetiewei 
    14.  * @date 2016年4月25日 上午10:32:14 
    15.  * 
    16.  */  
    17. @Component  
    18. public class QueueReceiver2 implements MessageListener {  
    19.   
    20.     public void onMessage(Message message) {  
    21.         try {  
    22.             System.out.println("QueueReceiver2接收到消息："+((TextMessage)message).getText());  
    23.         } catch (JMSException e) {  
    24.             e.printStackTrace();  
    25.         }  
    26.     }  
    27.       
    28. }  


    2.topic/sub订阅模式

     
    [java] view plain copy
     
    1. package com.jay.mq.demo1.consumer.topic;  
    2.   
    3. import javax.jms.JMSException;  
    4. import javax.jms.Message;  
    5. import javax.jms.MessageListener;  
    6. import javax.jms.TextMessage;  
    7.   
    8. import org.springframework.stereotype.Component;  
    9.   
    10. @Component  
    11. public class TopicReceiver1 implements MessageListener{  
    12.   
    13.     public void onMessage(Message message) {  
    14.         try {  
    15.             System.out.println("TopicReceiver1接收到消息:"+((TextMessage)message).getText());  
    16.         } catch (JMSException e) {  
    17.             e.printStackTrace();  
    18.         }  
    19.     }  
    20.   
    21. }  


    [java] view plain copy
     
    1. package com.jay.mq.demo1.consumer.topic;  
    2.   
    3. import javax.jms.JMSException;  
    4. import javax.jms.Message;  
    5. import javax.jms.MessageListener;  
    6. import javax.jms.TextMessage;  
    7.   
    8. import org.springframework.stereotype.Component;  
    9.   
    10. @Component  
    11. public class TopicReceiver2 implements MessageListener{  
    12.   
    13.     public void onMessage(Message message) {  
    14.         try {  
    15.             System.out.println("TopicReceiver2接收到消息:"+((TextMessage)message).getText());  
    16.         } catch (JMSException e) {  
    17.             e.printStackTrace();  
    18.         }  
    19.     }  
    20.   
    21. }  

    5.Controller

    [java] view plain copy
     
    1. package com.jay.controller.demo1;  
    2.   
    3. import javax.annotation.Resource;  
    4.   
    5. import org.springframework.beans.factory.annotation.Autowired;  
    6. import org.springframework.stereotype.Controller;  
    7. import org.springframework.web.bind.annotation.RequestMapping;  
    8. import org.springframework.web.bind.annotation.RequestParam;  
    9. import org.springframework.web.bind.annotation.ResponseBody;  
    10.   
    11. import com.jay.mq.demo1.producer.queue.QueueSender1;  
    12. import com.jay.mq.demo1.producer.topic.TopicSender1;  
    13.   
    14. /** 
    15.  * Description: <br/> 
    16.  *  
    17.  * @author hetiewei 
    18.  * @date 2016年4月25日 上午10:35:31 
    19.  * 
    20.  */  
    21. @Controller  
    22. @RequestMapping("activemq")  
    23. public class ActivemqController1 {  
    24.       
    25.     @Resource  
    26.     private QueueSender1 queueSender;  
    27.     @Autowired  
    28.     private TopicSender1 topicSender;  
    29.       
    30.     /** 
    31.      * 发送消息到队列 
    32.      * Queue队列：仅有一个订阅者会收到消息，消息一旦被处理就不会存在队列中 
    33.      * @param message 
    34.      * @return String 
    35.      */  
    36.     @ResponseBody  
    37.     @RequestMapping("queueSender")  
    38.     public String queueSender(@RequestParam("message")String message){  
    39.         String opt="";  
    40.         try {  
    41.             queueSender.send("test.queue", message);  
    42.             opt = "suc";  
    43.         } catch (Exception e) {  
    44.             opt = e.getCause().toString();  
    45.         }  
    46.         return opt;  
    47.     }  
    48.       
    49.     @ResponseBody  
    50.     @RequestMapping("topicSender")  
    51.     public String topoicSender(@RequestParam("message")String message){  
    52.         String opt = "";  
    53.         try {  
    54.             topicSender.send("test.topic", message);  
    55.             opt = "suc";  
    56.         } catch (Exception e) {  
    57.             opt = e.getCause().toString();  
    58.         }  
    59.         return opt;  
    60.     }  
    61.       
    62.       
    63. }  



    3.ActiveMQ的多种部署方式

             单点的ActiveMQ作为企业应用无法满足高可用和集群的需求，所以ActiveMQ提供了master-slave、broker cluster等多种部署方式，但通过分析多种部署方式之后我认为需要将两种部署方式相结合才能满足我们公司分布式和高可用的需求，所以后面就重点将解如何将两种部署方式相结合。

    1、Master-Slave部署方式
    1）shared filesystem Master-Slave部署方式

             主要是通过共享存储目录来实现master和slave的热备，所有的ActiveMQ应用都在不断地获取共享目录的控制权，哪个应用抢到了控制权，它就成为master。

             多个共享存储目录的应用，谁先启动，谁就可以最早取得共享目录的控制权成为master，其他的应用就只能作为slave。

    p2.png

    2）shared database Master-Slave方式

             与shared filesystem方式类似，只是共享的存储介质由文件系统改成了数据库而已。

    3）Replicated LevelDB Store方式

             这种主备方式是ActiveMQ5.9以后才新增的特性，使用ZooKeeper协调选择一个node作为master。被选择的master broker node开启并接受客户端连接。

    其他node转入slave模式，连接master并同步他们的存储状态。slave不接受客户端连接。所有的存储操作都将被复制到连接至Master的slaves。

    如果master死了，得到了最新更新的slave被允许成为master。fialed node能够重新加入到网络中并连接master进入slave mode。所有需要同步的disk的消息操作都将等待存储状态被复制到其他法定节点的操作完成才能完成。所以，如果你配置了replicas=3，那么法定大小是(3/2)+1=2. Master将会存储并更新然后等待 (2-1)=1个slave存储和更新完成，才汇报success。至于为什么是2-1，熟悉Zookeeper的应该知道，有一个node要作为观擦者存在。

    单一个新的master被选中，你需要至少保障一个法定node在线以能够找到拥有最新状态的node。这个node将会成为新的master。因此，推荐运行至少3个replica nodes，以防止一个node失败了，服务中断。

    p3.png

    2、Broker-Cluster部署方式

             前面的Master-Slave的方式虽然能解决多服务热备的高可用问题，但无法解决负载均衡和分布式的问题。Broker-Cluster的部署方式就可以解决负载均衡的问题。

             Broker-Cluster部署方式中，各个broker通过网络互相连接，并共享queue。当broker-A上面指定的queue-A中接收到一个message处于pending状态，而此时没有consumer连接broker-A时。如果cluster中的broker-B上面由一个consumer在消费queue-A的消息，那么broker-B会先通过内部网络获取到broker-A上面的message，并通知自己的consumer来消费。

    1）static Broker-Cluster部署

             在activemq.xml文件中静态指定Broker需要建立桥连接的其他Broker：

    1、  首先在Broker-A节点中添加networkConnector节点：

    <networkConnectors> 

                    <networkConnector   uri="static:(tcp:// 0.0.0.0:61617)"duplex="false"/>

    </networkConnectors>

    2、  修改Broker-A节点中的服务提供端口为61616：

    <transportConnectors>

             <transportConnectorname="openwire"uri="tcp://0.0.0.0:61616?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>

    </transportConnectors>

    3、  在Broker-B节点中添加networkConnector节点：

    <networkConnectors> 

                    <networkConnector   uri="static:(tcp:// 0.0.0.0:61616)"duplex="false"/>

    </networkConnectors>

    4、  修改Broker-A节点中的服务提供端口为61617：

    <transportConnectors>

             <transportConnectorname="openwire"uri="tcp://0.0.0.0:61617?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>

    </transportConnectors>

    5、分别启动Broker-A和Broker-B。

    2）Dynamic Broker-Cluster部署

             在activemq.xml文件中不直接指定Broker需要建立桥连接的其他Broker，由activemq在启动后动态查找：

    1、  首先在Broker-A节点中添加networkConnector节点：

    <networkConnectors> 

                    <networkConnectoruri="multicast://default"

               dynamicOnly="true"

               networkTTL="3"

               prefetchSize="1"

               decreaseNetworkConsumerPriority="true" />

    </networkConnectors>

    2、修改Broker-A节点中的服务提供端口为61616：

    <transportConnectors>

             <transportConnectorname="openwire"uri="tcp://0.0.0.0:61616? " discoveryUri="multicast://default"/>

    </transportConnectors>

    3、在Broker-B节点中添加networkConnector节点：

    <networkConnectors> 

                    <networkConnectoruri="multicast://default"

               dynamicOnly="true"

               networkTTL="3"

               prefetchSize="1"

               decreaseNetworkConsumerPriority="true" />

    </networkConnectors>

    4、修改Broker-B节点中的服务提供端口为61617：

    <transportConnectors>

             <transportConnectorname="openwire"uri="tcp://0.0.0.0:61617" discoveryUri="multicast://default"/>

    </transportConnectors>

    5、启动Broker-A和Broker-B

    2、Master-Slave与Broker-Cluster相结合的部署方式

             可以看到Master-Slave的部署方式虽然解决了高可用的问题，但不支持负载均衡，Broker-Cluster解决了负载均衡，但当其中一个Broker突然宕掉的话，那么存在于该Broker上处于Pending状态的message将会丢失，无法达到高可用的目的。

             由于目前ActiveMQ官网上并没有一个明确的将两种部署方式相结合的部署方案，所以我尝试者把两者结合起来部署：

             p4.png

    1、部署的配置修改

             这里以Broker-A + Broker-B建立cluster，Broker-C作为Broker-B的slave为例：

    1）首先在Broker-A节点中添加networkConnector节点：

    <networkConnectors> 

                    <networkConnector   uri="masterslave:(tcp://0.0.0.0:61617,tcp:// 0.0.0.0:61618)" duplex="false"/>

    </networkConnectors>

    2）修改Broker-A节点中的服务提供端口为61616：

    <transportConnectors>

             <transportConnectorname="openwire"uri="tcp://0.0.0.0:61616?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>

    </transportConnectors>

    3）在Broker-B节点中添加networkConnector节点：

    <networkConnectors> 

                    <networkConnector   uri="static:(tcp:// 0.0.0.0:61616)"duplex="false"/>

    </networkConnectors>

    4）修改Broker-B节点中的服务提供端口为61617：

    <transportConnectors>

             <transportConnectorname="openwire"uri="tcp://0.0.0.0:61617?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>

    </transportConnectors>

    5）修改Broker-B节点中的持久化方式：

          <persistenceAdapter>

               <kahaDB directory="/localhost/kahadb"/>

            </persistenceAdapter>

    6）在Broker-C节点中添加networkConnector节点：

    <networkConnectors> 

                    <networkConnector   uri="static:(tcp:// 0.0.0.0:61616)"duplex="false"/>

    </networkConnectors>

    7）修改Broker-C节点中的服务提供端口为61618：

    <transportConnectors>

             <transportConnectorname="openwire"uri="tcp://0.0.0.0:61618?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>

    </transportConnectors>

    8）修改Broker-B节点中的持久化方式：

          <persistenceAdapter>

               <kahaDB directory="/localhost/kahadb"/>

           </persistenceAdapter>

    9）分别启动broker-A、broker-B、broker-C，因为是broker-B先启动，所以“/localhost/kahadb”目录被lock住，broker-C将一直处于挂起状态，当人为停掉broker-B之后，broker-C将获取目录“/localhost/kahadb”的控制权，重新与broker-A组成cluster提供服务。


    4.ActiveMQ之Master-Slaver+负载均衡

     

    什么叫中间件?
    中间件为软件应用提供了操作系统所提供的服务之外的服务，可以把中间件描述为"软件胶水"。中间件不是操作系统的一部分，不是数据库操作系统，也不是应用软件的一部分，而是能够让软件开发者方便的处理通信、输入和输出，能够专注自己应用的部分。

    消息中间件解决了应用之间的消息传递、解耦、异步的问题。
    ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现，尽管JMS规范出台已经是很久的事情了，但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。

    一般中间件都提供了横向扩展和纵向扩展，横向扩展就是我们经常说的负载均衡,纵向扩展提供了Master-Slaver;

    负载均衡:提供负载均衡的中间件都对外提供服务
    Master-Slaver：同时只有一个中间件对外提供服务,当Master出现挂机等问题，Slaver会自动接管

    看一个整合的简图:

    Master-Slave和Broker Cluster

    准备：
    jdk1.6，apache-activemq-5.10.0，mysql5.1，zookeeper-3.4.3

    先来看看Master-Slave模式

    Shared File System Master Slave

    本次测试在同一台机器上：
    首先更改配置conf/activemq,做如下修改：

    [java] view plain copy
     
    1. <persistenceAdapter>  
    2.         <!--<kahaDB directory="${activemq.data}/kahadb"/>-->  
    3.     <kahaDB directory="D:/kahaDB"/>  
    4.  </persistenceAdapter>  
    将activemq拷贝3份，分别：apache-activemq-5.10.0-M1， apache-activemq-5.10.0-M2，apache-activemq-5.10.0-M3，分别启动activemq命令，启动的日志分别是: 

    表示当前进程是Master

    表示当前进程没有获取到锁，作为Slaver

    测试：

    下面的例子中分别提供了Producer(Sender类)和Consumer(Receiver类)
    我们首先用Producer发送消息给activemq，然后停止Master，然后再用Consumer接受消息，测试结果是可以接受到数据的。

    2）.JDBC Master Slave
    JDBC Master Slave模式和Shared File Sysytem Master Slave模式的原理是一样的，只是把共享文件系统换成了共享数据库。

    修改配置文件conf/activemq

    [java] view plain copy
     
    1. <pre code_snippet_id="1660918" snippet_file_name="blog_20160425_10_9093290" name="code" class="html"><persistenceAdapter>  
    2.         <!--<kahaDB directory="${activemq.data}/kahadb"/>-->  
    3.     <!--<kahaDB directory="D:/kahaDB"/>-->  
    4.         <jdbcPersistenceAdapter dataDirectory="${activemq.base}/data" dataSource="#mysql-ds"/>   
    5.   </persistenceAdapter></pre><br><br>  
    添加数据源：
    [java] view plain copy
     
    1. <pre code_snippet_id="1660918" snippet_file_name="blog_20160425_11_1808506" name="code" class="html"><bean id="mysql-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">  
    2.     <property name="driverClassName" value="com.mysql.jdbc.Driver"/>  
    3.     <property name="url" value="jdbc:mysql://localhost/activemq?relaxAutoCommit=true"/>  
    4.     <property name="username" value="root"/>  
    5.     <property name="password" value="root"/>  
    6.     <property name="poolPreparedStatements" value="true"/>  
    7.     </bean></pre><br><br>  
    注：这里使用的是mysql，所以需要mysql驱动程序： mysql-connector-java-5.1.18，讲jar包放入lib文件夹下面，驱动版本不对，会出现如下错误: Database lock driver override not found for : [mysql_connect ...

    分别拷贝到其他几个文件夹下，分别启动，启动成功后我们可以看到数据库中多了几张表：

    测试方式同上；
    官网手册:http://activemq.apache.org/jdbc-master-slave.html

    3).Replicated LevelDB Store
    这种方式是ActiveMQ5.9以后才新增的特性，使用ZooKeeper协调选择一个node作为master

    修改配置文件conf/activemq：

    [java] view plain copy
     
    1. <pre code_snippet_id="1660918" snippet_file_name="blog_20160425_12_5047109" name="code" class="html"><!--<persistenceAdapter>  
    2.          <kahaDB directory="${activemq.data}/kahadb"/>  
    3.          <kahaDB directory="D:/kahaDB"/>  
    4.          <jdbcPersistenceAdapter dataDirectory="${activemq.base}/data" dataSource="#mysql-ds"/>   
    5.  </persistenceAdapter>-->  
    6.  <persistenceAdapter>  
    7.     <replicatedLevelDB  
    8.         directory="${activemq.data}/leveldb"  
    9.         replicas="3"  
    10.         bind="tcp://0.0.0.0:0"  
    11.         zkAddress="127.0.0.1:2181"  
    12.         hostname="127.0.0.1"  
    13.         sync="local_disk"  
    14.         zkPath="/activemq/leveldb-stores"/>  
    15.  </persistenceAdapter></pre><br><br>  
    首先启动zookeeper，这里没有做集群处理,默认端口是2181，然后分别启动activemq， 
    启动之后报错："activemq LevelDB IOException handler"。 

    原因：版本5.10.0存在的依赖冲突。

    解决方案：
    （1）移除lib目录中的pax-url-aether-1.5.2.jar包
    （2）注释掉配置文件中的日志配置； 

    [java] view plain copy
     
    1. <!-- Allows accessing the server log  
    2.     <bean id="logQuery" class="org.fusesource.insight.log.log4j.Log4jLogQuery"  
    3.           lazy-init="false" scope="singleton"  
    4.           init-method="start" destroy-method="stop">  
    5.     </bean>  
    6. -->  

    测试方式同上；

    提供java版的例子：

    [java] view plain copy
     
    1. <pre code_snippet_id="1660918" snippet_file_name="blog_20160425_13_2397151" name="code" class="java">public class Sender {  
    2.     private static final int SEND_NUMBER = 5;  
    3.   
    4.     public static void main(String[] args) {  
    5.         ConnectionFactory connectionFactory;  
    6.         Connection connection = null;  
    7.         Session session;  
    8.         Destination destination;  
    9.         MessageProducer producer;  
    10.         connectionFactory = new ActiveMQConnectionFactory(  
    11.             ActiveMQConnection.DEFAULT_USER,  
    12.             ActiveMQConnection.DEFAULT_PASSWORD, "tcp://localhost:61616");  
    13.         try {  
    14.             connection = connectionFactory.createConnection();  
    15.             connection.start();  
    16.             session = connection.createSession(Boolean.TRUE,  
    17.                     Session.AUTO_ACKNOWLEDGE);  
    18.             destination = session.createQueue("FirstQueue");  
    19.             producer = session.createProducer(destination);  
    20.             producer.setDeliveryMode(DeliveryMode.PERSISTENT);  
    21.             sendMessage(session, producer);  
    22.             session.commit();  
    23.         } catch (Exception e) {  
    24.             e.printStackTrace();  
    25.         } finally {  
    26.             try {  
    27.                 if (null != connection)  
    28.                     connection.close();  
    29.             } catch (Throwable ignore) {  
    30.             }  
    31.         }  
    32.     }  
    33.   
    34.     public static void sendMessage(Session session, MessageProducer producer)  
    35.             throws Exception {  
    36.         for (int i = 1; i <= SEND_NUMBER; i++) {  
    37.             TextMessage message = session.createTextMessage("发送的消息"  
    38.                     + i);  
    39.             System.out.println("发送消息：" + "ActiveMq 发送的消息" + i);  
    40.             producer.send(message);  
    41.         }  
    42.     }  
    43. }  
    44. public class Receiver {  
    45.     public static void main(String[] args) {  
    46.         ConnectionFactory connectionFactory;  
    47.         Connection connection = null;  
    48.         Session session;  
    49.         Destination destination;  
    50.         MessageConsumer consumer;  
    51.         connectionFactory = new ActiveMQConnectionFactory(  
    52.             ActiveMQConnection.DEFAULT_USER,  
    53.             ActiveMQConnection.DEFAULT_PASSWORD, "tcp://localhost:61616");  
    54.         try {  
    55.             connection = connectionFactory.createConnection();  
    56.             connection.start();  
    57.             session = connection.createSession(Boolean.FALSE,  
    58.                     Session.AUTO_ACKNOWLEDGE);  
    59.             destination = session.createQueue("FirstQueue");  
    60.             consumer = session.createConsumer(destination);  
    61.             while (true) {  
    62.                 TextMessage message = (TextMessage) consumer.receive(100000);  
    63.                 if (null != message) {  
    64.                     System.out.println("收到消息" + message.getText());  
    65.                 } else {  
    66.                     break;  
    67.                 }  
    68.             }  
    69.         } catch (Exception e) {  
    70.             e.printStackTrace();  
    71.         } finally {  
    72.             try {  
    73.                 if (null != connection)  
    74.                     connection.close();  
    75.             } catch (Throwable ignore) {  
    76.             }  
    77.         }  
    78.     }  
    79. }</pre><br><br>  

    5.Broker-Cluster实现负载均衡

    Broker-Cluster部署方式中，各个broker通过网络互相连接，并共享queue，提供了2中部署方式：
    static Broker-Cluster和Dynamic Broker-Cluster

    1).static Broker-Cluster

    将ActiveMq拷贝2份，分别命名:apache-activemq-5.10.0_M1,apache-activemq-5.10.0_M2，
    下面就是配置activemq,xml:
    M1做如下配置:

    ?
    1
    2
    3
    <networkConnectors>
        <networkConnector uri="static:(tcp://localhost:61617)"/>
    </networkConnectors>
    ?
    1
    2
    3
    <transportConnectors>
            <transportConnector name="openwire" uri="tcp://0.0.0.0:61616?maximumConnectio        ns=1000&amp;wireFormat.maxFrameSize=104857600"/>
     </transportConnectors>
    M2做如下配置: 
    ?
    1
    2
    3
    <networkConnectors>
        <networkConnector uri="static:(tcp://localhost:61616)"/>
    </networkConnectors>
    ?
    1
    2
    3
    <transportConnectors>
            <transportConnector name="openwire" uri="tcp://0.0.0.0:61617?maximumConnectio        ns=1000&amp;wireFormat.maxFrameSize=104857600"/>
     </transportConnectors>
    通过以上配置使M1和M2这两个 broker通过网络互相连接，并共享queue，
    启动M1和M2,可以看到如下启动日志： 

    可以看到M1和M2，network connection has been established

    测试我们还是用上一篇中的Sender和Receiver类，只需要做一点点修改：
    Sender类还是链接tcp://localhost:61616，发送消息到queue，
    Receiver做如下修改:

    ?
    1
    2
    3
    connectionFactory = new ActiveMQConnectionFactory(
        ActiveMQConnection.DEFAULT_USER,
        ActiveMQConnection.DEFAULT_PASSWORD, "tcp://localhost:61617");

    经测试Receiver可以接受到数据，表示M1和M2已经共享了queue

    2).Dynamic Broker-Cluster

    Dynamic Discovery集群方式在配置ActiveMQ实例时，不需要知道所有其它实例的URI地址
    对activemq.xml做如下配置:
    M1做如下配置:

    ?
    1
    2
    3
    <networkConnectors>
        <networkConnector uri="multicast://default"/>
    </networkConnectors>
    ?
    1
    2
    3
    4
    <transportConnectors>
            <transportConnector name="openwire" uri="tcp://0.0.0.0:61616? maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"
              discoveryUri="multicast://default"/>
     </transportConnectors>
    M2做如下配置:
    ?
    1
    2
    3
    <networkConnectors>
        <networkConnector uri="multicast://default"/>
    </networkConnectors>
    ?
    1
    2
    3
    4
    <transportConnectors>
            <transportConnector name="openwire" uri="tcp://0.0.0.0:61617? maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"
              discoveryUri="multicast://default"/>
     </transportConnectors>
    启动M1和M2,可以看到如下启动日志： network connection has been established

    测试同static broker-cluster,可以得到相同的结果。
    官网配置说明：http://activemq.apache.org/networks-of-brokers.html

    Master-Slaver保证了数据的可靠性，Broker-Cluster提供了负载均衡，所以一般正式环境中都会采用：
    Master-Slaver+Broker-Cluster的模式
  • 相关阅读:
    python学习笔记（locust性能测试模块）
    python学习笔记（日志系统实现）
    python学习笔记（自定义库文件路径）
    python学习笔记（字典乱码）
    Django框架数据库模型
    Django框架学习笔记（windows环境下安装）
    zabbix自动化运维学习笔记（服务器配置）
    zabbix自动化运维学习笔记（服务器安装）
    tomcat相关漏洞复现
    sqli-labs学习笔记（基础篇）
  • 原文地址：https://www.cnblogs.com/handsome1013/p/7552794.html
Copyright © 2011-2022 走看看