MQ怎么解决消息堆积的问题

MQ怎么解决消息堆积的问题

• 网上普通回答

  • 修复consumer的问题，确保其恢复消费速度，然后将现有consumer都停止
  • 临时建立好原先10倍或者20倍的queue数量
  • 然后写一个临时的分发数据的consumer程序，这个程序部署上去消费积压的数据，消费之后不做耗时的处理，直接均匀轮询写入临时建立好的10倍数量的queue
  • 接着临时征用10倍机器来部署consumer，每一批consumer消费一个临时queue的数据
  • 这种做法相当于临时将queue资源和consumer资源扩大了10倍，以正常的10倍速度

  但是这种方法远水解决不了进渴

• 用Shovel

  • 概念：当某个队列的消费堆积严重时，比如超过某个设定的阀值，就可以通过Shovel将队列消息移交到别的一个集群。
  • 当检测到一个队列出现严重的消息堆积的时候，比如可以通过/api/queue/vhost/name接口获取到队列的消息个数超过2000w或者消息的占用大小超过10g的时候，就启用shovel1将队列queue中的消息转发到备份集群的队列queue2。
  • 当检测到队列queue的消息个数低于100w的时候或者大小小于1GB就停止shovel1，然后等queue慢慢处理剩余的堆积。
  • 当queue的消息个数低于10W或者大小小于100MB时，就开启shovel2将队列queue2中暂存的消息返还给对queue。
  • 当检测到队列queue消息个数大于100W或者大小高于1GB就将shovel2停掉。