zoukankan      html  css  js  c++  java
  • 注意问题:flume总结+kafka总结

    flume总结

    flume如何保证数据可靠性:JDBC   FILE   MEMORY  ???

      JDBC

      FILE: 传输慢

      MEMORY:传输快,但是容易丢数据。解决:写个脚本监控如果flume挂了,瞬间启动

      改造flume  exec源 ,增加守护线程来监控目录-----防止丢失数据   |    redis缓存中,存储已经收集过的key---防止重复收集

      可查看友盟项目链接flume

    flume   LVS 负载均衡

      Linux Virtual Server 

      LVS集群采用IP负载均衡技术和基于内容请求分发技术

    og

    升级成ng

    kafka总结

    kafka数据丢失问题解决

     1、kafka数据丢失问题:

      acks = 1 只保证leader成功,如果刚好leader挂了,数据丢失

      acks=0  使用异步模式,该模式下kafka无法保证消息,可能会丢失

    2、broker  kafka集群的缓存代理broker保证数据不丢失:  Broker:缓存代理,Kafka集群中的一台或多台服务器统称为broker

      acks = all :所有副本都写入成功并确认

      retries = 设置合理值 重新拉数据

      min.insync.replicas = 2  消息至少要被写入到2 个副本才算成功

      unclean.leader.election.enable = false 关闭ubclean leader 选举,不允许非ISR中的副本被选举为leader,一面是户据丢失

    3、consumer保证数据不丢失:

      出现数据丢失因为在:在消息处理完成前就提交了offset

      解决:关闭自动提交偏移量offset:enable.auto.commit = false 

          处理完消息手动提交偏移量

    kafka工作流程  

    kafka保证消息顺序:

      1、全局顺序:全局使用一个生产者,一个分区,一个消费者

      2、局部顺序:每个分区是有序的,根据业务场景制定不同的key进入不同的分区

     

  • 相关阅读:
    20200726 千锤百炼软工人第二十一天
    20200725 千锤百炼软工人第二十天
    20200724 千锤百炼软工人第十九天
    20200723 千锤百炼软工人第十八天
    20200722 千锤百炼软工人第十七天
    20200721 千锤百炼软工人第十六天
    剑指Offer_#64_求1+2+…+n
    剑指Offer_#63_股票的最大利润
    剑指Offer_#62_圆圈中最后剩下的数字
    剑指Offer_#61_扑克牌中的顺子
  • 原文地址:https://www.cnblogs.com/star521/p/10013098.html
Copyright © 2011-2022 走看看