zoukankan      html  css  js  c++  java
  • 注意问题:flume总结+kafka总结

    flume总结

    flume如何保证数据可靠性:JDBC   FILE   MEMORY  ???

      JDBC

      FILE: 传输慢

      MEMORY:传输快,但是容易丢数据。解决:写个脚本监控如果flume挂了,瞬间启动

      改造flume  exec源 ,增加守护线程来监控目录-----防止丢失数据   |    redis缓存中,存储已经收集过的key---防止重复收集

      可查看友盟项目链接flume

    flume   LVS 负载均衡

      Linux Virtual Server 

      LVS集群采用IP负载均衡技术和基于内容请求分发技术

    og

    升级成ng

    kafka总结

    kafka数据丢失问题解决

     1、kafka数据丢失问题:

      acks = 1 只保证leader成功,如果刚好leader挂了,数据丢失

      acks=0  使用异步模式,该模式下kafka无法保证消息,可能会丢失

    2、broker  kafka集群的缓存代理broker保证数据不丢失:  Broker:缓存代理,Kafka集群中的一台或多台服务器统称为broker

      acks = all :所有副本都写入成功并确认

      retries = 设置合理值 重新拉数据

      min.insync.replicas = 2  消息至少要被写入到2 个副本才算成功

      unclean.leader.election.enable = false 关闭ubclean leader 选举,不允许非ISR中的副本被选举为leader,一面是户据丢失

    3、consumer保证数据不丢失:

      出现数据丢失因为在:在消息处理完成前就提交了offset

      解决:关闭自动提交偏移量offset:enable.auto.commit = false 

          处理完消息手动提交偏移量

    kafka工作流程  

    kafka保证消息顺序:

      1、全局顺序:全局使用一个生产者,一个分区,一个消费者

      2、局部顺序:每个分区是有序的,根据业务场景制定不同的key进入不同的分区

     

  • 相关阅读:
    vue-router总结2
    vue-router总结
    react中的路由模块化
    react路由嵌套
    Javascript设计模式之我见:迭代器模式
    Javascript设计模式之我见:观察者模式
    【C语言】格式符
    【编译原理】代码在编译器中的完整处理过程
    【数据库】增删改查操作
    测试
  • 原文地址:https://www.cnblogs.com/star521/p/10013098.html
Copyright © 2011-2022 走看看