zoukankan      html  css  js  c++  java
  • Kafka基础知识总结笔记

    《深入理解kafka核心设计与实践原理》 读书笔记

    基本概念

    producer
    broker
    consumer
    topic
    partition
    segment

    ISR-In-Sync Replica
    OSR
    HW

    生产者

    producer push模式

    消费者

    consumer/consumerGroup

    主要参数配置

    • 生产者
      • zk
      • request.required.acks=-1(all),
      • producer.type=sync 同步发送,数据可靠性保证
    • 消费者
      • zk
    • broker
      • log.dirs:指定了broker需要使用的若干个文件目录路径
      • log.dir:单个路径,补充上一个参数
    • topic
      • auto.create.topics.enable:是否允许自动创建topic
      • unclean.leader.election.enable:是否允许Unclean Leader选举
      • auto.leader.rebalance.enable:是否允许定期进行Leader选举
      • log.retention.{hour|minutes|ms}:控制一条消息数据被保存多长时间,优先级ms最高、minutes次之、hour最低
      • log.retention.bytes:指定broker为消息保存的总磁盘容量大小,默认值为-1,保存多少数据都可以
      • message.max.bytes:控制broker能够接收的最大消息的大小,默认1000012,不到1KB,实际场景中需要设置一个比较大的值
    • jvm
      • KAFKA_HEAP_OPTS:指定堆大小
      • KAFKA_JVM_PREFORMANCE_OPTS:指定GC参数
      -Xmx8G -Xms8G -server -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true -Xloggc:/apps/service/kafka/logs/kafkaServer-gc.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=9999
      
    • os
      • ulimit
      • swap
      • flush-2-disk

    主题、分区

    日志存储

    可靠性

    kafka数据可靠性深度解读

    监控

    常用监控指标

    高级应用

    参考资料

    kafka原理和实践-vivo
    kafka-design-apache
    kafka-design-confluent

    Netflix keystone介绍:

    Netflix keystone
    Netflix keystone
    hadoop-ecosystem
    AnatomyMapReduceJob
    dolphinscheduler

  • 相关阅读:
    Max Sum Plus Plus HDU
    Monkey and Banana HDU
    Ignatius and the Princess IV HDU
    Extended Traffic LightOJ
    Tram POJ
    Common Subsequence HDU
    最大连续子序列 HDU
    Max Sum HDU
    畅通工程再续
    River Hopscotch POJ
  • 原文地址:https://www.cnblogs.com/coding-now/p/14660581.html
Copyright © 2011-2022 走看看