zoukankan      html  css  js  c++  java
  • flume 数据链路问题排查

    技巧

    - 了解每个模块的处理顺序,方便定位问题(如下图,从左到右处理)

    - 查看flume的metrics,确定每个flume节点数据是否被接收以及发送:

    {
    "SOURCE.src-1":{
    "OpenConnectionCount":"0", //目前与客户端或sink保持连接的总数量(目前只有avro source展现该度量)
    "Type":"SOURCE",
    "AppendBatchAcceptedCount":"1355", //成功提交到channel的批次的总数量
    "AppendBatchReceivedCount":"1355", //接收到事件批次的总数量
    "EventAcceptedCount":"28286", //成功写出到channel的事件总数量,且source返回success给创建事件的sink或RPC客户端系统
    "AppendReceivedCount":"0", //每批只有一个事件的事件总数量(与RPC调用中的一个append调用相等)
    "StopTime":"0", //source停止时自Epoch以来的毫秒值时间
    "StartTime":"1442566410435", //source启动时自Epoch以来的毫秒值时间
    "EventReceivedCount":"28286", //目前为止source已经接收到的事件总数量
    "AppendAcceptedCount":"0" //单独传入的事件到Channel且成功返回的事件总数量
    },
    "CHANNEL.ch-1":{
    "EventPutSuccessCount":"28286", //成功写入channel且提交的事件总数量
    "ChannelFillPercentage":"0.0", //channel满时的百分比
    "Type":"CHANNEL",
    "StopTime":"0", //channel停止时自Epoch以来的毫秒值时间
    "EventPutAttemptCount":"28286", //Source尝试写入Channe的事件总数量
    "ChannelSize":"0", //目前channel中事件的总数量
    "StartTime":"1442566410326", //channel启动时自Epoch以来的毫秒值时间
    "EventTakeSuccessCount":"28286", //sink成功读取的事件的总数量
    "ChannelCapacity":"1000000", //channel的容量
    "EventTakeAttemptCount":"313734329512" //sink尝试从channel拉取事件的总数量。这不意味着每次事件都被返回,因为sink拉取的时候channel可能没有任何数据
    },
    "SINK.sink-1":{
    "Type":"SINK",
    "ConnectionClosedCount":"0", //下一阶段或存储系统关闭的连接数量(如在HDFS中关闭一个文件)
    "EventDrainSuccessCount":"28286", //sink成功写出到存储的事件总数量
    "KafkaEventSendTimer":"482493",
    "BatchCompleteCount":"0", //与最大批量尺寸相等的批量的数量
    "ConnectionFailedCount":"0", //下一阶段或存储系统由于错误关闭的连接数量(如HDFS上一个新创建的文件因为超时而关闭)
    "EventDrainAttemptCount":"0", //sink尝试写出到存储的事件总数量
    "ConnectionCreatedCount":"0", //下一个阶段或存储系统创建的连接数量(如HDFS创建一个新文件)
    "BatchEmptyCount":"0", //空的批量的数量,如果数量很大表示souce写数据比sink清理数据慢速度慢很多
    "StopTime":"0",
    "RollbackCount":"9", //
    "StartTime":"1442566411897",
    "BatchUnderflowCount":"0" //比sink配置使用的最大批量尺寸更小的批量的数量,如果该值很高也表示sink比souce更快
    }
    }

    - 查看flume日志,看看是否有报错;

    (metrics端口以及flume日志目录均在配置文件中)


    参考

    https://blog.csdn.net/ggwxk1990/article/details/79463049

    https://www.cnblogs.com/chenpi/p/7240584.html

  • 相关阅读:
    微软ASP.NET网站部署指南(4):配置项目属性
    iOS 设计模式之抽象工厂
    How can I move a MySQL database from one server to another?
    CentOS 7 上安装vim(默认未安装)
    How to resize slide dimensions without resizing any objects on the slide?
    CentOS 7.3 上安装docker
    美国留学访学(访问学者)必备信用卡
    西安理工大学税务登记证、银行账号信息
    Oracle联合多个子查询(inner join)
    linux tail
  • 原文地址:https://www.cnblogs.com/GO-NO-1/p/13266770.html
Copyright © 2011-2022 走看看