zoukankan      html  css  js  c++  java
  • Flume拦截器、监控器

    一、拦截器

    1、拦截器:

      拦截器主要作用在source和channel之间,用于给event设置header消息头,如果没有设置拦截器,则event中只有message。

    常见的拦截器有:

    Timestamp Interceptor 时间拦截器:将时间戳插入到header中。

    Host Interceptor 主机拦截器:将服务器的ip地址或者主机名插入到header中。

    Regex Filtering Interceptor 正则过滤拦截器:过滤掉不需要的日志。

    https://blog.csdn.net/jinywum/article/details/82598947

    2、自定义拦截器:

      主要目的就是给日志进行分类,自定义拦截器为每个event设置header,header里标志着日志的类型。当数据传输到kafka就可以根据header知道这个日志属于哪个类型,从而通过消息的内容对日志进行路由。

    自定义拦截器操作:

    a、在项目pom文件中引入flume依赖

    b、找到现有的TimestampInterceptor类,copy代码到自己的自定义类里,按照需求进行修改。

    c、将项目打成jar包,修改名字为app_logs_flume.jar,然后放到/opt/module/flume/lib目录下。

    d、在flume配置文件指定拦截器类型。

    a1.sources.r1.interceptors = i1 

    a1.sources.r1.interceptors.i1.type = 自定义类全类名

    https://blog.csdn.net/u012443641/article/details/80757229

    二、监控器

    1、监控器

     监控器可以看到:

    source尝试写入channel中的event数量,成功写入且提交的event数量;

    sink尝试从channel中拉取的event数量,成功读取的事件数量;

    channel相关信息,例如:启动时间,停止时间,目前的event总数,容量,占用百分比

  • 相关阅读:
    微服务架构
    微服务架构
    Java语言编程
    Java语言编程
    Java语言编程
    《自己动手写云盘》 – 确立需求
    树上差分
    线性基
    BM(Berlekamp-Massey)算法
    FFT/FWT
  • 原文地址:https://www.cnblogs.com/guoyu1/p/12021140.html
Copyright © 2011-2022 走看看