zoukankan      html  css  js  c++  java
  • Flume source 支持的type类型

      Flume是一个分布式的高可用的消费组件。通过修改配置文件,可以启动不同的agent处理不同来源的数据。

    agent包含source,channel,sink三个组件。今天我们学习下source的type。

    1. spooldir

    #描述/配置Source
    a1.sources.r1.type  = spooldir
    a1.sources.r1.spoolDir=/home/park/work/apache-flume-1.6.0-bin/mydata

      向指定目录中传输文件,发现flume收集到了该文件,将文件中的每一行都作为日志来处理

    2.NetCat Source

       一个NetCat Source用来监听一个指定端口,并将接收到的数据的每一行转换为一个事件。

      !type–   类型名称,需要被设置为"netcat"

      !bind–   指定要绑定到的ip或主机名。

      !port–   指定要绑定到的端口号

      max-line-length   512单行最大字节数

    3.Avro Source

      监听AVRO端口来接受来自外部AVRO客户端的事件流。利用Avro Source可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。

      !type  –   类型名称,"AVRO"

      !bind  –   需要监听的主机名或IP

      !port  –   要监听的端口

      threads    –   工作线程最大线程数

      selector.type     

      selector.*     

      interceptors  –   空格分隔的拦截器列表

      interceptors.*        

      compression-type  none   压缩类型,可以是“none”或“default”,这个值必须和AvroSource的压缩格式匹配

      sslfalse  是否启用ssl加密,如果启用还需要配置一个“keystore”和一个“keystore-password”。

      keystore   –   为SSL提供的java密钥文件所在路径。

      keystore-password–   为SSL提供的java密钥文件 密码。

      keystore-typeJKS密钥库类型可以是“JKS”或“PKCS12”。

      exclude-protocolsSSLv3  空格分隔开的列表,用来指定在SSL / TLS协议中排除。SSLv3将总是被排除除了所指定的协议。

      ipFilter   false  如果需要为netty开启ip过滤,将此项设置为true

      ipFilterRules–   定义netty的ip过滤设置表达式规则

    #描述/配置Source
        a1.sources.r1.type  =  avro
        a1.sources.r1.bind  =  0.0.0.0
        a1.sources.r1.port  =  44444

    4.HTTP Source

      HTTP Source接受HTTP的GET和POST请求作为Flume的事件,其中GET方式应该只用于试验。

      该Source需要提供一个可插拔的"处理器"来将请求转换为事件对象,这个处理器必须实现HTTPSourceHandler接口,该处理器接受一个 HttpServletRequest对象,并返回一个Flume Envent对象集合。

      从一个HTTP请求中得到的事件将在一个事务中提交到通道中。因此允许像文件通道那样对通道提高效率。

      如果处理器抛出一个异常,Source将会返回一个400的HTTP状态码。

      如果通道已满,无法再将Event加入Channel,则Source返回503的HTTP状态码,表示暂时不可用。

      !type    类型,必须为"HTTP"

      !port–   监听的端口

      bind   0.0.0.0    监听的主机名或ip

      handler      org.apache.flume.source.http.JSONHandler处理器类,需要实现HTTPSourceHandler接口

      handler.*  –   处理器的配置参数

      selector.type

      selector.*   

      interceptors  –  

      interceptors.*        

      enableSSL  false  是否开启SSL,如果需要设置为true。注意,HTTP不支持SSLv3。

      excludeProtocols  SSLv3  空格分隔的要排除的SSL/TLS协议。SSLv3总是被排除的。

      keystore      密钥库文件所在位置。

      keystorePassword Keystore 密钥库密码

    #描述/配置Source
        a1.sources.r1.type  = http
        a1.sources.r1.port  = 66666
  • 相关阅读:
    寒假学习进度15
    寒假学习进度14
    寒假学习进度13
    Markdown使用笔记
    MVC
    阅读笔记大型网站技术架构01
    周总结1大数据采集技术与应用(徳拓)五次实验总结
    阅读笔记架构漫谈03
    质量属性易用性分析
    阅读笔记架构漫谈02
  • 原文地址:https://www.cnblogs.com/drjava/p/10449388.html
Copyright © 2011-2022 走看看