zoukankan      html  css  js  c++  java
  • flume之HDFS Sink详解(转载)

    http://www.aboutyun.com/thread-21422-1-1.html

    flume ----HDFS sink 配置参数

    path:写入hdfs的路径,需要包含文件系统标识,可以使用flume提供的日期及%{host}表达式。比如:hdfs://namenode/flume/webdata/

    注:这里可以使用flume提供的日期相关表达式,常用的有, hdfs://hadoop-jy-namenode/data/qytt/flume/ttengine_api/dt=%Y-%m-%d/hour=%H

    filePrefix:写入hdfs的文件名前缀,可以使用flume提供的日期及%{host}表达式。默认值:FlumeData

    fileSuffix:写入hdfs的文件名后缀,比如:.lzo .log等。

    inUsePrefix:临时文件的文件名前缀,hdfs sink会先往目标目录中写临时文件,再根据相关规则重命名成最终目标文件;

    inUseSuffix:临时文件的文件名后缀。默认值:.tmp

    rollInterval:hdfs sink间隔多长将临时文件滚动成最终目标文件,单位:秒。默认值:30,如果设置成0,则表示不根据时间来滚动文件;
    注:滚动(roll)指的是,hdfs sink将临时文件重命名成最终目标文件,并新打开一个临时文件来写入数据;

    rollSize:当临时文件达到该大小(单位:bytes)时,滚动成目标文件;默认值:1024,如果设置成0,则表示不根据临时文件大小来滚动文件;

    rollCount:当events数据达到该数量时候,将临时文件滚动成目标文件;默认值:10,如果设置成0,则表示不根据events数据来滚动文件;

    idleTimeout:当目前被打开的临时文件在该参数指定的时间(秒)内,没有任何数据写入,则将该临时文件关闭并重命名成目标文件;默认值:0

    batchSize:每个批次刷新到HDFS上的events数量;默认值:100

    codeC:文件压缩格式,包括:gzip, bzip2, lzo, lzop, snappy

    fileType:文件格式,包括:SequenceFile, DataStream,CompressedStream,默认值:SequenceFile

    当使用DataStream时候,文件不会被压缩,不需要设置hdfs.codeC;
    当使用CompressedStream时候,必须设置一个正确的hdfs.codeC值;


    maxOpenFiles:最大允许打开的HDFS文件数,当打开的文件数达到该值,最早打开的文件将会被关闭;默认值:5000

    minBlockReplicas:写入HDFS文件块的最小副本数。该参数会影响文件的滚动配置,一般将该参数配置成1,才可以按照配置正确滚动文件。默认值:HDFS副本数

    writeFormat:写sequence文件的格式。包含:Text, Writable(默认)

    callTimeout:执行HDFS操作的超时时间(单位:毫秒);默认值:10000

    threadsPoolSize:hdfs sink启动的操作HDFS的线程数。默认值:10

    rollTimerPoolSize:hdfs sink启动的根据时间滚动文件的线程数。默认值:1

    kerberosPrincipal:HDFS安全认证kerberos配置;

    kerberosKeytab:HDFS安全认证kerberos配置;

    proxyUser:代理用户

    round:是否启用时间上的”舍弃”,这里的”舍弃”,类似于”四舍五入”,后面再介绍。如果启用,则会影响除了%t的其他所有时间表达式;默认值:false

    roundValue:时间上进行“舍弃”的值;默认值:1

    roundUnit:时间上进行”舍弃”的单位,包含:second,minute,hour,默认值:seconds

    示例:
    a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S
    a1.sinks.k1.hdfs.round = true
    a1.sinks.k1.hdfs.roundValue = 10
    a1.sinks.k1.hdfs.roundUnit = minute
    当时间为2015-10-16 17:38:59时候,hdfs.path依然会被解析为:/flume/events/20151016/17:30/00 因为设置的是舍弃10分钟内的时间,因此,该目录每10分钟新生成一个。

    timeZone:时区。默认值:Local Time

    useLocalTimeStamp:是否使用当地时间。默认值:flase

    closeTries:hdfs sink关闭文件的尝试次数;默认值:0。如果设置为1,当一次关闭文件失败后,hdfs sink将不会再次尝试关闭文件,这个未关闭的文件将会一直留在那,并且是打开状态。设置为0,当一次关闭失败后,hdfs sink会继续尝试下一次关闭,直到成功。

    retryInterval:hdfs sink尝试关闭文件的时间间隔,如果设置为0,表示不尝试,相当于于将hdfs.closeTries设置成1。默认值:180(秒)

    serializer:序列化类型。其他还有:avro_event或者是实现了EventSerializer.Builder的类名。默认值:TEXT

  • 相关阅读:
    地图初步
    多线程技术 初步
    核心动画 CAAnimation 进阶
    CALayer 进阶
    Quartz 2D 初步
    UIView 面面观
    CABasicAnimation 基础
    CGAffineTransform 放射变换解析 即矩阵变换
    RunTime 入门
    对Viewcontroller在UINavigationController中入栈出栈的一点点理解
  • 原文地址:https://www.cnblogs.com/xp0813/p/13440219.html
Copyright © 2011-2022 走看看