zoukankan      html  css  js  c++  java
  • flume-hdfs sinks报错

    flume使用hdfs sinks时候报错:org.apache.flume.EventDeliveryException: java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null

    解决方法:sink是hdfs,然后使用目录自动生成功能。出现如题的错误,看官网文档说的是需要在每个文件记录行的开头需要有时间戳,但是时间戳的格式可能比较难调节,所以亦可设置 hdfs.useLocalTimeStamp这个参数,比如以每个小时作为一个文件夹

      

    # Describe the sink
    a1.sinks.k1.type=hdfs
    a1.sinks.k1.hdfs.path=hdfs://node0:8020/user/flume/%Y-%m-%d
    a1.sinks.k1.hdfs.rollSize=10240000
    a1.sinks.k1.hdfs.rollInterval=0
    a1.sinks.k1.hdfs.rollCount=0
    a1.sinks.k1.hdfs.idleTimeout=5
    a1.sinks.k1.hdfs.fileType=DataStream
    a1.sinks.k1.hdfs.useLocalTimeStamp = true

    我要把所有的坑都趟平!
  • 相关阅读:
    Javaweb初试——选课系统
    Java四则运算第二次课堂完整版
    Java动手动脑03
    阅读笔记
    Java四则运算课堂测试三
    读书笔记
    Java日报10.14
    Java日报10.13
    Java动手动脑04
    2020.9.22测试
  • 原文地址:https://www.cnblogs.com/loveling-0239/p/5802309.html
Copyright © 2011-2022 走看看