zoukankan      html  css  js  c++  java
  • Flume和HDFS的整合问题

    用hdfsSink往hadoop写日志过程中,如果设置了lzo的压缩方式,则总提示以下错误:

    Unsupported compression codec lzo.  Please choose from: [None, BZip2Codec, DefaultCodec, DeflateCodec, GzipCodec, Lz4Codec, SnappyCodec] 

    可是明明已经把hadoop-lzo的jar包添加了呀,为啥不行呢,仔细看了下flume的源码

    原来flume需要读取hadoop的配置文件才能加载需要的编码类,因此将hadoop的core-silte.xml 复制到 flume的 conf 目录下,此问题得到解决。

    实际只需要core-site.xml里面的  

    io.compression.codecs  和 io.compression.codec.lzo.class  即可。

  • 相关阅读:
    日报10.11
    日报10.9
    日报10.8
    日报10.7
    换马甲啦
    CSP2019知识点整理
    字符logo存档
    QHDYZ模拟赛20191027 提前透题
    数竞大佬jhc的三角函数复习题
    IO流
  • 原文地址:https://www.cnblogs.com/luckuan/p/4673120.html
Copyright © 2011-2022 走看看