zoukankan      html  css  js  c++  java
  • hadoop native本地库问题总结

           近期,打算hbase建表用snappy压缩时,碰到一些hadoop本地库的问题。

    事实上这些问题是一直存在的,仅仅是不影响正常使用,就没有引起重视。

    这次希望彻底解决下面问题:

    问题一:运行start-dfs.sh时出现下面日志

    xxxx: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.4.0/lib/native/libhadoop.so which might have disabled stack guard. The VM will try to fix the stack guard now.

    xxxx: It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.

    这是由于官网提供的版本号本地库是32位的,在64位主机环境下无法运行。须要下载hadoop源代码进行编译(怎样编译源代码能够上网搜索),编译成功后,找到native下的文件复制到${HADOOP_HOME}/lib/native文件夹下就可以。

    问题二:运行start-dfs.sh时出现下面日志

    WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

    在网上找到的全部文章中,都是说在hadoop-env.sh中增加下面两行配置:

    export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

    export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/"

    可是在測试过程中,增加以上配置还是会提示告警信息,说明本地库未载入成功。

    开启debug:

           export HADOOP_ROOT_LOGGER=DEBUG,console

           运行start-dfs.sh,发现下面日志:

           DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path

    从日志中能够看出hadoop库不在java.library.path所配置的文件夹下,应该是java.library.path配置的路径有问题。在hadoop-env.sh中又一次配置:

    export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

    export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"

    运行start-dfs.sh,告警信息不再显示。经測试。事实上仅仅需export HADOOP_OPTS就可以解决这个问题。

    验证本地库是否载入成功:hadoop checknative

    15/08/18 10:31:17 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native

    15/08/18 10:31:17 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library

    Native library checking:

    hadoop: true /usr/local/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0

    zlib:   true /lib64/libz.so.1

    snappy: true /usr/local/hadoop-2.4.0/lib/native/Linux-amd64-64/libsnappy.so.1

    lz4:    true revision:99

    bzip2:  true /lib64/libbz2.so.1

    以上说明本地库已经载入成功。


    安装snappy压缩配置能够參考下面两篇文章:

    http://www.micmiu.com/bigdata/hadoop/hadoop-snappy-install-config/

    http://www.cnblogs.com/shitouer/archive/2013/01/14/2859475.html


    依据以上文章配置hbase的时候,建表的时候会卡住。且regionserver报错:IOException: Compression algorithm 'snappy' previously failed test


    在网上搜了非常多的文章。都是千篇一律的复制粘帖,始终无法解决以上问题。只是幸运的是。最后找到了这篇文章http://blackwing.iteye.com/blog/1943575,尽管描写叙述上一直让我非常费解,可是经过摸索终于还是攻克了我的问题,非常感谢这位博主。

    最后配置hbase须要做的步骤:

    1、把hadoop的本地库和snappy的本地库都复制到$HBASE_HOME/lib/native/Linux-amd64-64/文件夹下,例如以下截图:


    2、在hbase-env.sh中加入下面配置:

    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/

    export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/


    希望对碰到相同问题的童鞋有点帮助。

  • 相关阅读:
    [leetCode]945.使数组唯一的最小增量
    [leetCode]974. 和可被 K 整除的子数组
    [leetCode]1035.不相交的线
    [leetCode]面试题 10.01. 合并排序的数组
    [leetCode]面试题04.二维数组
    [面试题03]数组中的重复数字
    [leetCode]169.多数元素
    [leetCode]160.相交链表
    [leetCode]155.最小栈
    POJ 2127 Greatest Common Increasing Subsequence
  • 原文地址:https://www.cnblogs.com/mthoutai/p/7278084.html
Copyright © 2011-2022 走看看