zoukankan      html  css  js  c++  java
  • hadoop--Unable to load native-hadoop library for your platform解决方法

    笔者实验环境:centos 7.4.1708,hadoop-2.6.0-cdh5.14.2.

    执行hadoop命令时出现以下告警,不能加载相关库:

    WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

    检查发现本地并没有库:

    $ hadoop checknative -a
    19/08/30 13:11:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    Native library checking:
    hadoop:  false 
    zlib:    false 
    snappy:  false 
    lz4:     false 
    bzip2:   false 
    openssl: false 
    19/08/30 13:11:53 INFO util.ExitUtil: Exiting with status 1

    进入到hadoop目录下可以看到/lib/native为空。

    需要下载对应版本的库文件:http://dl.bintray.com/sequenceiq/sequenceiq-bin/

     此处笔者选择:hadoop-native-64-2.6.0.tar。

    下载解压至hadoop目录下的/lib/native中:

    $ ll
    total 4356
    -rw-r--r-- 1 hadoop hadoop 1119486 Dec  2  2014 libhadoop.a
    -rw-r--r-- 1 hadoop hadoop 1486964 Dec  2  2014 libhadooppipes.a
    lrwxrwxrwx 1 hadoop hadoop      18 Dec  2  2014 libhadoop.so -> libhadoop.so.1.0.0
    -rwxr-xr-x 1 hadoop hadoop  671189 Dec  2  2014 libhadoop.so.1.0.0
    -rw-r--r-- 1 hadoop hadoop  581944 Dec  2  2014 libhadooputils.a
    -rw-r--r-- 1 hadoop hadoop  359458 Dec  2  2014 libhdfs.a
    lrwxrwxrwx 1 hadoop hadoop      16 Dec  2  2014 libhdfs.so -> libhdfs.so.0.0.0
    -rwxr-xr-x 1 hadoop hadoop  228435 Dec  2  2014 libhdfs.so.0.0.0

    重启dfs,问题解决:(笔者已经配置好hadoop环境变量,直接运行命令)

    $ start-dfs.sh
    $ hdfs dfs -ls /
    Found 2 items
    drwxr-xr-x   - hadoop supergroup          0 2019-08-29 15:08 /test
    drwx------   - hadoop supergroup          0 2019-08-29 15:08 /tmp
  • 相关阅读:
    java:UDP广播发送与接收数据报实现
    使用Python自由切分pdf文件提取任意页面
    python实现 -- 盆友圈九宫格
    三次登陆
    django 连接 已有数据库 导出 models表
    默认列表转字典
    代码中的去掉注释
    python 列表套字典 根据相同的key分组
    python 列表套列表去重,列表套字典去重
    Tengine更新安装
  • 原文地址:https://www.cnblogs.com/walk1314/p/11434490.html
Copyright © 2011-2022 走看看