zoukankan      html  css  js  c++  java
  • hadoop--Unable to load native-hadoop library for your platform解决方法

    笔者实验环境:centos 7.4.1708,hadoop-2.6.0-cdh5.14.2.

    执行hadoop命令时出现以下告警,不能加载相关库:

    WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

    检查发现本地并没有库:

    $ hadoop checknative -a
    19/08/30 13:11:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    Native library checking:
    hadoop:  false 
    zlib:    false 
    snappy:  false 
    lz4:     false 
    bzip2:   false 
    openssl: false 
    19/08/30 13:11:53 INFO util.ExitUtil: Exiting with status 1

    进入到hadoop目录下可以看到/lib/native为空。

    需要下载对应版本的库文件:http://dl.bintray.com/sequenceiq/sequenceiq-bin/

     此处笔者选择:hadoop-native-64-2.6.0.tar。

    下载解压至hadoop目录下的/lib/native中:

    $ ll
    total 4356
    -rw-r--r-- 1 hadoop hadoop 1119486 Dec  2  2014 libhadoop.a
    -rw-r--r-- 1 hadoop hadoop 1486964 Dec  2  2014 libhadooppipes.a
    lrwxrwxrwx 1 hadoop hadoop      18 Dec  2  2014 libhadoop.so -> libhadoop.so.1.0.0
    -rwxr-xr-x 1 hadoop hadoop  671189 Dec  2  2014 libhadoop.so.1.0.0
    -rw-r--r-- 1 hadoop hadoop  581944 Dec  2  2014 libhadooputils.a
    -rw-r--r-- 1 hadoop hadoop  359458 Dec  2  2014 libhdfs.a
    lrwxrwxrwx 1 hadoop hadoop      16 Dec  2  2014 libhdfs.so -> libhdfs.so.0.0.0
    -rwxr-xr-x 1 hadoop hadoop  228435 Dec  2  2014 libhdfs.so.0.0.0

    重启dfs,问题解决:(笔者已经配置好hadoop环境变量,直接运行命令)

    $ start-dfs.sh
    $ hdfs dfs -ls /
    Found 2 items
    drwxr-xr-x   - hadoop supergroup          0 2019-08-29 15:08 /test
    drwx------   - hadoop supergroup          0 2019-08-29 15:08 /tmp
  • 相关阅读:
    DNS正向解析实现
    基于bind软件部署DNS服务器
    DNS解析工具使用案例
    DNS服务工作原理
    3
    .deb/.whl/.tgz/.tar/gz软件包安装方式(Ubuntu)
    博客系列目录
    Databricks 第3篇:pyspark.sql 通过JDBC连接数据库
    Databricks 第2篇:pyspark.sql 简介
    数据预处理 第4篇:数据预处理(sklearn 插补缺失值)
  • 原文地址:https://www.cnblogs.com/walk1314/p/11434490.html
Copyright © 2011-2022 走看看