Hadoop异常解决：Unable to load native-hadoop library

问题

使用Hadoop时，每次起NameNode，DataNode，或者使用命令hadoop fs -ls的时候，都会出现如下提示

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

怎么修呢？

分析

查看网上文章，比较靠谱的说法是“hadoop不能加载本地库”。

不能加载的原因主要有两种：

• Linux机器是32位的，Hadoop安装包是64位的，不兼容，需要自己打包源码。
• 运行的参数HADOOP_OPTS没有正确设置，所以找不到目录文件。

一个一个来：

方案1

首先，我使用命令uname -i查看本机的配置，发现是64位的。第一个猜想不成立。

x86_64

参考 -> 5 ways to check if your Linux OS is 64-bit or 32-bit https://www.faqforge.com/linux/5-ways-check-linux-os-64-bit-32-bit/

方案2

其次，我配置了HADOOP_OPTS并重试，还是不行。第二个方案也失败了。

/etc/hadoop/hadoop-env.sh

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

->

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

参考 -> hadoop报错 https://blog.csdn.net/weixin_38256474/article/details/94440838

解决

多想一步，既然我们让Hadoop去这个/lib/native目录下查找类库，那么这个目录下到底有些什么东西呢？

cd过去一看，空空如也！

所以即使我们配置对了路径，还是什么都没有找到。

我使用的是这个版本，hadoop-2.6.0-cdh5.15.1。去官网重下了一个，解压缩发现还是空的。

于是换了一个不是CDH的版本：hadoop-2.7.7，下载解压缩，然后把/lib/native下的东西拷贝到原来的系统中。

-rw-r--r-- 1 root root 1492202 Oct 30 10:59 libhadoop.a
-rw-r--r-- 1 root root 1632624 Oct 30 10:59 libhadooppipes.a
-rwxr-xr-x 1 root root  864841 Oct 30 10:59 libhadoop.so
-rwxr-xr-x 1 root root  864841 Oct 30 10:59 libhadoop.so.1.0.0
-rw-r--r-- 1 root root  476154 Oct 30 10:59 libhadooputils.a
-rw-r--r-- 1 root root  446100 Oct 30 10:59 libhdfs.a
-rwxr-xr-x 1 root root  281340 Oct 30 10:59 libhdfs.so
-rwxr-xr-x 1 root root  281340 Oct 30 10:59 libhdfs.so.0.0.0

可以正常使用了。

总结

遇到问题，结合前人经验，融合自己的思考，关键时刻要多想一步！