zoukankan      html  css  js  c++  java
  • spark加载hadoop本地库的时候出现不能加载的情况要怎么解决呢?

    我64位机器,当时hadoop启动的时候出现这个问题是因为hadoop本身自带的本地库是32位的,我现在hadoop2.2.0已经替换了本地库为64位的了,并且编译spark的时候采用了相对应的版本:
    SPARK_HADOOP_VERSION=2.2.0 SPARK_YARN=true ./sbt/sbt assembly
    但是现在进入spark shell的时候依然最后会出现如下警告,有没有人成功解决了这个问题呢?我spark是0.9.1版本的,谢谢各位大神!
    WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

    主要是jre目录下缺少了libhadoop.so和libsnappy.so两个文件。具体是,spark-shell依赖的是scala,scala依赖的是JAVA_HOME下的jdk,libhadoop.so和libsnappy.so两个文件应该放到$JAVA_HOME/jre/lib/amd64下面。
    这两个so:libhadoop.so和libsnappy.so。前一个so可以在HADOOP_HOME下找到,如hadooplib ative。第二个libsnappy.so需要下载一个snappy-1.1.0.tar.gz,然后./configure,make编译出来,编译成功之后在.libs文件夹下。
    当这两个文件准备好后再次启动spark shell不会出现这个问题。


    作者:Edward Lee
    链接:http://www.zhihu.com/question/23974067/answer/26267153
    来源:知乎
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
  • 相关阅读:
    分享图片到在线服务
    获取和保存照片
    处理图片(updated)
    简化版“询问用户是否退出”
    捕获高像素照片(updated)
    处理高像素的照片
    加强版照片捕获
    图片拍摄、处理、镜头应用
    Windows Phone 推送通知的第四类推送
    网络通信
  • 原文地址:https://www.cnblogs.com/wenhouniba/p/5399519.html
Copyright © 2011-2022 走看看