zoukankan      html  css  js  c++  java
  • 安装spark-1.5遇到的一些问题

    1、java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z

      这个问题是因为本地库没有加载上。在spark-env.sh中加上:

    export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:$HADOOP_HOME/lib/native
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native
    export SPARK_YARN_USER_ENV="JAVA_LIBRARY_PATH=$JAVA_LI:BRARY_PATH,LD_LIBRARY_PATH=$LD_LIBRARY_PATH"

    2、spark的GangliaSink 无法初始化,按理说,如果不用的话,就不会加载,但是spark1.5还是加载了这个类,如果打包的时候没有打包进去的话,就会报初始化错误的问题:metrics.MetricsSystem: Sink class org.apache.spark.metrics.sink.GangliaSink cannot be instantialized

      所以打包的时候加上:-Pspark-ganglia-lgpl

    3、找不到lzo的问题,在spark-env.sh中加入:

      export SPARK_CLASSPATH=$SPARK_CLASSPATH:${HADOOP_HOME}/share/hadoop/common/lib/hadoop-lzo-0.4.19.jar

    原文链接:http://www.cnblogs.com/fbiswt/p/4837340.html 

  • 相关阅读:
    pickle模块使用
    Graphviz安装教程
    Redis常用命令
    MongoDB和Redis的区别
    UVA-1572
    poj2352
    poj1195
    Codeforces Round #430 (Div. 2)
    Codeforces Round #431 (Div. 2) B. Tell Your World
    poj3278 【BFS】
  • 原文地址:https://www.cnblogs.com/fbiswt/p/4837340.html
Copyright © 2011-2022 走看看