zoukankan      html  css  js  c++  java
  • spark standlone 伪分布式安装

    一,在官网下载对应的版本http://spark.apache.org/downloads.html

    二在linux中解压下来的spark包
     
    三:配置环境变量
        (1)在/etc/profile文件添加如下
    export SPARK_HOME=/usr/local/development/spark-2.0-hadoop2.6
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$PATH
        (2)在/usr/local/development/spark-2.0-hadoop2.6/conf 复制spark-env.sh
    cp spark-env.sh.template spark-env.sh
          在spark-env.sh 中添加配置
    export JAVA_HOME=/usr/local/development/jdk1.7.0_15
    export SCALA_HOME=/usr/local/development/scala-2.10.6
    export HADOOP_CONF_DIR=/usr/local/development/hadoop-2.6.4/etc/hadoop
    四:在/usr/local/development/spark-2.0-hadoop2.6/sbin  执行
    ./start-all.sh
    配置 成功
     
     
    问题:
     在第一次启动sprk时,抛出异常
    failed to launch org.apache.spark.deploy.master.Master: Failed to find Spark assembly in /usr
    这个是因为我下载的是spark-2.0.0-bin-without-hadoop版本,应该下载与你hadoop版本对应的spark包
     
     
    --------------------------------------------------------------------------
    在启动spark后,在window的浏览器中输入http://192.168.177.124:8080不能够显示spark页面,但是在linux中输入localhost://8080 就可以显示。这个问题需要配置spark-env.sh
    export SPARK_MASTER=node4 --配置master的主机
    export SPARK_LOCAL_IP=node4---配置本地地址的IP
    export SPARK_HOME=/usr/local/development/spark-2.0-hadoop2.6
    export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
    export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin
     
  • 相关阅读:
    汽车行业如何利用大数据
    汽车行业如何利用大数据
    Linux下Gcc 的编译过程
    第一个GraphX程序
    VC++ 模拟"CLICK事件"关闭指定窗体
    基于Canvas的Char.js库使用
    VELT-0.1.6开发:载入根文件系统
    HDU 5411 CRB and puzzle (Dp + 矩阵高速幂)
    JavaScript图片裁剪
    C++ string中的几个小陷阱,你掉进过吗?
  • 原文地址:https://www.cnblogs.com/zhangXingSheng/p/6222279.html
Copyright © 2011-2022 走看看