zoukankan      html  css  js  c++  java
  • spark standlone 伪分布式安装

    一,在官网下载对应的版本http://spark.apache.org/downloads.html

    二在linux中解压下来的spark包
     
    三:配置环境变量
        (1)在/etc/profile文件添加如下
    export SPARK_HOME=/usr/local/development/spark-2.0-hadoop2.6
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$PATH
        (2)在/usr/local/development/spark-2.0-hadoop2.6/conf 复制spark-env.sh
    cp spark-env.sh.template spark-env.sh
          在spark-env.sh 中添加配置
    export JAVA_HOME=/usr/local/development/jdk1.7.0_15
    export SCALA_HOME=/usr/local/development/scala-2.10.6
    export HADOOP_CONF_DIR=/usr/local/development/hadoop-2.6.4/etc/hadoop
    四:在/usr/local/development/spark-2.0-hadoop2.6/sbin  执行
    ./start-all.sh
    配置 成功
     
     
    问题:
     在第一次启动sprk时,抛出异常
    failed to launch org.apache.spark.deploy.master.Master: Failed to find Spark assembly in /usr
    这个是因为我下载的是spark-2.0.0-bin-without-hadoop版本,应该下载与你hadoop版本对应的spark包
     
     
    --------------------------------------------------------------------------
    在启动spark后,在window的浏览器中输入http://192.168.177.124:8080不能够显示spark页面,但是在linux中输入localhost://8080 就可以显示。这个问题需要配置spark-env.sh
    export SPARK_MASTER=node4 --配置master的主机
    export SPARK_LOCAL_IP=node4---配置本地地址的IP
    export SPARK_HOME=/usr/local/development/spark-2.0-hadoop2.6
    export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
    export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin
     
  • 相关阅读:
    【Express系列】第3篇——接入mysql
    【Express系列】第2篇——主程序的改造
    【Express系列】第1篇——项目创建
    AngularJS内置指令
    node服务端搭建学习笔记
    生成ssh key
    webstorm的常用操作
    VSCode 常用插件
    php集成包
    composer安装特别慢的解决方案
  • 原文地址:https://www.cnblogs.com/zhangXingSheng/p/6222279.html
Copyright © 2011-2022 走看看