zoukankan      html  css  js  c++  java
  • spark安装部署

    spark依赖scala,所以要下载sparak和scala俩个包

      

      1、文件解压

    tar -zxf spark-1.3.0-bin-hadoop2.4.tgz  /usr/local/
    ln -s /usr/local/spark-1.3.0-bin-hadoop2.4 /usr/local/spark
    tar -zxf scala-2.11.0.tgz  /usr/local/
    ln -s /usr/local/scala-2.11.0 /usr/local/scala

      

      2、环境变量

      vi ~/.bashrc
    export SPARK_HOME=/usr/local/spark
    export PATH=$PATH:$SPARK_HOME/bin
    export SCALA_HOME=/usr/local/scala
    export PATH=$PATH:$SCALA_HOME/bin
    export SPARK_EXAMPLES_JAR=/usr/local/spark/lib/spark-examples-1.3.0-hadoop2.4.0.jar
    
      source ~/.bashrc

      

      3、配置文件,spark/conf/slaves

    slave1.ipieuvre.com  #从节点名称
    slave2.ipieuvre.com

      4、复制分发

        将/usr/local/spark 和 scala目录拷贝到各个从节点上

        环境变量也拷贝到各个从节点上,刷新环境变量

    scp -r /usr/local/spark slave1.ipieuvre.com:/usr/local/
    scp -r /usr/local/spark slave1.ipieuvre.com:/usr/local/
    scp -r /usr/local/scala slave1.ipieuvre.com:/usr/local/
    scp -r /usr/local/scala slave1.ipieuvre.com:/usr/local/
    scp /root/.bashrc slave1.ipieuvre.com:/root/
    scp /root/.bashrc slave2.ipieuvre.com:/root/
    ssh slave1.ipieuvre.com -c "source /root/.bashrc"
    ssh slave2.ipieuvre.com -c "source /root/.bashrc"

      5、安装完成可以测试验证了,输入/usr/local/spark/sbin/start-all.sh启动spark,输入 spark-shell命令进入spark的shell界面:

    spark WEBUI页面

    http://主节点地址:4040/

    spark集群的web管理页面

    http://主节点地址:8080/

  • 相关阅读:
    准备使用 Office 365 中国版--邮箱迁移
    准备使用 Office 365 中国版--域名
    中国版的 Office 365
    了解 Office 365
    MySQL Database on Azure 参数设置
    MySQL Database on Azure 的用户名
    Android NOTE
    从源码看Android中sqlite是怎么通过cursorwindow读DB的
    一个由proguard与fastJson引起的血案
    【转载】淘宝架构框架发展史
  • 原文地址:https://www.cnblogs.com/wangyufu/p/5552404.html
Copyright © 2011-2022 走看看