zoukankan      html  css  js  c++  java
  • 高效搭建Spark全然分布式集群

    写在前面一:

    本文具体总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者高速搭建Spark的学习研究环境。


    写在前面二:

    使用软件说明


    约定,Spark相关软件存放文件夹:/usr/local/yujianxin/spark,

    Hadoop相关软件存放文件夹: /home/yujianxin/hadoop。

    Spark集群示意图


    一、详细安装步骤

    1、安装jdk

    2、安装Hadoop集群,參考http://blog.csdn.net/aaronhadoop/article/details/24867257

    3、安装 Scala

    cd /usr/local/yujianxin/spark/

    tar -zxvf scala-2.9.3.tgz

    改动/etc/profile


    4、安装Spark

    4.1、改动/etc/profile

    cd /usr/local/yujianxin/spark/

    tar -zxvf spark-0.7.2-prebuilt-hadoop1.tgz


    4.2、配置Spark

    4.2.1、改动配置文件spark-env.sh

    cd /usr/local/yujianxin/spark/spark-0.7.2/conf

    cp spark-env.sh.template spark-env.sh

    vi spark-env.sh


    4.2.2、改动配置文件slaves


    至此,master节点上的Spark已配置完成。把master上Spark相关配置copy到slave1、slave2中,注意,三台机器spark所在文件夹必须一致,由于master会登陆到worker上运行命令,master觉得worker的spark路径与自己一样。

    二、安装測试

    2.1、通过命令行

    cd $SPARK_HOME/bin

    start-all.sh



    2.2、通过浏览器


  • 相关阅读:
    基本数据类型(int, bool, str)
    万恶之源之运算符
    python基础初识
    leetcode 653. Two Sum IV
    leetcode 16 3Sum Closest
    leetcode15 3Sum
    leetcode 1 Two Sum
    【站立会议】第四天
    【站立会议】第三天
    【站立会议】第二天
  • 原文地址:https://www.cnblogs.com/zfyouxi/p/4049279.html
Copyright © 2011-2022 走看看