• hadoop2.7.3+spark2.1.0+scala2.12.1环境搭建(4)SPARK 安装


    hadoop2.7.3+spark2.1.0+scala2.12.1环境搭建(4)SPARK 安装

    一、依赖文件安装

        1.1 JDK

             参见博文:http://www.cnblogs.com/liugh/p/6623530.html

        1.2 Hadoop

             参见博文:http://www.cnblogs.com/liugh/p/6624872.html

        1.3 Scala

             参见博文:http://www.cnblogs.com/liugh/p/6624491.html

    二、文件准备

         spark-2.1.0-bin-hadoop2.7.tgz

         下载地址:http://spark.apache.org/downloads.html

    三、工具准备

        3.1 Xshell

        3.2 Xftp

    四、部署图

          master:192.168.136.128

          slave:192.168.136.129

          slave:192.168.136.130     

          

    五、Spark安装

        以下操作,均使用root用户

       5.1 通过Xftp将下载下来的Spark安装文件上传到Master及两个Slave的/usr目录下

       5.2 通过Xshell连接到虚拟机,在Master及两个Slave上,执行如下命令,解压文件:

            # tar zxvf spark-2.1.0-bin-hadoop2.7.tgz 

       5.3 在Master上,使用Vi编辑器,设置环境变量

            # vi /etc/profile

            在文件最后,添加如下内容:       

    #Spark Env
    export SPARK_HOME=/usr/spark-2.1.0
    export PATH=PATH:PATH:SPARK_HOME/bin:$SPARK_HOME/sbin

       5.4 退出vi编辑器,使环境变量设置立即生效

           # source /etc/profile

           通过scp命令,将/etc/profile拷贝到两个Slave节点:

           #scp /etc/profile root@DEV-SH-MAP-02:/etc

           #scp /etc/profile root@DEV-SH-MAP-03:/etc

           分别在两个Salve节点上执行# source /etc/profile使其立即生效

    六、Spark配置

        以下操作均在Master节点,配置完后,使用scp命令,将配置文件拷贝到两个Worker节点即可。

       切换到/usr/spark-2.1.0/conf/目录下,修改如下文件:

       6.1 spark-env.sh

        将spark-env.sh.template重命名为spark-env.sh

        #mv spark-env.sh.template spark-env.sh

        使用vi编辑器,打开spark-env.sh,在文件最后,添加如下内容:

    export JAVA_HOME=/usr/jdk1.8.0_121
    export SCALA_HOME=/usr/scala-2.12.1
    export SPARK_MASTER_IP=10.10.0.1
    export SPARK_WORKER_MEMORY=1g
    export HADOOP_CONF_DIR=/usr/hadoop-2.7.3/etc/hadoop

       6.2 slaves

        将slaves.template重命名为slaves

        #mv slaves.template slaves

        使用vi编辑器,打开slaves,在文件最后,添加如下内容:

    DEV-SH-MAP-01
    DEV-SH-MAP-02
    DEV-SH-MAP-03

      6.3 拷贝配置文件到两个Worker节点

       在Master节点,执行如下命令:   

       # scp -r /usr/spark-2.1.0/conf/ root@DEV-SH-MAP-02:/usr/spark-2.1.0/

       # scp -r /usr/spark-2.1.0/conf/ root@DEV-SH-MAP-03:/usr/spark-2.1.0/

    七、Spark使用

       7.1 启动Hadoop集群

           参见博文:http://www.cnblogs.com/liugh/p/6624872.html

      7.2 启动Master节点

          Master节点上,执行如下命令:

          #start-master.sh

         使用jps命令,查看Java进程:

    34225 SecondaryNameNode
    33922 NameNode49702 Jps
    34632 NodeManager
    34523 ResourceManager
    34028 DataNode
    36415 Master

      7.3 启动Worker节点

          Master节点上,执行如下命令:

          #start-slaves.sh

         使用jps命令,查看Java进程:

    复制代码
    34225 SecondaryNameNode
    33922 NameNode
    36562 Worker
    49702 Jps
    34632 NodeManager
    34523 ResourceManager
    34028 DataNode
    36415 Master
    复制代码

      7.4 通过浏览器查看Spark信息

        浏览器中,输入http://10.10.0.1:8080

       7.5 停止Master及Workder节点

         #stop-master.sh

         #stop-slaves.sh

  • 相关阅读:
    数列分块入门九题(一):LOJ6277~6279
    Luogu P4211 [LNOI2014]LCA
    Luogu P2279 [HNOI2003]消防局的设立
    Luogu P3177 [HAOI2015]树上染色
    51Nod 1677 treecnt
    CYJian的水题大赛
    51Nod 1299 监狱逃离
    51Nod 1705 七星剑
    51Nod 1443 路径和树
    51Nod 1815 调查任务
  • 原文地址:https://www.cnblogs.com/lexiaofei/p/6763948.html
走看看 - 开发者的网上家园