zoukankan      html  css  js  c++  java

  • RedHat6.5安装Spark单机

    版本号：

    RedHat6.5   RHEL 6.5系统安装配置图解教程(rhel-server-6.5)

    JDK1.8      http://blog.csdn.net/chongxin1/article/details/68957808

    Hadoop2.7.3    RedHat6.5上安装Hadoop单机

    scala-2.11.8  

    spark-2.1.1-bin-hadoop2.7

    1 安装Spark依赖的Scala

              Hadoop的安装请参考上面提到的博文，因为Spark依赖scala，所以在安装Spark之前，这里要先安装scala。

    1.1  下载和解压缩Scala

     

    官网下载地址：https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 

    百度云盘下载地址：链接：http://pan.baidu.com/s/1eSiVjO2 密码：y8b1 

    linux在服务器的/usr/local目录下新建一个名为scala的文件夹，并将下载的压缩包上载上去

    如图： 

    执行命令，进入到该目录：

    cd    /usr/local/scala

    执行命令进行解压缩：

    tar   -xvf   scala-2.11.8.tgz

    1.2  配置环境变量

    sudo gedit /et/profile

    编辑/etc/profile这个文件，在文件中增加一行配置：

    

      

    1. #set Scala environment
      2. 

    2. export SCALA_HOME=/usr/local/scala/scala-2.11.8
      3. 

    3. export PATH=$SCALA_HOME/bin:$PATH
      4. 

    

      添加完成后，我的/etc/profile的配置如下：
    

    

      

    1. #set Java environment
      2. 

    2. export JAVA_HOME=/usr/local/java/jdk1.8
      3. 

    3. export JRE_HOME=/usr/local/java/jdk1.8/jre
      4. 

    4. export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
      5. 

    5. export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
      6. 

    6.  
      7. 

    7. #set Hadoop enviroment
      8. 

    8. export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
      9. 

    9. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
      10. 

    10. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
      11. 

    11. export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop​
      12. 

    12.  
      13. 

    13. #set Scala environment
      14. 

    14. export SCALA_HOME=/usr/local/scala/scala-2.11.8
      15. 

    15. export PATH=$SCALA_HOME/bin:$PATH
      16. 

    

    环境变量配置完成后，执行下面的命令： 
    

    source   /etc/profile  
    

    1.3 验证Scala
    

        执行命令： scala     -version  
    

       如图：    
    

    

    2 下载和解压缩Spark      
    

    2.1 下载Spark压缩包
    

    官网下载地址：http://mirrors.hust.edu.cn/apache/spark/spark-2.1.1/spark-2.1.1-bin-hadoop2.7.tgz  
    

    百度云盘下载地址：链接：http://pan.baidu.com/s/1cGTtgU 密码：hciq      
    

    2.2  解压缩Spark
    

           下载完成后，在Linux服务器的/usr/local目录下新建一个名为spark的文件夹，把刚才下载的压缩包，上传上去。
    

    如图：
    

    

    进入到该目录内，也就是执行下面的命令：
    

    cd    /usr/local/spark
    

    执行解压缩命令：
    

    tar   -zxvf   spark-2.1.1-bin-hadoop2.7.tgz
    

    3  Spark相关的配置
    

    3.1  配置环境变量
    

    sudo gedit /etc/profile
    

    编辑/etc/profile文件，增加
    

    

      

    1. #set Spark environment
      2. 

    2. export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
      3. 

    3. export PATH=$SPARK_HOME/bin:$PATH
      4. 

    

          注意：因为$SPARK_HOME/sbin目录下有一些文件名称和$HADOOP_HOME/sbin目录下的文件同名，为了避免同名文件冲突，这里不在PATH变量里添加$SPARK_HOME/sbin只添加了$SPARK_HOME/bin。
    

    修改完成后，/etc/profile文件内容是：
    

    

      

    1. #set Java environment
      2. 

    2. export JAVA_HOME=/usr/local/java/jdk1.8
      3. 

    3. export JRE_HOME=/usr/local/java/jdk1.8/jre
      4. 

    4. export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
      5. 

    5. export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
      6. 

    6.  
      7. 

    7. #set Hadoop enviroment
      8. 

    8. export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
      9. 

    9. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
      10. 

    10. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
      11. 

    11. export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop​
      12. 

    12.  
      13. 

    13. #set Scala environment
      14. 

    14. export SCALA_HOME=/usr/local/scala/scala-2.11.8
      15. 

    15. export PATH=$SCALA_HOME/bin:$PATH
      16. 

    16.  
      17. 

    17. #set Spark environment
      18. 

    18. export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
      19. 

    19. export PATH=$SPARK_HOME/bin:$PATH
      20. 

    

    编辑完成后，执行命令：
    

    source   /etc/profile
    

    3.2 配置conf目录下的文件
    

             对/usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf目录下的文件进行配置。
    

    3.2.1  新建spark-env.h文件
    

            执行命令，进入到/usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf目录内：
    

    cd    /usr/local/spark/spark-2.1.1-bin-hadoop2.7/conf
    

           以spark为我们创建好的模板创建一个spark-env.h文件，命令是：
    

    cp    spark-env.sh.template   spark-env.sh   
    

    编辑spark-env.sh文件，在里面加入配置(具体路径以自己的为准)：
    

    

      

    1. export JAVA_HOME=/usr/local/java/jdk1.8
      2. 

    2. export SCALA_HOME=/usr/local/scala/scala-2.11.8
      3. 

    3. export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
      4. 

    4. export HADOOP_DIR=$HADOOP_HOME/etc/hadoop
      5. 

    5. export SPARK_HOME=/usr/local/spark/spark-2.1.1-bin-hadoop2.7
      6. 

    6. export SPARK_MASTER_IP=master
      7. 

    7. export SPARK_EXECUTOR_MEMORY=1g
      8. 

    

    

      
    

    
4 启动和测试Spark
    

    
4.1 启动Spark
    

    
       因为spark是依赖于hadoop提供的分布式文件系统的，所以在启动spark之前，先确保hadoop在正常运行。
    

    
        在hadoop正常运行的情况下，在master（也就是hadoop的namenode，spark的marster节点）上执行命令：
    

    
 cd  /usr/local/spark/spark-2.1.1-bin-hadoop2.7/sbin
    

    
 执行启动脚本：
    

    
  ./start-all.sh 
    

    
  完整控制台输出内容是：
    

    

      

    1. [root@master sbin]#   ./start-all.sh 
      2. 

    2. starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark/spark-2.1.1-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
      3. 

    3. localhost: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/spark-2.1.1-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out
      4. 

    4. [root@master sbin]# jps
      5. 

    5. 5872 Jps
      6. 

    6. 4849 SecondaryNameNode
      7. 

    7. 5714 Master
      8. 

    8. 5810 Worker
      9. 

    9. 4676 DataNode
      10. 

    10. 5126 NodeManager
      11. 

    11. 5015 ResourceManager
      12. 

    12. 4542 NameNode
      13. 

    

     5714 Master
    
5810 Worker
    

    
有这两个就是spark已经启动成功！！！
    

    
注意：上面的命令中有./这个不能少，./的意思是执行当前目录下的start-all.sh脚本。
    

    
4.2  测试和使用Spark集群
    

    
4.2.1  访问Spark集群提供的URL
    

    
在浏览器里访问Mster机器，我的Spark集群里Master机器是master，IP地址是192.168.168.200，访问8080端口，URL是：
    

    
http://192.168.168.200:8080       
    

    
如图： 
    

    
参考资料：http://blog.csdn.net/pucao_cug/article/details/72353701
    

              
    


    
    
                
    
                
              
    • 
              
    
              
  • 

                相关阅读:
    
                
                  使用CXF开发Web Service服务
                    
    IT成长中的龟兔赛跑
                    
    IT成长中的龟兔赛跑
                    
    什么是共识算法
                    
    python字节序列
                    
    数据分析必备的统计学（二）：假设检验
                    
    以太坊Casper 与 分片
                    
    以太坊君士坦丁堡（Constantinople）升级公告
                    
    以太坊基金会：前路，2018
                    
    以太坊团队·2017年第四季度总结
                    
                        
              
    • 
              
    
              
  • 
                原文地址：https://www.cnblogs.com/yangcx666/p/8723900.html
              
    • 

            

          



          
          

            

            

          

        

      

      



      

      

        

          Copyright © 2011-2022 走看看