zoukankan      html  css  js  c++  java
  • hadoop+hive+spark搭建(三)

    一、spark安装

         因为之前安装过hadoop,所以,在“Choose a package type”后面需要选择“Pre-build with user-provided Hadoop [can use with most Hadoop   distributions]”,然后,点击“Download Spark”后面的“spark-2.1.0-bin-without-hadoop.tgz”下载即可。Pre-build with user-provided Hadoop:   属于“Hadoop free”版,这样,下载到的Spark,可应用到任意Hadoop 版本。  

          

      上传spark软件包到任意节点上

      解压缩spark软件包到/usr/local/目录下

         

      重命名为spark文件夹

         mv  spark-2.1.0-bin-without-hadoop/ spark

      重命名conf/目录下spark-env.sh.templatespark-env.sh

        cp spark-env.sh.template spark-env.sh

      重命名conf/目录下slaves.template为slaves

        mv slaves.template slaves 

    二、配置spark

       编辑conf/spark-env.sh文件,在第一行添加以下配置信息:

          export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

          #上述表示Spark可以把数据存储到Hadoop分布式文件系统HDFS中,也可以从HDFS中读取数据。如果没有配置上面信息,Spark就只能读写本地数据,无法读写HDFS数据。

          export JAVA_HOME=/usr/local/jdk64/jdk1.8.0

       编辑conf/slaves文件

          

    三、验证spark是否安装成功

      在spark目录中输入命令验证spark是否安装成功

          bin/run-example SparkPi

          bin/run-example SparkPi 2>&1 | grep "Pi is"        #过滤显示出pi的值

          

         web界面为8080端口

         

       集群模式下shell

       pyspark --master spark://master:7077    #python

       提交应用

        spark-submit

          --class <main-class>         #需要运行的程序的主类,应用程序的入口点
          --master <master-url>        #Master URL,下面会有具体解释
          --deploy-mode <deploy-mode>     #部署模式
          ... # other options           #其他参数
          <application-jar>            #应用程序JAR包
          [application-arguments]        #传递给主类的主方法的参数

  • 相关阅读:
    js关于页面坐标api
    js面向对象之创建对象
    Web前端安全问题
    js操作cookie
    css清除浮动
    块级格式化上下文(block formatting context)
    《python核心编程》笔记——系统限制
    《python核心编程》笔记——文件的创建、读取和显示
    黑客们的故事连载十二 “蠕虫来袭”:莫里斯
    黑客们的故事连载十一 下村努—虚拟战争追逐
  • 原文地址:https://www.cnblogs.com/lonenysky/p/6782782.html
Copyright © 2011-2022 走看看