zoukankan      html  css  js  c++  java
  • CDH-5.9.2整合spark2

     1.编写目的:由于cdh-5.9.2自带spark版本是spark1.6,现需要测试spark2新特性,需要整合spark2, 

      且spark1.x和spark2.x可以同时存在于cdh中,无需先删除spark1.x;

    2.安装包下载

       2.1首先下载csd包,地址: http://archive.cloudera.com/spark2/csd/

      2.2  parcel包下载地址:http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/

      

       需要注意的是要下载对应的版本和对应的操作系统包;

    3.安装开始

    将安装包放到对应目录,修改安装包所属用户,以及组,如下图:

    将该节点执行 :

    service cloudera-scm-server restart

    service cloudera-scm-agent restart

    然后点击主机->Parcel页面,看是否多了个spark2的选项。如下图,你这里此时应该是分配按钮,点击,等待操作完成后,点击激活按钮

    然后在dashboard页面,向集群添加服务,就可以看到spark2:

       我这里把spark2的history server装在了第三个节点:

       

        至此,安装完成;

    4.测试验证:

       

      spark2-shell启动成功;

      

     spark-shell,即spark1也启动成功;

     =====》使用spark-submit模式几条job:

    [hdfs@hadoopNode3:/opt/cloudera/parcels/SPARK2/bin]$ ./spark2-submit --master yarn --deploy-mode cluster --conf spark.driver.memory=2g --class org.apache.spark.examples.SparkPi --executor-cores 4 /opt/cloudera/parcels/CDH/lib/spark/examples/lib/spark-examples-1.6.0-cdh5.9.2-hadoop2.6.0-cdh5.9.2.jar

    [hdfs@hadoopNode3:/opt/cloudera/parcels/CDH/lib/spark/bin]$ ./spark-submit --master yarn --deploy-mode cluster --conf spark.driver.memory=2g --class org.apache.spark.examples.SparkPi --executor-cores 4  /opt/cloudera/parcels/CDH/lib/spark/examples/lib/spark-examples-1.6.0-cdh5.9.2-hadoop2.6.0-cdh5.9.2.jar

    可以看到用集群模式也都能运行job成功

    五.问题总结:

       1.在安装过程中,可能会碰到在向集群添加spark2这个服务时候,没有spark2这个选项,这个是csd文件没有放对路劲;

       2.在集群其他节点运行spark2的时候,会报错

       

       spark2安装在哪个节点,就要到对应节点运行,否则会有这个报错;

      3.运行spark2对应命令,要切换到hdfs用户,否则会报错:

      

  • 相关阅读:
    1038 Recover the Smallest Number (30分) sort-cmp妙用(用于使字符串序列最小)
    1033 To Fill or Not to Fill (25分)贪心(???)
    1030 Travel Plan (30分) dij模板题
    1020 Tree Traversals (25分)(树的构造:后序+中序->层序)
    1022 Digital Library (30分) hash模拟
    1018 Public Bike Management (30分)(Dijkstra路径保存fa[]+DFS路径搜索)
    1017 Queueing at Bank (25分)模拟:关于事务排队处理
    1014 Waiting in Line (30分)队列模拟题
    1010 Radix (25分)暴力猜数or二分猜数
    HDU 3032 multi-sg 打表找规律
  • 原文地址:https://www.cnblogs.com/gxc2015/p/9066334.html
Copyright © 2011-2022 走看看