zoukankan      html  css  js  c++  java
  • cdh5.15集群添加spark2.3服务(parcels安装)

    背景:

    机器系统:redhat7.3;已经配置了http服务

    集群在安装的时候没有启动spark服务,因为cdh5.15自带的spark不是2.0,所以直接进行spark2.3的安装

    参考文档:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

    一、下载:(注意版本对应)

    1.准备csd文件

    路径http://archive.cloudera.com/spark2/csd/

    2.准备parcels文件

    路径http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/

    二、准备:

    3.将csd文件放在 分发目录中(默认/opt/cloudera/csd目录),修改权限

    sudo chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar

    sudo chmod 644 SPARK2_ON_YARN-2.1.0.cloudera1.jar

    注:要保证集群的本地描述符存储库路径是/opt/cloudera/csd 
    查看方式:CM主界面管理–>设置–>类别(本地描述符存储库路径)

    4.将parcel文件放置在/var/www/html/spark2/parcels/目录下,且保证http能够访问(因为我这里的/var/www/html目录存储不够了,所以我做了软连接)

    5.重启cm server

    service cloudera-scm-server restart

    三、安装parcels 
    1、主机–>parcels–>配置–>填写url–>检查新的parcel 
    2、下载–>分配—>激活

    四、添加服务 
    1、点击集群按钮旁的添加服务 
    2、选择spark2 –>继续 
    3、选择依赖 
    4、角色分配(Gateway所有主机都要安装) 
    5、启动

    五、安装jdk1.8和scalar

  • 相关阅读:
    pyqt笔记1模块 信号和插槽
    pyqt5 eric6 pyqt5-tools
    转入Python3.5
    ARM伪指令
    ARM MOV PC加8
    所有JTAG集成电路都应该支持菊花链
    冯诺依曼存储子系统的改进
    [分享]Active-HDL 9.2 安装
    运行python脚本后台执行
    scala实验 模拟图形绘制
  • 原文地址:https://www.cnblogs.com/students/p/9948180.html
Copyright © 2011-2022 走看看