zoukankan      html  css  js  c++  java
  • CDH部署(以5.7.5为例)

    博客园首发,转载请注明出处https://www.cnblogs.com/tzxxh/p/9120020.html 

    一、准备工作(下面的内容括号内写master的表示仅在master节点执行,all代表所有节点都执行)

    1、文件下载:

      http://archive.cloudera.com/cdh5/parcels/5.7.5/

        [CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel、CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1、manifest.json ]

      http://archive.cloudera.com/cm5/cm/5/

         [cloudera-manager-centos7-cm5.7.5_x86_64.tar.gz]

    二、开始安装

    1、修改hosts文件

    2、免密码登陆

    3、关闭防火墙

    4、关闭selinux: sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

    5、jdk安装 安装到 /usr/java/ 下,防止出现没必要的问题。

    6、mysql安装(任意节点)--也可以使用其他节点上现有的mysql

    7、mkdir /usr/share/java (master),上传mysql-connector jar包并重命名为:mysql-connector-java.jar

    8、更改国内yum源,安装第三方依赖包(all):

      yum install ntp chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi -y

    9、同步时间: ntpdate s1a.time.edu.cn

    10、解压cm tar包到指定目录(all):

      mkdir /opt/cloudera-manager
      tar -zxvf cloudera-manager-centos7-cm5.7.5_x86_64.tar.gz -C /opt/cloudera-manager

    11、创建cloudera-scm用户(all):

      useradd -r -d /opt/cloudera-manager/cm-5.7.5/run/cloudera-scm-server -M -c "Cloudera SCM User" cloudera-scm

    12、配置cloudera-manger-agent指向主节点服务器(all):

      vi /opt/cloudera-manager/cm-5.7.5/etc/cloudera-scm-agent/config.ini ------将server_host改为master节点所在的主机名

    13、创建parcel-repo仓库目录(master):

      mkdir -p /opt/cloudera/parcel-repo
      chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
      cp CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo
      注意:其中CDH-5.7.5-1.cdh5.7.5.p0.3-el7.parcel.sha1 后缀要把1去掉

    14、创建parcels目录(all):
      mkdir -p /opt/cloudera/parcels
      chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

    15、初始脚本配置数据库scm_prepare_database.sh(master):

       /opt/cloudera-manager/cm-5.7.5/share/cmf/schema/scm_prepare_database.sh mysql -h cdh1 -u root -p1234 --scm-host cdh1 scmdbn scmdbu scmdbp
      ##在这里后面的参数分别是:数据库类型、数据库主机名、数据库用户名、密码、 cm-server主机名、自动创建的cm元数据库、用户名、密码

    16、启动cloudera-scm-server(master):

      /opt/cloudera-manager/cm-5.7.5/etc/init.d/cloudera-scm-server start

    17、启动cloudera-scm-agent(all):

      mkdir /opt/cloudera-manager/cm-5.7.5/run/cloudera-scm-agent
      /opt/cloudera-manager/cm-5.7.5/etc/init.d/cloudera-scm-agent start

    18、访问 master:7180

  • 相关阅读:
    HDU 3401 Trade
    POJ 1151 Atlantis
    HDU 3415 Max Sum of MaxKsubsequence
    HDU 4234 Moving Points
    HDU 4258 Covered Walkway
    HDU 4391 Paint The Wall
    HDU 1199 Color the Ball
    HDU 4374 One hundred layer
    HDU 3507 Print Article
    GCC特性之__init修饰解析 kasalyn的专栏 博客频道 CSDN.NET
  • 原文地址:https://www.cnblogs.com/tzxxh/p/9120020.html
Copyright © 2011-2022 走看看