zoukankan      html  css  js  c++  java
  • CM记录-CDH部署手册

    1.安装环境和软件准备
     CentOS release 7.4
     JDK1.8.0_121
     mysql-connector-java-5.1.40-bin.jar
     CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
     CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sha
     manifest.json
     MySQL
     cloudera-manager-centos7-cm5.10.2_x86_64.tar

    2.机器配置
    2.1 主机名 IP 地址规划
    主机名 节点类型 IP 地址 主要存储
    hadoop01 主节点 192.168.52.60 Namenode(名字节点)
    hadoop02 从节点 192.168.52.61 Datanode(数据节点)
    hadoop03 从节点 192.168.52.62 Datanode(数据节点)
    其他要求:8GB 内存、100GB 数据盘、4 核 cpu
    1)三台机器分别修改主机名
    hostnamectl set-hostname hadoop01
    hostnamectl set-hostname hadoop02
    hostnamectl set-hostname hadoop03
    或者 vim /etc/sysconfig/network 加入 HOSTNAME=hadoop01/02/03 等

    2)三台机器分别加入主机映射
    vim /etc/hosts
    192.168.52.60 hadoop01
    192.168.52.61 hadodp02
    192.168.52.62 hadoop03

    2.2 关闭 selinux
    1)三台机器分别修改 selinux 安全控制配置
    vim /etc/sysconfig/selinux
    设置 SELINUX=disabled
    2)立即生效
    sudo setenforce 0

    2.3 关闭防火墙
    1)三台机器执行关闭防火墙命令
    systemctl stop firewalld
    systemctl disable firewalld

    2.4 新建目录
    1)三台机器分别新建目录
     mkdir /opt/cloudera/parcels -p
     mkdir /opt/cloudera/parcel-cache -p
     mkdir /opt/jdk
    2)hadoop01 上新建目录
     mkdir /opt/cloudera/parcel-repo -p

    2.5 配置 JDK
    1)三台机器分别配置 JDK 环境变量
    1.1)从其他主机拷贝 jdk 文件到三台服务器上
    scp -r /usr/local/jdk root@192.168.52.60:/opt/cloudera/
    scp -r /opt/jdk root@192.168.52.61:/opt/
    scp -r /opt/jdk root@192.168.52.62:/opt/
    vim /etc/profile

    JAVA_HOME=/opt/jdk
    PATH=$JAVA_HOME/bin:$PATH
    CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
    export JAVA_HOME CLASSPATH PATH

    1.2)生效并测试
    #source /etc/profile
    #java -version

    2.6 配置 NTP 服务
    1)三台机器分别配置 ntp 时钟服务
    #yum -y install ntp ---安装 ntp
    #ntpdate -u ntp1.aliyun.com ---配置阿里云时钟
    #systemctl status ntpd.service 开启 ntpd 服务

    3.主节点配置 MySQL
    #wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
    #yum -y install mysql57-community-release-el7-10.noarch.rpm
    #yum -y install mysql-community-server

    #systemctl start mysqld.service 启动服务
    #systemctl status mysqld.service 查看服务状态

    #为了加强安全性,MySQL5.7 为 root 用户随机生成了一个密码,在 error log 中,
    关于 error log 的位置,如果安装的是 RPM 包,则默认是/var/log/mysqld.log。
    只有启动过一次 mysql 才可以查看临时密码
    #通过下面的命令查看初始密码,冒号后面的字符就是密码
    grep 'temporary password' /var/log/mysqld.log
    #登录 mysql 修改 root 密码
    # mysql -u root -p
    #validate_password_policy 代表密码策略,默认是 1:符合长度,且必须含有数
    字,小写或大写字母,特殊字符。设置为 0 判断密码的标准就基于密码的长度了。
    一定要先修改两个参数再修改密码
    #mysql> set global validate_password_policy=0;
    #validate_password_length 代表密码长度,最小值为 4
    #mysql> set global validate_password_length=4;
    #mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'root123456';
    #mysql>flush privileges;
    #mysql>exit;
    mysql -uroot -proot123456

    #授予权限
    grant all privileges on *.* to 'root'@'hadoop01' identified by 'root123456' with
    grant option;
    grant all privileges on *.* to 'root'@'%' identified by 'root123456' with grant
    option;
    grant all privileges on *.* to 'root'@localhost identified by 'root123456' with
    grant option;
    #刷新权限列表
    flush privileges
    exit
    4.安装 cloudera manager
    4.1 拷贝文件
    1)上传文件到服务器并拷贝到主机里指定目录下
    2)拷贝 cdh 包文件
    scp -r
    /data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
    root@192.168.52.60:/opt/cloudera/parcel-repo/
    scp -r
    /data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sh

    a root@192.168.52.60:/opt/cloudera/parcel-repo/
    scp -r /data/cm/app/cloudera/parcel-repo/manifest.json
    root@192.168.52.60:/opt/cloudera/parcel-repo/
    3)拷贝 cloudera manager 管理器程序文件
    scp -r /root/cloudera-manager-centos7-cm5.10.2_x86_64.tar
    root@192.168.52.60:/opt/cloudera/
    然后执行 tar xvf cloudera-manager-centos7-cm5.10.2_x86_64.tar 为 cm-5.10.2
    scp -r /opt/cm-5.10.2 root@192.168.52.61:/opt/cloudera/
    scp -r /opt/cm-5.10.2 root@192.168.52.62:/opt/cloudera/
    4.2 主节点添加 scm 用户
    useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home
    --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
    4.3 拷贝驱动文件
    cp mysql-connector-java-5.1.40-bin.jar /opt/cm-5.10.2/share/cmf/lib/
    4.4 初始化 cm 数据库
    #/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot
    -proot123456 --scm-host localhost scm scm scm

    4.5 主节点启动 cloudera-scm-server
    1)在 hadoop01 执行
    #/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start
    #/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

    4.6 从节点启动 cloudera-scm-agent
    1)从节点 hadoop02/03 cloudera-manger-agent 指向主节点服务器
    vim /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
    将 server_host 改为 CMS 所在的主机名即 hadoop01
    2)在 hadoop02、hadoop03 上执行
    #/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

    4.7 安装 cloudera manager service 服务
    cdh 包高度集成 hadoop 生态组件,cloudera manager 管理器进行安装 cdh 包。
    1)打开浏览器输入以下地址进入 cloudera manager web 管理端
    http://192.168.52.60:7180/cmf/login ---用户和密码都是 admin

    2)添加 cloudera manager service

    3)添加集群

    4)三台机器分别拷贝 mysql 连接库到 hive/lib 下
    #cp /opt/cm-5.10.2/share/cmf/lib/mysql-connector-java-5.1.40-bin.jar
    /opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/hive/lib/

    5.添加 zookeeper 服务

    6.添加 HDFS 服务
    添加 HDFS 服务组件同添加 zookeeper 服务的操作是一致的。
    依次点击添加服务-勾选 HDFS 服务-分配服务角色

    7.添加 Hbase 服务
    添加 Hbase 服务组件同添加 zookeeper 服务的操作是一致的。
    依次点击添加服务-勾选 Hbase 服务-分配服务角色

    8.添加 Yarn 服务
    添加 Yarn 服务组件同添加 zookeeper 服务的操作是一致的。
    依次点击添加服务-勾选 Yarn 服务-分配服务角色

    9.添加 Hive 服务
    添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
    依次点击添加服务-勾选 Hive 服务-分配服务角色-需要创建数据库

    9.添加 Hive 服务
    添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
    依次点击添加服务-勾选 Hive 服务-分配服务角色

     

  • 相关阅读:
    第十四周 Leetcode 315. Count of Smaller Numbers After Self(HARD) 主席树
    POJ1050 To the Max 最大子矩阵
    POJ1259 The Picnic 最大空凸包问题 DP
    POJ 3734 Blocks 矩阵递推
    POJ2686 Traveling by Stagecoach 状态压缩DP
    iOS上架ipa上传问题那些事
    深入浅出iOS事件机制
    iOS如何跳到系统设置里的各种设置界面
    坑爹的私有API
    业务层网络请求封装
  • 原文地址:https://www.cnblogs.com/xinfang520/p/11191997.html
Copyright © 2011-2022 走看看