zoukankan      html  css  js  c++  java
  • clouder-manager安装cdh

    1--给裸机装系统centos7

    2--配置静态IP:
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    BOOTPROTO=static
    ONBOOT=yes
    GATEWAY=192.168.1.2
    IPADDR=192.168.1.101
    NETMASK=255.255.255.0
    DNS1=119.29.29.29
    systemctl restart network.service
    ifconfig
    ping www.baidu.com

    3--远程连接(CRT或Xshell)

    4--修改主机名:(永久修改)
    hostnamectl set-hostname bigdata001

    5--配置IP映射
    vim /etc/hosts
    192.168.1.101 bigdata001
    192.168.1.102 bigdata002
    192.168.1.103 bigdata003

    6--关闭防火墙和selinux
    systemctl stop firewalld.service
    systemctl disable firewalld.service
    vim /etc/selinux/config
    将selinux=enforcing改成selinux=disabled

    7--配置网络yum源:
    mv CentOS-Base.repo CentOS-Base.repo.backup
    wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
    yum clean all
    yum makecache

    8--安装需要的依赖包
    所有的依赖包:
    vim openssh openssh-clients rsync libaio unzip telnet ntp gcc-c++
    psmisc libxml2-python autoconf krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve
    libxml2-devel libxslt-devel mysql mysql-devel
    openldap-devel python-devel python-simplejson sqlite-

    9--修改linux性能(两项):
    sysctl -w vm.swappiness=10
    echo "vm.swappiness=10" >> /etc/sysctl.conf
    vim /etc/rc.local
    在文件尾部追加如下
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
    echo never > /sys/kernel/mm/transparent_hugepage/enabled

    10--安装JDK
    1、查看本机系统是否安装了JDK并卸载
    $ rpm -qa| grep -i java
    如果有安装JDK,卸载
    $ rpm -e –nodeps 已安装rpm包

    2、安装jdk
    (1)将jdk安装包上传到/opt/software
    (2)解压到/opt/module $ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

    3、配置jdk环境变量
    $ vim /etc/profile
    ##JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    export PATH=$PATH:$JAVA_HOME/bin
    $ source /etc/profile --让修改后的文件生效
    $ java -version --测试安装成功与否

    11--克隆3台,修改UUID,IP,hoatname

    12--3台机器SSH免密登录
    ssh-keygen 生成密钥对
    ssh-copy-id hadoop102 把公钥拷贝并添加到目标服务器的authorized-keys文件中


    13--配置时间服务器
    1、检查ntp服务是否正确安装
    $ rpm -qa | grep ntp
    显示如下:(表明正确安装,否则安装一下$ yum -y install ntp)
    ntp-4.2.6p5-10.el6.centos.x86_64
    fontpackages-filesystem-1.41-1.1.el6.noarch
    ntpdate-4.2.6p5-10.el6.centos.x86_64
    2、修改ntp配置文件
    $ vi /etc/ntp.conf
    修改内容如下
    a)修改1 (授权192.168.216.0网段上的所有机器可以从这台机器上查询和同步时间)
    #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
    restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
    b)修改2 (集群在局域网中,不使用其他的网络时间)

    server 0.centos.pool.ntp.org iburst
    server 1.centos.pool.ntp.org iburst
    server 2.centos.pool.ntp.org iburst
    server 3.centos.pool.ntp.org iburst为
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst

    c)添加3 (当该节点丢失网络连接,依然可以作为时间服务器为集群中的其他节点提供时间同步)
    server 127.127.1.0
    fudge 127.127.1.0 stratum 10
    3、修改/etc/sysconfig/ntpd 文件
    $ vim /etc/sysconfig/ntpd
    增加内容如下 SYNC_HWCLOCK=yes
    4、重新启动并设置开机自启ntp服务
    $ service ntpd status systemctl status ntpd.service
    $ service ntpd start/restart systemctl start ntpd.service
    $ chkconfig ntpd on systemctl enable ntpd.service
    5、在其他机器配置10分钟与时间服务器同步一次
    $ crontab -e
    编写脚本
    */10 * * * * /usr/sbin/ntpdate bigdata001
    6、其它机器先手动同步一次时间
    $ ntpdate -u bigdata001

    14--在主节点安装mysql
    centos7安装mysql5.6 https://www.cnblogs.com/lunatic-cto/p/6123490.html
    centos7安装mysql5.7 https://blog.csdn.net/yougoule/article/details/56680952

    15--下载安装包
    文件下载
    Cloudera Manager
        地址:http://archive.cloudera.com/cm5/cm/5/
        这里下载的是5.11.0的版本,https://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.11.0_x86_64.tar.gz

    CDH安装包
    地址:http://archive.cloudera.com/cdh5/parcels

    本文基于CentOS6,下载的parcels包及manifest文件对应的版本为el6,如果centos7,就用el7:
    CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel
    CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1
       manifest.json

    JDBC
    地址:http://download.softagency.net/MySQL/Downloads/Connector-J/
         这里用的jdbc驱动版本是:mysql-connector-java-5.1.17.jar

    16--将下好的cm安装包解压到指定目录
    tar xzvf cloudera-manager*.tar.gz -C /opt

    17--在所有主节点创建用户cloudera-scm
    在所有节点创建cloudera-scm用户
    useradd --system --home=/opt/cm-5.11.0/run/cloudera-scm-server/ --no-create-home
    --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

    18--手动创建目录
    /usr/share/java
    /opt/cloudera/parcel-repo/

    把mysql驱动放入 /usr/share/java 并改名为 mysql-connector-java.jar

    把cdh安装包放入 /opt/cloudera/parcel-repo/
    CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel
    CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1 要改名为CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha
    manifest.json 要手动wget下载为同名文件

    19--初始化数据库
    /opt/cm-5.11.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode5 -uroot
    -p123456 --scm-host node5 scm scm scm

    20--agent配置
    修改/opt/cm-5.9/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

    21--启动CM server和agent
    主节点:通过/opt/cm-5.11.0/etc/init.d/cloudera-scm-server start 启动服务端。
    所有节点:通过/opt/cm-5.11.0/etc/init.d/cloudera-scm-agent start 启动Agent服务。
    我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart

    22--web页面登录访问1
    http://bigdata001:7180

    23--进行图形化安装cdh

  • 相关阅读:
    poj 3744 题解
    hdu 1850 题解
    New World
    CSP2019游记
    LOJ6052 DIV
    CF809E Surprise me!
    Luogu4548 歌唱王国
    Luogu4581 想法
    Note 5.26-5.28
    LOJ6519 魔力环
  • 原文地址:https://www.cnblogs.com/yulu080808/p/8758195.html
Copyright © 2011-2022 走看看