zoukankan      html  css  js  c++  java
  • CentOS 6.5 下 CDH 5.2.1 集群安装(一)

    集群节点数量3 个

    192.168.1.170 cdh-master

    192.168.1.171 cdh-slave-1

    192.168.1.171 cdh-slave-2

    一、安装CentOS6.5 (64位)并搭建基本环境,包括:

    (1)添加sudo 权限

    (2)修改主机名、网关、静态IP地址、DNS

    (3)关闭SELINUX、防火墙

     可参考文章

    (4)修改系统时区、配置ntp服务(首先可选宿主机器配置ntp server,参考文章

    二、克隆为三台机器,分别修改静态IP 地址、MAC、主机名、hosts文件:

    主机名、网关修改 /etc/sysconfig/network文件

    MAC 修改 /etc/udev/rules.d/70-persistent-net.rules

    IP地址是修改 /etc/sysconfig/network-scripts/ifcfg-eth0

    host 文件修改 /etc/hosts 需要添加集群内所有的主机名和ip的对应关系,而且主机名的名称要和真实的主机名(/etc/sysconfig/network)完全一致

    三、下载clouder-manger的安装包及parcel文件:

    cm 文件下载地址

    cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

    cloudera-manager-server-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

    cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

    jdk-6u31-linux-amd64.rpm

    oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

    parcel 下载地址

    CDH-5.2.1-1.cdh5.2.1.p0.12-el6.parcel

    四、在master 节点安装daemons、server、agent(先装daemons)

    yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

    yum --nogpgcheck localinstall cloudera-manager-server-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

    yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm:agent安装需要联网)

    五、在slave-1、slave-2节点安装daemons、agent(先装daemons)

    yum --nogpgcheck localinstall cloudera-manager-daemons-5.2.1-1.cm521.p0.109.el6.x86_64.rpm

    yum --nogpgcheck localinstall cloudera-manager-agent-5.2.1-1.cm521.p0.109.el6.x86_64.rpm(注:agent安装需要联网)

    六、在master、slave-1、slave-2 节点安装JDK、oraclejdk

    rpm -ivh jdk-6u31-linux-amd64.rpm

    七、在master节点安装mysql 数据库,并配置cdh需要的数据库选项

    yum install mysql-server mysql mysql-deve (注:需要联网)

    chkconfig mysqld on

    service mysqld start

    mysql –u root

    use mysql

    update user set password=password('1234') where user='root'

    update user set password=password('1234') where host='localhost'

    update user set password=password('1234') where host='cdh-mater'

    service mysqld restart

    mysql -u root -p1234

    create database cloudera

    八、在master节点配置cloudera manager 数据库并启动cm的server及agent程序

    1.拷贝mysql-connector-java-5.1.7-bin.jar 到 /usr/share/java 下并重命名mysql-connector-java.jar

    2.运行 /usr/share/cmf/schema/scm_prepare_database.sh -h cdh-master mysql cloudera root 1234

    3.启动cm server :service cloudera-scm-server start

    4.添加cm server服务 :chkconfig cloudera-scm-server on

    5.启动cm agent :chkconfig cloudera-scm-agent on

    6.添加cm agent服务 :service cloudera-scm-server start

    、修改所有节点的agent 配置文件

    /etc/cloudera-scm-agent/config.ini 将配置文件中的host 改成 cdh-master

    十、在slave节点配置cloudera manager  agent程序

    1.启动cm agent :chkconfig cloudera-scm-agent on

    2.添加cm agent服务 :service cloudera-scm-server start

    十一、测试agent和server是否通信成功

       service cloudera-scm-server status

       service cloudera-scm-agent status

       netstat –anp | grep 7182

      # server 端开启的是7182端口,用于和agent进行通讯

       启动失败时可以查看日志

       server 日志 /var/log/cloudera-scm-server

       agent 日志 /var/log/cloudera-scm-agent

    十二、将下载的parcel文件及官方网站上获取对应版本的 sha 文件和 manifest.json文件上传至/opt/cloudera/parcel-repo目录下。

    十三、启动浏览器,开始集群web安装配置

  • 相关阅读:
    Nginx 跨域配置支持
    数据结构与算法分析
    数据结构与算法分析
    数据结构与算法分析
    Bash shell
    Bash shell
    HHUOJ 1040
    HHUOJ 1114
    HDUOJ 1171
    HDUOJ 1428
  • 原文地址:https://www.cnblogs.com/oftenlin/p/4217670.html
Copyright © 2011-2022 走看看