zoukankan      html  css  js  c++  java
  • Cloudera Manager (centos)安装详细介绍

    文章全部来自:Cloudera Manager (centos)安装详细介绍
    http://www.aboutyun.com/thread-9190-1-1.html
    (出处: about云开发)

    这里已经有很多关于CDH的文章,此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。
    问题导读: 1.安装需要做哪些准备? 2.如何安装CM? 3.如何通过CM安装CDH? 4.CM及CDH安装的过程都包含什么?

    相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识

    目 录

    1           准备工作...........................................................................................................................................3 1.1       说明...............................................................................................................................................3 1.2       集群网络环境介绍..........................................................................................................................3 2           环境搭建...........................................................................................................................................5 2.1       设置IP...........................................................................................................................................5 2.2       设置hosts......................................................................................................................................5 2.3       关闭防火墙....................................................................................................................................6 2.4       关闭SElinux....................................................................................................................................8 2.5       设置机器名....................................................................................................................................8 3           ClouderaManager安装................................................................................................................... 11 3.1       下载Cloudera Manager安装文件................................................................................................... 11 3.2       下载Cloudera Manager所需的rpm包............................................................................................ 11 3.3       安装rpm文件............................................................................................................................... 11 3.4       安装CM....................................................................................................................................... 11 3.5       登录CM....................................................................................................................................... 12 4           ClouderaManager配置及本地源配置.............................................................................................. 13 4.1       配置config.ini文件........................................................................................................................ 13 4.2       配置本地源.................................................................................................................................. 14 5           Hadoop及其组件安装......................................................................................................................17 5.1       选择Cloudera版本........................................................................................................................ 17 5.2       选中受管理的主机........................................................................................................................ 17 5.3       选择安装方式(Cloudera推荐使用Parcel)................................................................................... 18 5.4       把Parcel分配到主机..................................................................................................................... 18 5.5       选择服务...................................................................................................................................... 19 5.6       测试数据库连接........................................................................................................................... 20 5.7       等待所有服务启动........................................................................................................................ 20
    6           向集群增加节点............................................................................................................................... 22 6.1       添加主机...................................................................................................................................... 22 6.2       输入IP或主机名........................................................................................................................... 23 6.3       提供SSH登录凭据........................................................................................................................ 24 6.4       安装............................................................................................................................................. 24

    使用Cloudera Manager安装Hadoop

    运行环境软硬件环境l  主机操作系统:Windows 64 bit,双核4线程,主频2.2G,8G内存 l  虚拟软件:VMware®Workstation 9.0.0 build-812388 l  虚拟机操作系统:CentOs 64bit,单核,2G内存 l  JDK:1.7.0_45 64 bit l  Hadoop:2.2.0

    集群网络环境集群包含三个节点:1个namenode,1个datanode,节点之间局域网连接,可以相互ping通。节点IP地址和主机名分布如下: l  192.168.188.141  hadoo1 (namenode)) l  192.168.188.139  hadoo2 (datanode01) l  192.168.188.140  hadoo3 (datanode03) 所有节点均是CentOS系统,防火墙iptables均禁用
    环境搭建 本集群分为三个节点,先安装节点hadoop1(192.168.188.141),完成2.1~2.6步骤后,在步骤2.7中复制虚拟机并命名为hadoop2(192.168.188.139)和hadoop3(192.168.188.140)。
    设置IP1.    点击System-->Preferences-->Network Connections,如下图所示:
    <ignore_js_op>


    2.    删除原来的连接信息,新建一个“”连接,设置该连接为手工方式,设置如下信息:

          IP地址: 10.88.147.221
          子网掩码: 255.255.255.0
          网关:     10.88.147.1
          DNS:    10.*.*.* (使用DNS上网需要设置)
    <ignore_js_op>

    3.    在命令行中查看设置的IP地址信息,如果不能够正确可以在执行2.5重启机器后再次确认:
    <ignore_js_op>



    设置Host文件1.    编辑/etc/hosts文件,设置IP地址与机器名的映射,设置信息如下: l     10.88.147.141 hadoop1.localdomain l    10.88.147.139 hadoop2.localdomain l    10.88.147.140 hadoop2.localdomain
    <ignore_js_op>



    2.    使用如下命令对网络设置进行重启

    sudo /etc/init.d/network restart

    3.    验证设置是否成功 <ignore_js_op>


    关闭防火墙 在Hadoop安装过程中需要关闭防火墙和SElinux,否则会异常
    1.    service iptables status 查看防火墙状态,如下所示表示iptables已经开启 <ignore_js_op>



    2.    使用如下命令关闭iptables,执行该命令后重启机器生效

    chkconfig iptables off

    关闭SElinux1.    使用getenforce命令查看是否关闭
    <ignore_js_op>



    2.    修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled,执行该命令后重启机器生效
    <ignore_js_op>


    设置机器名以root用户登录,使用 vi/etc/sysconfig/network 打开配置文件,修改主机名称为hadoop1

    <ignore_js_op>

    复制虚拟机关闭机器,复制当前节点两份,分别命名为:hadoop2和hadoop3
    SSH无密码验证配置(这一步可省略) 3.    在三个节点中使用ssh-keygen -t rsa生成私钥和公钥;
    <ignore_js_op>



    4.    在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3;
    <ignore_js_op>



    5.    把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中;
    <ignore_js_op>

    <ignore_js_op>



    6.    把三个节点的公钥信息保存到authorized_key文件中
    使用cat authorized_keys_hadoop1 >> authorized_keys命令
    <ignore_js_op>



    7.    把该文件分发到其他两个从节点上 使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去
    <ignore_js_op>


    <ignore_js_op>



    8.    测试ssh免密码登录是否生效
    <ignore_js_op>



    Cloudera Manager安装 下载Cloudera Manager安装文件

    Cloudera Manager的可以从如下网址获得:
    这里选择Cloudera Manager 最新版5.0.1

    下载Cloudera Manager所需的rpm包

    下载网址为:

    安装rpm文件 l 将下载的rpm包放入文件夹rpm(文件夹名随意) l cd  ./rpm(进入rpm目录) l yum localinstall –-nogpgcheck  *.rpm(安装rpm包)
    3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录 l chmod u+x cloudera-manager-installer.bin(给下载的bin文件权限) l 执行 ./cloudera-manager-installer.bin(大约十分钟左右)
    3.5登录CM浏览器输入localhost:7180初次登录 用户名:admin 密码:admin
    <ignore_js_op>


    Cloudera Manager文件配置及本地源配置 配置config.ini文件 修改主机名 修改前为:localhost   修改后为:localhost.localdomain
    <ignore_js_op>



    本地源配置

    Parcel的可以从如下网址获得,下载.parcel文件和manifest.json文件:
    因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
    http://archive.cloudera.com/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
    注意:Parcel文件对应不同的系统版本

    l  把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下 l  新建文件命名为:CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha l  打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号,并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
    以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号,这里是:ec68971d2969a5a31e720a2a79ce7a7c1d38e397

    {
               "parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",
               "components": [
                    {
                       "pkg_version": "0.7.0+cdh5.0.1+0",
                       "pkg_release": "1.cdh5.0.1.p0.30",
                       "name": "bigtop-tomcat",
                       "version": "6.0.37-cdh5.0.1"
                    },
                    {
                       "pkg_version": "0.9.0+cdh5.0.1+23",
                        "pkg_release":"1.cdh5.0.1.p0.25",
                       "name": "crunch",
                       "version": "0.9.0-cdh5.0.1"
                    },
                  .........
                    {
                       "pkg_version": "0.9.0+cdh5.0.1+8",
                       "pkg_release": "1.cdh5.0.1.p0.25",
                       "name": "whirr",
                       "version": "0.9.0-cdh5.0.1"
                    },
                    {
                       "pkg_version": "3.4.5+cdh5.0.1+30",
                        "pkg_release":"1.cdh5.0.1.p0.31",
                       "name": "zookeeper",
                       "version": "3.4.5-cdh5.0.1"
                    }
                ],
               "replaces": "IMPALA, SOLR, SPARK",
                "hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"
            }

    l  现在本地源已配好,总之parcel-repo文件中包含一下三个文件: CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha Manifest.json
    l  重启系统
    Hadoop及其组件安装选择Cloudera版本

    <ignore_js_op>

    选中受管理的主机 <ignore_js_op>



    选择安装方式(Cloudera推荐使用Parcel)
    <ignore_js_op>


    把Parcel分配到主机 <ignore_js_op>



    <ignore_js_op>



    添加服务 <ignore_js_op>


    测试数据库连接 <ignore_js_op>



    等待所有服务开启等待所有服务开启,时间可能会有点长
    <ignore_js_op>


    <ignore_js_op>




    向集群增加节点增加主机
    <ignore_js_op>


    输入IP或主机名 <ignore_js_op>


    <ignore_js_op>


    提供SSH登录凭据
    <ignore_js_op>


    安装 <ignore_js_op>

    33.png (60.04 KB, 下载次数: 1)

    下载附件  保存到相册

    2014-9-16 17:07 上传

     
    注:本资料所有省略界面,直接点击继续即可
  • 相关阅读:
    装饰者模式
    NGUI研究院之三种方式监听NGUI的事件方法(七)
    unity3d连接数据库
    unity3d 连接MSSql
    Unity3D之游戏架构脚本该如何来写
    WCF 部署问题 小总结 (HTTP 不能注册的解决方法)
    Prototype
    web.config文件之自定义错误节
    asp:DropDownList与asp:DataList的联合使用
    剑指offer --合并链表
  • 原文地址:https://www.cnblogs.com/IEBD/p/4487993.html
Copyright © 2011-2022 走看看