zoukankan      html  css  js  c++  java
  • Cloudera Manager (centos)安装详细介绍

    文章全部来自:Cloudera Manager (centos)安装详细介绍
    http://www.aboutyun.com/thread-9190-1-1.html
    (出处: about云开发)

    这里已经有很多关于CDH的文章,此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。
    问题导读: 1.安装需要做哪些准备? 2.如何安装CM? 3.如何通过CM安装CDH? 4.CM及CDH安装的过程都包含什么?

    相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识

    目 录

    1           准备工作...........................................................................................................................................3 1.1       说明...............................................................................................................................................3 1.2       集群网络环境介绍..........................................................................................................................3 2           环境搭建...........................................................................................................................................5 2.1       设置IP...........................................................................................................................................5 2.2       设置hosts......................................................................................................................................5 2.3       关闭防火墙....................................................................................................................................6 2.4       关闭SElinux....................................................................................................................................8 2.5       设置机器名....................................................................................................................................8 3           ClouderaManager安装................................................................................................................... 11 3.1       下载Cloudera Manager安装文件................................................................................................... 11 3.2       下载Cloudera Manager所需的rpm包............................................................................................ 11 3.3       安装rpm文件............................................................................................................................... 11 3.4       安装CM....................................................................................................................................... 11 3.5       登录CM....................................................................................................................................... 12 4           ClouderaManager配置及本地源配置.............................................................................................. 13 4.1       配置config.ini文件........................................................................................................................ 13 4.2       配置本地源.................................................................................................................................. 14 5           Hadoop及其组件安装......................................................................................................................17 5.1       选择Cloudera版本........................................................................................................................ 17 5.2       选中受管理的主机........................................................................................................................ 17 5.3       选择安装方式(Cloudera推荐使用Parcel)................................................................................... 18 5.4       把Parcel分配到主机..................................................................................................................... 18 5.5       选择服务...................................................................................................................................... 19 5.6       测试数据库连接........................................................................................................................... 20 5.7       等待所有服务启动........................................................................................................................ 20
    6           向集群增加节点............................................................................................................................... 22 6.1       添加主机...................................................................................................................................... 22 6.2       输入IP或主机名........................................................................................................................... 23 6.3       提供SSH登录凭据........................................................................................................................ 24 6.4       安装............................................................................................................................................. 24

    使用Cloudera Manager安装Hadoop

    运行环境软硬件环境l  主机操作系统:Windows 64 bit,双核4线程,主频2.2G,8G内存 l  虚拟软件:VMware®Workstation 9.0.0 build-812388 l  虚拟机操作系统:CentOs 64bit,单核,2G内存 l  JDK:1.7.0_45 64 bit l  Hadoop:2.2.0

    集群网络环境集群包含三个节点:1个namenode,1个datanode,节点之间局域网连接,可以相互ping通。节点IP地址和主机名分布如下: l  192.168.188.141  hadoo1 (namenode)) l  192.168.188.139  hadoo2 (datanode01) l  192.168.188.140  hadoo3 (datanode03) 所有节点均是CentOS系统,防火墙iptables均禁用
    环境搭建 本集群分为三个节点,先安装节点hadoop1(192.168.188.141),完成2.1~2.6步骤后,在步骤2.7中复制虚拟机并命名为hadoop2(192.168.188.139)和hadoop3(192.168.188.140)。
    设置IP1.    点击System-->Preferences-->Network Connections,如下图所示:
    <ignore_js_op>


    2.    删除原来的连接信息,新建一个“”连接,设置该连接为手工方式,设置如下信息:

          IP地址: 10.88.147.221
          子网掩码: 255.255.255.0
          网关:     10.88.147.1
          DNS:    10.*.*.* (使用DNS上网需要设置)
    <ignore_js_op>

    3.    在命令行中查看设置的IP地址信息,如果不能够正确可以在执行2.5重启机器后再次确认:
    <ignore_js_op>



    设置Host文件1.    编辑/etc/hosts文件,设置IP地址与机器名的映射,设置信息如下: l     10.88.147.141 hadoop1.localdomain l    10.88.147.139 hadoop2.localdomain l    10.88.147.140 hadoop2.localdomain
    <ignore_js_op>



    2.    使用如下命令对网络设置进行重启

    sudo /etc/init.d/network restart

    3.    验证设置是否成功 <ignore_js_op>


    关闭防火墙 在Hadoop安装过程中需要关闭防火墙和SElinux,否则会异常
    1.    service iptables status 查看防火墙状态,如下所示表示iptables已经开启 <ignore_js_op>



    2.    使用如下命令关闭iptables,执行该命令后重启机器生效

    chkconfig iptables off

    关闭SElinux1.    使用getenforce命令查看是否关闭
    <ignore_js_op>



    2.    修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled,执行该命令后重启机器生效
    <ignore_js_op>


    设置机器名以root用户登录,使用 vi/etc/sysconfig/network 打开配置文件,修改主机名称为hadoop1

    <ignore_js_op>

    复制虚拟机关闭机器,复制当前节点两份,分别命名为:hadoop2和hadoop3
    SSH无密码验证配置(这一步可省略) 3.    在三个节点中使用ssh-keygen -t rsa生成私钥和公钥;
    <ignore_js_op>



    4.    在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3;
    <ignore_js_op>



    5.    把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中;
    <ignore_js_op>

    <ignore_js_op>



    6.    把三个节点的公钥信息保存到authorized_key文件中
    使用cat authorized_keys_hadoop1 >> authorized_keys命令
    <ignore_js_op>



    7.    把该文件分发到其他两个从节点上 使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去
    <ignore_js_op>


    <ignore_js_op>



    8.    测试ssh免密码登录是否生效
    <ignore_js_op>



    Cloudera Manager安装 下载Cloudera Manager安装文件

    Cloudera Manager的可以从如下网址获得:
    这里选择Cloudera Manager 最新版5.0.1

    下载Cloudera Manager所需的rpm包

    下载网址为:

    安装rpm文件 l 将下载的rpm包放入文件夹rpm(文件夹名随意) l cd  ./rpm(进入rpm目录) l yum localinstall –-nogpgcheck  *.rpm(安装rpm包)
    3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录 l chmod u+x cloudera-manager-installer.bin(给下载的bin文件权限) l 执行 ./cloudera-manager-installer.bin(大约十分钟左右)
    3.5登录CM浏览器输入localhost:7180初次登录 用户名:admin 密码:admin
    <ignore_js_op>


    Cloudera Manager文件配置及本地源配置 配置config.ini文件 修改主机名 修改前为:localhost   修改后为:localhost.localdomain
    <ignore_js_op>



    本地源配置

    Parcel的可以从如下网址获得,下载.parcel文件和manifest.json文件:
    因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
    http://archive.cloudera.com/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
    注意:Parcel文件对应不同的系统版本

    l  把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下 l  新建文件命名为:CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha l  打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号,并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
    以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号,这里是:ec68971d2969a5a31e720a2a79ce7a7c1d38e397

    {
               "parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",
               "components": [
                    {
                       "pkg_version": "0.7.0+cdh5.0.1+0",
                       "pkg_release": "1.cdh5.0.1.p0.30",
                       "name": "bigtop-tomcat",
                       "version": "6.0.37-cdh5.0.1"
                    },
                    {
                       "pkg_version": "0.9.0+cdh5.0.1+23",
                        "pkg_release":"1.cdh5.0.1.p0.25",
                       "name": "crunch",
                       "version": "0.9.0-cdh5.0.1"
                    },
                  .........
                    {
                       "pkg_version": "0.9.0+cdh5.0.1+8",
                       "pkg_release": "1.cdh5.0.1.p0.25",
                       "name": "whirr",
                       "version": "0.9.0-cdh5.0.1"
                    },
                    {
                       "pkg_version": "3.4.5+cdh5.0.1+30",
                        "pkg_release":"1.cdh5.0.1.p0.31",
                       "name": "zookeeper",
                       "version": "3.4.5-cdh5.0.1"
                    }
                ],
               "replaces": "IMPALA, SOLR, SPARK",
                "hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"
            }

    l  现在本地源已配好,总之parcel-repo文件中包含一下三个文件: CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha Manifest.json
    l  重启系统
    Hadoop及其组件安装选择Cloudera版本

    <ignore_js_op>

    选中受管理的主机 <ignore_js_op>



    选择安装方式(Cloudera推荐使用Parcel)
    <ignore_js_op>


    把Parcel分配到主机 <ignore_js_op>



    <ignore_js_op>



    添加服务 <ignore_js_op>


    测试数据库连接 <ignore_js_op>



    等待所有服务开启等待所有服务开启,时间可能会有点长
    <ignore_js_op>


    <ignore_js_op>




    向集群增加节点增加主机
    <ignore_js_op>


    输入IP或主机名 <ignore_js_op>


    <ignore_js_op>


    提供SSH登录凭据
    <ignore_js_op>


    安装 <ignore_js_op>

    33.png (60.04 KB, 下载次数: 1)

    下载附件  保存到相册

    2014-9-16 17:07 上传

     
    注:本资料所有省略界面,直接点击继续即可
  • 相关阅读:
    java基础部分的一些有意思的东西。
    antdvue按需加载插件babelpluginimport报错
    阿超的烦恼 javaScript篇
    .NET E F(Entity Framework)框架 DataBase First 和 Code First 简单用法。
    JQuery获得input ID相同但是type不同的方法
    gridview的删除,修改,数据绑定处理
    jgGrid数据格式
    Cannot read configuration file due to insufficient permissions
    Invoke action which type of result is JsonResult on controller from view using Ajax or geJSon
    Entity model数据库连接
  • 原文地址:https://www.cnblogs.com/IEBD/p/4487993.html
Copyright © 2011-2022 走看看