zoukankan      html  css  js  c++  java
  • Cloudera Manager and CDH安装及配置

    Cloudera Manager需求:

    磁盘空间,最小满足:

    ------------系统/var分区下有5GB

    ------------系统/usr分区有500MB

    ------------系统/opt下面最好多配置点

    多数情况下RAM 4GB是比较合适的,如果装了Oracle数据库,就是必须的了。没有Oracle数据库且节点在100个以下的,也是足够的。

    通常说来,不推荐使用虚拟机和安装了双系统的主机,这种情况通常导致内存/硬盘不足,导致主机出现状态不良。

    1、删除各个主机上自带的JDK

      查找安装的JDK命令

    rpm -qa |grep gcj
    rpm -qa |grep jdk
    rpm -qa |grep java

    删除安装的JDK相关的命令,例如:

    yum -y remove jdk-1.6.0_31-fcs.x86_64

    2、配置各个主机上的/etc/hosts

    192.168.1.101   mater
    192.168.1.102   slave1
    192.168.1.103   slave2

    注意:还要在每个主机上配置好主机 ip localhost 这一项

    3、设置或者关闭防火墙

    设置:如果考虑主机的安全性,仅允许Cloudera Manager 使用的自由端口、SSH 22端口等重要的端口通过。

    Coudera Manager及CDH的自由端口如下所示:

    -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT
    # free ports for Kerberos
    -A INPUT -m state --state NEW -m tcp -p tcp --dport 88 -j ACCEPT
    -A INPUT -m state --state NEW -m udp -p udp --dport 88 -j ACCEPT

    # free ports
    for CDH4 -A INPUT -m state --state NEW -m tcp -p tcp --dport 50010 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 1004 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50075 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 1006 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50020 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8020 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50070 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50470 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50090 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50495 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8021 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50030 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 9290 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 50060 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 0 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8032 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8030 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8031 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8033 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8088 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8040 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8042 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8041 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 10020 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 19888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 60000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 60010 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 60020 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 60030 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 9090 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 9083 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 10000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 16000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 3181 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 4181 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8019 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8002 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 8003 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 11000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 11001 -j ACCEPT # free ports for CM4 -A INPUT -m state --state NEW -m tcp -p tcp --dport 7180 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 7183 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 7182 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 7432 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 9000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 9001 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 21000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 25000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 25010 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 24000 -j ACCEPT

    一般是将其加入到iptables中,当然也可以选择关闭。

    关闭防火墙:

    在root下执行下面命令,可以临时关闭防火墙

    service iptables stop

    在root下执行下面命令,可以永久关闭防火墙(即,每次开机都会关闭),但需要重启生效。

    chkconfig iptables off

    4、关闭SELinux:

    $ setenforce 0

    如果需要永久关闭,编辑/etc/selinux/config ,设置SELINUX=disabled
    ,然后完成安装。如未关闭,则会出现如下错误:

    如果安装过程中,由于某种原因中断,再次安装的时候需要进行清理。

    清理步骤请参考:使用Parcles安装后卸载Cloudera Manager Free Edition

    4、更改Cloudera-manager-installer.bin权限,使其可执行

    $ chmod u+x cloudera-manager-installer.bin
    $  ./cloudera-manager-installer.bin

    接着,接受许可协议,按Enter和Next,

    安装界面如下所示:

    等待安装完成即可,由于下载的文件较大,网络不好的情况下会出现静止很久的情况,所以要耐心等待。如果一直停留在20%、40%、70%,过来好久都没有变化,这时候需要用Ctrl+C中断安装,执行清理后,重新执行安装命令。

    二、启动 Cloudera Manager Admin 控制台

     通过Cloudera Manager Admin控制台,可以配置、管理、监控集群上的Hadoop,WEB端的URL地址是:http://myhost.example.com:7180,myhost.example.com是你安装Cloudera-Manager-installer.bin的主机域名,当然用IP也是可以的。例如我的WEB端URL地址就是:http://192.168.1.101:7180 。

    通常Cloudera Manager Admin控制台启动不起来有以下可能:

    service cloudera-scm-server-db 是否启动

    service cloudera-scm-server 是否启动

    service httpd 是否启动

    3、使用Cloudera Manager自动安装CDH和配置

      注意:扫描IP主机找不到,通常是由于防火墙或者是SELinux的问题

    安装可以联网安装,可以创建自己的yum库,然后通过该yum库来安装。

    本地yum库的搭建,请参考:

     选择从parcel安装,分布式的解压的默认存储在/opt/cloudera/下面。
     
    图1-1
     
    图1-2
     
     
    图2:
     
    图3(暂时没有,主机验证阶段):
     
    图4:
     
    图5:
     
    图6:
     
    图7:

     

  • 相关阅读:
    SharePoint添加列表
    js求和
    经典.net面试题目
    sharepoint常见操作
    添加webpart时出现“此网页上的某个Web部件或Web表单控件无法显示或导入。该类型未注册为安全类型 。”
    关于js中"window.location.href"、"location.href"、"parent.location.href"、"top.location.href"的用法
    RegisterStartupScript,RegisterClientScriptBlock,Response.Write 简单说明区别
    jquery中的ready函数与window.onload谁先执行
    TreeView的TreeNode点击展示展开和收缩的效果
    如何让 TreeView 的节点不要生成 超级 链接
  • 原文地址:https://www.cnblogs.com/shudonghe/p/3121490.html
Copyright © 2011-2022 走看看