zoukankan      html  css  js  c++  java
  • cloudera learning1:cloudera简介及安装

    cloudera分为两个部分:CDH和CM。CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。CM是cloudera manager的简称,是CDH的管理平台,主要包括CM server, CM agent。通过CM可以对CDH进行配置,监测,报警,log查看,动态添加删除各种服务等。

    cloudera有两种可安装版本:

    cloudera express(免费版):包含CDH和CM,CM支持端到端Hadoop admin以及部署,管理和监控cluster。

    cloudera Enterprise (企业版) : 企业版又分为两种,一种为六十天免费试用版,试用期结束后如果没有license,自动降为express版本。另一种即为需要license的付费版。企业版除了包括express版的所有功能外,还额外包含Configuration历史记录及回退,滚动升级,LDAP集成,SNMP支持, disaster自动恢复等功能。

    cloudera的安装,主要指CM的安装,在CM安装启动成功后,就可以通过CM server提供的界面,非常简单的安装CDH的各种组件了。

    CM server安装在集群的外部,主要用于run service monitor,存储cluster配置信息,向agent分发各种配置命令和消息。

    CM agent安装在cluster的每一台机器上,主要用于接收CM server的指令update本机,启动和停止本机的各种服务以及heartbeat status收集并发送给server。

    CM的安装主要分为4个步骤:

    1.在CM server打算安装的机器预先安装mysql作为database,也可以使用CM自带的PostgreSQL。安装cloudera提供的JDK,采用一般的JDK可能会有路径找不到的问题。

    2.确保server能access cloudera software repositories.

    3.安装Cloudera Manager server和Agent.

    4.安装CDH Parcel提供的services:HDFS,YARN... 

    CM 5支持的OS种类及版本:

    • Red Hat Enterprise Linux/Centos 5.7, 6.4, 6.5, 6.6
    • Oracle Enterprise Linux 5.6, 6.4, 6.5, 6.6
    • SUSE Linux Enterprise Server 11 Service Pack 2 or later
    • Debian 7.0, 7.1
    • Ubuntu 12.04, 14.04 

    CM 5需要的基本library:

    Supported JDKs
    Oracle JDK 1.7.0_55, 1.7.0_67 or higher, 1.8.0_40 or higher

    Supported databases:

    • MySQL 5.5 and 5.6
    • Oracle 11g Release 2
    • PostgreSQL 8.4, 9.2, and 9.3 

    cloudera manager有三种安装方式:

    1.下载cloudera manager一键安装工具自动安装。这种方式比较适用于PoC。

    2.通过cloudera manager packages或parcels手动进行安装。

    3.通过cloudera manager tarball进行安装。

    企业的产线环境,很可能是不能访问Internet的.通过把CDH package或parcel下载下来放到本地repository,配置cloudera manager使用本地repository进行安装。

    安装包下载地址:

    Package distribution:http://archive.cloudera.com/cm5/ 

    Binary distribution:http://www.cloudera.com/downloads 

    在安装了CM和CDH时,cloudera会默认创建以下一些账户来保证系统安全:

    CM server创建cloudera-scm 帐户:在群集上创建和部署主机主体和 Keytab。

    hdfs账户:运行NameNode、DataNode 和辅助节点。

    mapred账户:运行JobTracker 和 TaskTrackers (MR1) 以及 Job History Server (YARN)。

    yarn账户:运行ResourceManager 和 NodeManager (YARN)。

    oozie:运行Oozie Server。

    hue账户:运行Hue Server、Beeswax Server、Authorization Manager 和 Job Designer。

  • 相关阅读:
    树莓派4B-安装docker
    树莓派4B-挂载硬盘
    树莓派4B-修改软件源
    树莓派4B-初始化网络-静态ip
    树莓派4B-下载系统
    爬虫之路: 字体反扒升级版
    annotations导入报错
    [转]微信小程序全局分享转发控制实现——从此无需页面单独配置
    ollydbg 条件断点语法格式
    c++ CreateThread传递char*参数乱码解决办法
  • 原文地址:https://www.cnblogs.com/zhq1007/p/5914830.html
Copyright © 2011-2022 走看看