zoukankan      html  css  js  c++  java
  • Cloudera Manager产品介绍

    一、Cloudera Manager简介

    Cloudera Manager(后面简称CM)是CDH(Cloudera’s Distribution Including Apache Hadoop)市场领先的管理平台,对CDH每个部件都提供细粒度的可视化的监控,可以方便地部署,并且集中式的操作完整的大数据软件栈。通过CM可以提供一个集群范围内的节点实时运行状态视图,可以通过中央控制台配置集群,此外,CM通过包含一系列的报道和诊断工具,可以优化集群性能,提升服务质量,提高规范性并降低管理成本。CM主要包括以下的功能:

    • 自动化Hadoop安装过程,大幅缩短部署时间;
    • 提供实时的集群概括,例如节点、服务的运行状况;
    • 提供了集中的中央控制台对集群的配置进行更改;
    • 包含全面的报告和诊断工具,帮助优化性能和利用率。

    二、Cloudera Manager架构图

    Cloudera Manager的整体架构图如上图所示,主要由如下几部分组成:

    • 服务端/Server:Cloudera Manager的核心。主要用于管理web server和应用程序逻辑。它用于安装软件,配置,开始和停止服务,以及管理运行服务的群集。
    • 代理/agent:安装在每台机器上。它负责启动和停止进程,解压缩配置,触发安装和监控主机。
    • 数据库/Database:存储配置和监控信息。在一个或多个数据库服务器中,通常会有多个逻辑数据库运行。例如,Cloudera Manager服务器和监控角色使用不用的逻辑数据库。
    • 管理服务/Management Service:由一系列角色组成的服务,这些角色执行各种监视、警告和报警功能。
    • Cloudera仓库/Cloudera Repository:可供Cloudera Manager分配的软件的存储库;
    • 客户端/Client:用于与Server交互的接口:
      • 管理平台/Admin Console:提供一个管理员管理集群和Cloudera Manager的基于网页的交互界面;
      • API:为开发者提供了创造自定义Cloudera Manager程序的API。

    三、Cloudera Management Service

    Cloudera Management Service 可作为一组角色实施各种管理功能 :

    • Activity Monitor:收集有关 MapReduce 服务运行的活动的信息。默认情况下未添加此角色;
    • Host Monitor:收集有关主机的运行状况和指标信息;
    • Service Monitor:收集有关服务的运行状况和指标信息以及 YARN 和 Impala 服务中的活动信息;
    • Event Server:聚合相关 Hadoop 事件并将其用于警报和搜索;
    • Alert Publisher:为特定类型的事件生成和提供警报;
    • Reports Manager:生成报告,它提供用户、用户组和目录的磁盘使用率的历史视图,用户和 YARN 池的处理活动,以及 HBase 表和命名空间。此角色未在 Cloudera Express 中添加。

    【参考资料】

    [1] Cloudera Enterprise 5.8.x 中文文档.

  • 相关阅读:
    mongodb复制集
    MySQL需要掌握的工具
    MHA 一主两从(传统复制)搭建-脚本VIP-自动切换
    mysqldump+binlog完整恢复被删除的表/数据库
    xtrabackup全备+binlog模拟slave恢复到某一时间点-使用position
    xtrabackup全备+binlog模拟slave恢复到某一时间点-启用GTID
    数据文件物理误误删除整个库目录处理方法
    数据文件物理误删除ibd文件处理方法
    数据文件物理误删除frm文件处理方法
    javascript技巧及常用事件方法集合(全)
  • 原文地址:https://www.cnblogs.com/lemonu/p/9673515.html
Copyright © 2011-2022 走看看