zoukankan      html  css  js  c++  java
  • 大数据基础---ClouderaManager和CDH是什么?

    1.CDH概述

    CDH(Cloudra's Distribution Apache Of Hadoop)是Apache Hadoop和相关项目的最完整,经过测试和最流行的发行版。CDH提供Hadoop的核心要素–可扩展的存储和分布式计算–以及基于Web的用户界面和重要的企业功能。CDH是Apache许可的开源软件,并且是唯一提供统一批处理,交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 一句话概括CDH就是集成多种技术的一个框架。

    CDH提供
    • 灵活性-存储任何类型的数据并使用各种不同的计算框架进行处理,包括批处理,交互式SQL,自由文本搜索,机器学习和统计计算。
    • 集成-在可与广泛的硬件和软件解决方案一起使用的完整Hadoop平台上快速启动并运行。
    • 安全性-处理和控制敏感数据。
    • 可扩展性-启用广泛的应用程序并进行扩展,并扩展它们以满足您的要求。
    • 高可用性-自信地执行关键任务业务任务。
    • 兼容性-利用您现有的IT基础架构和投资。
    Hadoop生态构成
    • HDFS:分布式文件系统
      • ZKFC:为实现NameNode高可用,在NameNode和Zookeeper之间传递信息,选举主节点工具。
      • NameNode:存储文件元数据
      • DateNode:存储具体数据
      • JournalNode:同步主NameNode节点数据到从节点NameNode
    • MapReduce:开源的分布式批处理计算框架
    • Spark:分布式基于内存的批处理框架
    • Zookeeper:分布式协调管理
    • Yarn:调度资源管理器
    • HBase:基于HDFS的NoSql列式数据库
    • Hive:将SQL转换为MapReduce进行计算
    • Hue:是CDH的一个UI框架
    • Impala:是Cloudra公司开发的一个查询系统,类似于Hive,可以通过SQL执行任务,但是它不基于MapReduce算法,而是直接执行分布式计算,这样就提高了效率。
    • oozie:是一个工作流调度引擎,负责将多个任务组合在一起按序执行。
    • kudu:Apache Kudu是转为hadoop平台开发的列式存储管理器。和impala结合使用,可以进行增删改查。
    • Sqoop:将hadoop和关系型数据库互相转移的工具。
    • Flume:采集日志
    • 还有一些其它的
    CDH结构图

    2.Cloudra Manager概述

    Cloudra Manager简称CM,它是一个web操作平台,可以借助安装CDH然后安装多种Hadoop框架。

    CloudraManager技术构成

    Clients:客户端,通过web页面和ClouderaManager和服务器进行交互。

    API:通过API和ClouderaManagement和服务器进行交互

    Cloudera Repository:存储分发安装包

    Management Server:进行监控和预警

    Database:存储预警信息和配置信息。

    Agent:分布在多台服务器,负责配置,启动和停止进程。监控主机。

    结构图如下:

    3Al0jP.png

    系列传送门

  • 相关阅读:
    vs2005把Project Templates 制成VSI文件
    Provider Modal
    Pluge模式?反射?后期绑定?
    Widget化时代,个性化信息定制时代(2)
    Yahoo! widget 教程002第一个widget
    PHP 要点记录
    DWZ富客户端框架(jQuery RIA framework)
    DXCore for Visual Studio 简介
    DevExpress產品種類描述
    DevExpress Tools啟動加載問題解決辦法
  • 原文地址:https://www.cnblogs.com/shun7man/p/12326282.html
Copyright © 2011-2022 走看看