zoukankan      html  css  js  c++  java
  • 什么是Apache Hadoop?

    Apache™Hadoop®项目为可靠的,可扩展的分布式计算开发开源软件。

    Apache Hadoop软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性,而是设计用于在应用层检测和处理故障,从而在一组计算机之上提供高可用性服务,每个计算机都可能出现故障。

    该项目包括这些模块:

    • Hadoop Common:支持其他Hadoop模块的常用工具。
    • Hadoop分布式文件系统(HDFS™):一种分布式文件系统,可提供对应用程序数据的高吞吐量访问。
    • Hadoop YARN:作业调度和集群资源管理的框架。
    • Hadoop MapReduce:一种用于并行处理大型数据集的基于YARN的系统。

    Apache的其他Hadoop相关项目包括:

    • Ambari™:一种用于供应,管理和监控Apache Hadoop集群的基于Web的工具,其中包括对Hadoop HDFS,Hadoop MapReduce,Hive,HCatalog,HBase,ZooKeeper,Oozie,Pig和Sqoop的支持。Ambari还提供了一个用于查看群集运行状况的仪表板,例如热图和可以直观地查看MapReduce,Pig和Hive应用程序的功能,以及以用户友好的方式诊断其性能特征的功能。
    • Avro™:数据序列化系统。
    • Cassandra™:无单点故障的可扩展多主数据库。
    • Chukwa™:管理大型分布式系统的数据收集系统。
    • HBase™:可扩展的分布式数据库,支持大型表格的结构化数据存储。
    • Hive™:提供数据汇总和即席查询的数据仓库基础架构。
    • Mahout™:可扩展的机器学习和数据挖掘库。
    • Pig™:用于并行计算的高级数据流语言和执行框架。
    • Spark™:用于Hadoop数据的快速和通用计算引擎。Spark提供了一个简单而富有表现力的编程模型,它支持广泛的应用程序,包括ETL,机器学习,流处理和图计算。
    • Tez™:一种基于Hadoop YARN的通用数据流编程框架,它提供了一个强大且灵活的引擎,可执行任意DAG任务来处理批处理和交互式用例的数据。Hado™,Pig™和Hadoop生态系统中的其他框架以及其他商业软件(例如ETL工具)正在采用Tez来替代Hadoop™MapReduce作为底层执行引擎。
    • ZooKeeper™:分布式应用程序的高性能协调服务。
  • 相关阅读:
    png 图片的缩放
    数据结构>图的最短路径
    2007年7月25日在博客园的排名上升到前400名
    C# 汉字转拼音(全拼)
    修改 Linux 主机名
    C# 事件的继承
    一个实现了 IDisposable 接口的基类
    Windows 防火墙上也有端口映射功能
    网上邻居不能访问的问题
    令网站提速的7大秘方
  • 原文地址:https://www.cnblogs.com/anatman/p/8650613.html
Copyright © 2011-2022 走看看