Apache Hadoop 发展史

以下内容从Apache Hadoop官网翻译出来

官网地址

http://hadoop.apache.org/

什么是Apache Hadoop？ 推荐使用 2.7.1 、2.7.3

Apache™Hadoop®项目为可靠的，可扩展的分布式计算开发开源软件。

Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于在应用层检测和处理故障，从而在一组计算机之上提供高可用性服务，每个计算机都可能出现故障。

该项目包括这些模块：

• Hadoop Common：支持其他Hadoop模块的常用工具。
• Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。
• Hadoop YARN：作业调度和集群资源管理的框架。
• Hadoop MapReduce：一种用于并行处理大型数据集的基于YARN的系统。

Apache的其他Hadoop相关项目包括：

• Ambari™：一种用于供应，管理和监控Apache Hadoop集群的基于Web的工具，其中包括对Hadoop HDFS，Hadoop MapReduce，Hive，HCatalog，HBase，ZooKeeper，Oozie，Pig和Sqoop的支持。Ambari还提供了一个用于查看群集运行状况的仪表板，例如热图和可以直观地查看MapReduce，Pig和Hive应用程序的功能，以及以用户友好的方式诊断其性能特征的功能。
• Avro™：数据序列化系统。
• Cassandra™：无单点故障的可扩展多主数据库。
• Chukwa™：管理大型分布式系统的数据收集系统。
• HBase™：可扩展的分布式数据库，支持大型表格的结构化数据存储。
• Hive™：提供数据汇总和即席查询的数据仓库基础架构。
• Mahout™：可扩展的机器学习和数据挖掘库。
• Pig™：用于并行计算的高级数据流语言和执行框架。
• Spark™：用于Hadoop数据的快速和通用计算引擎。Spark提供了一个简单而富有表现力的编程模型，它支持广泛的应用程序，包括ETL，机器学习，流处理和图计算。
• Tez™：一种基于Hadoop YARN的通用数据流编程框架，它提供了一个强大且灵活的引擎，可执行任意DAG任务来处理批处理和交互式用例的数据。Hado™，Pig™和Hadoop生态系统中的其他框架以及其他商业软件（例如ETL工具）正在采用Tez来替代Hadoop™MapReduce作为底层执行引擎。
• ZooKeeper™：分布式应用程序的高性能协调服务

Hadoop的发展史

Alpha：是内部测试版,一般不向外部发布,会有很多Bug.一般只有测试人员使用。

Beta：也是测试版，这个阶段的版本会一直加入新的功能。在Alpha版之后推出。

RC：(Release　Candidate) 顾名思义么 ! 用在软件上就是候选版本。系统平台上就是发行候选版本。RC版不会再加入新的功能了，主要着重于除错。

GA:General Availability,正式发布的版本，在国外都是用GA来说明release版本的。

2017年12月14日：Release 2.7.5 available

这是Apache Hadoop 2.7产品线的下一个版本。

请参阅 Hadoop 2.7.5发行说明，了解自上一版本2.7.4以来的34个错误修复和优化列表。

2017年12月13日：Release 3.0.0 generally available

在四个alpha版本和一个beta版本发布之后，通常可以使用3.0.0。3.0.0包含自3.0.0-beta1以来的302个错误修复，改进和其他增强功能。总而言之，自2.7.0以来，已有6242个问题作为3.0.0发布系列的一部分进行了修复。

 

2017年12月12日：Release 2.8.3 available

这是Apache Hadoop 2.8发行版的下一个版本。自2.8.2以来，它包含79个错误修复，改进和其他增强功能。有关Apache Hadoop 2.8的主要功能和改进，请参阅： 主要更改的概述。有关自上一版2.8.2以来的79个修复，改进和其他增强功能的详细信息，

2017年11月17日：Release 2.9.0 available GA版本

这是2.9版本发布的第一个GA版本。它包含30个新功能，包含500多个子任务，407个改进，790个错误修复了自2.8.2以来新增的固定问题。有关Apache Hadoop 2.8.2的主要功能和改进，请参阅：主要更改的概述。有关自上一版2.8.2以来的790个错误修复，改进和其他增强功能的详细信息，请检查： 发行说明和 更改日志

请注意：尽管此版本已在相当大的群集上进行过测试，但生产用户可以等待后续的版本发布，其中包含进一步稳定和下游采用的修复。

 

2017年10月24日：Release 2.8.2 available GA版本

这是2.8版本发布的第一个GA版本。它包含自2.8.1以来的315个错误修复，改进和其他增强功能。有关Apache Hadoop 2.8的主要功能和改进，请参阅： 主要更改的概述。有关自上一个2.8.1发行版以来的315个修订，改进和其他增强的详细信息，请检查： 发行说明和更新 日志

 

2017年10月3日：Release 3.0.0-beta1 available

这是3.0.0发行版中的第一个测试版。它由自3.0.0-alpha4以来的576个错误修复，改进和其他增强组成。这是计划成为最终的alpha版本，下一个版本是3.0.0 GA。

请注意，beta版本API稳定，但没有质量保证，不适用于生产用途。

鼓励用户阅读3.0.0中的重大更改概述。beta1 发行说明和更新日志详细介绍了自3.0.0-alpha4以来的更改。

 

2017年8月4日：Release 2.7.4 available

这是Apache Hadoop 2.7产品线的下一个版本。

请参阅 Hadoop 2.7.4发行说明，了解自上一版本2.7.3以来的264个错误修复和优化列表。

2017年7月7日：Release 3.0.0-alpha4 available

这是3.0.0发行版中的第四个alpha版本。它包含自3.0.0-alpha3以来的814个错误修复，改进和其他增强功能。这是计划成为最终的alpha版本，下一个版本是3.0.0-beta1。

请注意，alpha版本不具有质量或API稳定性的保证，并且不适用于生产用途。

鼓励用户阅读3.0.0中的重大更改概述。alpha4 发布说明和更新日志详细介绍了自3.0.0-alpha3以来的更改。

2017年6月8日：Release 2.8.1 available

这是2.8.0发行版中的安全发布版。它包含2.8.0以上的安全修复程序。鼓励2.8.0用户升级到2.8.1。

请注意，2.8.x发行版仍未准备好用于生产。关键问题正在通过测试和下游采用来解决。生产用户应该等待2.8.x版本的后续版本。

 

2017年5月26日：Release 3.0.0-alpha3 available

这是3.0.0发行版中的安全发行版。它由alpha2 plus安全修补程序以及必要的与生成相关的修补程序组成。鼓励3.0.0-alpha1和3.0.0-alpha2上的用户升级到3.0.0-alpha3。

请注意，alpha版本不具有质量或API稳定性的保证，并且不适用于生产用途。

鼓励用户阅读3.0.0中的重大更改概述。alpha3 发布说明和更新日志详细介绍了自3.0.0-alpha2以来的更改。

 

2017年3月22日：Release 2.8.0 available

Apache Hadoop 2.8.0包含许多重要的功能和增强功能。有关主要功能和改进，请参阅： 2.8.0中的重大更改概述。有关自上一个2.7.0发布以来的2917次修复，改进和新功能的详细信息，请检查： 发行说明和更新 日志

请注意，此版本还没有准备好供生产使用。关键问题正在通过测试和下游采用来解决。生产用户应该等待2.8.1 / 2.8.2版本。

 

2017年1月25日：Release 3.0.0-alpha2 available

这是一系列计划的alpha和beta中的第二个alpha，导致3.0.0 GA版本。其目的是“尽早发布，经常发布”，以快速反复收集下游用户的反馈意见。

请注意，alpha版本不具有质量或API稳定性的保证，并且不适用于生产用途。

鼓励用户阅读3.0.0中的重大更改概述。自上一个3.0.0-alpha1发布以来，alpha2 发行说明和更新日志详细信息857修复，改进和新功能。

 

2016年10月08日：Release 2.6.5 available

2.6版本的发行版。

请参阅 Hadoop 2.6.5发行说明中的79个关键错误修复列表以及自2.6.4之前的版本。

2016年9月3日：Release 3.0.0-alpha1 available

这是一系列计划的alpha和beta中的第一个alpha，它们导致3.0.0 GA发布。其目的是“尽早发布，经常发布”，以快速反复收集下游用户的反馈意见。

请注意，alpha版本不具有质量或API稳定性的保证，并且不适用于生产用途。

鼓励用户阅读3.0.0中的重大更改概述。该全套发行说明和更新日志自上次次要版本2.7.0所有细节的变化。

2016年8月25日：Release 2.7.3 available

A point release for the 2.7 line

请参阅 Hadoop 2.7.3发行说明，查看自早期版本2.7.2以来的221个错误修复和修补程序列表。

 

2016年2月11日：

2016: Release 2.6.4 available

2.6版本的发行版。

请参阅 Hadoop 2.6.4发行说明中的46个关键错误修复列表以及2.6.3以前的版本。

2016年1月25日：Release 2.7.2 (stable) available  版本2.7.2（稳定）可用

请参阅 Hadoop 2.7.2发行说明，了解自上一版本2.7.1以来的155个错误修复和修补程序的列表。

 

2015年12月17日：Release 2.6.3 available

2.6版本的发行版。

请参阅 Hadoop 2.6.3发行说明中的35个关键错误修复列表以及自2.6.2之前的版本。

2015年10月28日：版本2.6.2可用

2.6版本的发行版。

请参阅 Hadoop 2.6.2发行说明中的15个关键错误修复列表以及自上一版本2.6.1以来的列表。

 

2015年9月23日：版本2.6.1可用

2.6版本的发行版。

请参阅 Hadoop 2.6.1发行说明中的158个关键错误修复列表以及自2.6.0之前的版本。

2015年7月6日：Release 2.7.1 (stable) available 版本2.7.1（稳定）可用

这个版本现在被认为是稳定的。

请参阅 Hadoop 2.7.1发行说明，了解自上一版本2.7.0以来的131个错误修复和修补程序的列表。请参阅下面的2.7.0部分，了解第一个稳定版本2.7.x所支持的增强功能列表。

 

2015年4月21日：版本2.7.0可用

Apache Hadoop 2.7.0包含许多重要的增强功能。其中一些在下面提到。

• 重要笔记
  • 此版本不再支持JDK6运行时，仅适用于JDK 7+。
  • 此版本尚未准备好用于生产。关键问题正在通过测试和下游采用来解决。生产用户应该等待2.7.1 / 2.7.2版本。
• Hadoop通用
  • 支持Windows Azure存储 - Blob作为Hadoop中的文件系统。
• Hadoop HDFS
  • 支持文件截断 
  • 支持每种存储类型的配额
  • 支持具有可变长度块的文件
• Hadoop YARN
  • 使YARN授权可插入
  • YARN本地化资源的自动共享全局缓存（测试版）
• Hadoop MapReduce
  • 能够限制正在运行的Map / Reduce任务
  • 加快FileOutputCommitter以处理包含许多输出文件的非常大的作业。

有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

2014年11月18日：2.6.0版本发售

Apache Hadoop 2.6.0包含许多重要的增强功能，例如：

• Hadoop通用
  • 密钥管理服务器（测试版）
  • 凭据提供者（测试版）
• Hadoop HDFS
  • 异构存储层 - 阶段2
    • 用于异构存储的应用程序API
    • SSD存储层
    • 内存作为存储层（测试版）
  • 支持档案存储
  • 静态加密透明数据（测试版）
  • 操作安全的DataNode而无需root访问权限
  • 热插拔驱动器：支持添加/删除数据节点卷，无需重新启动数据节点（测试版）
  • AES支持更快的线路加密
• Hadoop YARN
  • 支持YARN长时间运行的服务
    • 应用程序的服务注册
  • 支持滚动升级
    • ResourceManager的工作保持重启
    • NodeManager的容器保留重启
  • 在调度期间支持节点标签
  • 支持Capacity Scheduler（测试版）中基于时间的资源预留
  • 应用程序工件的全局共享缓存（测试版）
  • 支持在Docker容器中本地运行应用程序（alpha）

有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

 

2014年11月19日：版本2.5.2可用

有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

 

2014年9月12日：发布2.5.1可用

有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

 

2014年8月11日：发布2.5.0可用

有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

 

2014年6月30日：版本2.4.1可用

有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

 

2014年6月27日：发布0.23.11可用

有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

 

2014年4月7日：发布2.4.0可用

有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

2014年2月20日：发布2.3.0可用

有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

 

2013年12月11日：发布0.23.10可用

有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

2013年10月15日：发布2.2.0可用

Apache Hadoop 2.x达到了GA里程碑！有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

2013年8月25日：发布2.1.0-beta版本

Apache Hadoop 2.x达到beta里程碑！有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

2011年12月27日：发布1.0.0可用

Hadoop达到1.0.0！有关此里程碑版本的完整信息，请参阅 Hadoop发行版。

2011年3月 - Apache Hadoop荣获Media Guardian创新奖最高奖

由评审团称之为“21世纪的瑞士军刀”，Apache Hadoop 因具有改变媒体创新面貌的潜力而获得年度创新奖。

请参阅 卫报网站

2011年1月 - ZooKeeper

Hadoop的ZooKeeper子项目已经逐渐成为顶级Apache项目。

Apache ZooKeeper现在可以在http://zookeeper.apache.org/找到。

2010年9月 - Hive pig项目

Hadoop的Hive和Pig子项目已经开发完成，成为顶级Apache项目。

Apache Hive现在可以在http://hive.apache.org/找到。

猪现在可以在http://pig.apache.org/找到

2010年5月 - Avro和HBase 项目

Hadoop的Avro和HBase子项目开发完成，成为顶级Apache项目。

Apache Avro现在可以在http://avro.apache.org/找到。

Apache HBase现在可以在http://hbase.apache.org/找到。

2009年7月 - 新的Hadoop子项目

Hadoop越来越大！

• Hadoop Core被重命名为Hadoop Common。
• MapReduce和Hadoop分布式文件系统（HDFS）现在是独立的子项目。
• Avro和Chukwa是新的Hadoop子项目。