Hadoop介绍

Hadoop是什么？

1. Hadoop是由Apache基金会所开发的分布式系统基础架构
2. 主要解决，海量数据的存储和海量数据的分析计算问题
3. 广义上来说，Hadoop通常是指一个更广泛的概念—-Hadoop生态圈

Hadoop发展历史

1. Lucene框架是Doug Cutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎

2. 2001年底Lucene成为Apache基金会的一个子项目

3. 对于海量数据的场景，Lucene面对与Google同样的困难，存储数据困难，检索速度慢

4. 学习和模仿Google解决这些问题的办法：微型版Nutch

5. 可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文）

   1. GFS → HDFS
   2. Map-Reduce → MR
   3. BigTable → HBase

6. 2003年到2004年，Google公开了部分GFS和MapReduce的思想细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升

7. 2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会

8. 2006年3月份，Map-Reduce和Nutch Distributed File System（NDFS）分别被纳入称为Hadoop的项目中

9. 名字来源于Doug cutting儿子的玩具大象

10. Hadoop就此诞生并迅速发展，标志着大数据时代来临

---

Hadoop三大发行版本

Apache hadoop 版本最原始（最基础）的版本，对入门学习最好

Cloudera 在大型公司的企业中用的较多

Hortonworks 文档较好

cloudera hadoop

2008年成立的cloudera是最早将hadoop商用的公司，为合作伙伴提供hadoop的商用解决方案，主要包括支持、咨询服务、培训

2009年，hadoop创始人Doug cutting也加盟cloudera公司。Cloudera公司的主要产品是CDH，Cloudera Manager，Cloudera Support

CDH是Cloudera的Hadoop发行版，完全开源，比Apache hadoop在兼容性，安全性，稳定性上有所增强

Cloudera Manager是集群的软件分发及管理监控平台，可以在几小时内部署好一个hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对hadoop的技术支持

Cloudera的标价为每年每个节点4000美元。

Cloudera开发并贡献了可实时处理大数据的Impala项目

hortonworks hadoop

2011年成立的hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

公司成立之初就吸纳了大约25到30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年初开始协助雅虎开发Hadoop，贡献了Hadoop 80%的代码

雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任hortonworks的首席执行官

hortonworks主打的产品是hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统

HCatalog，一个元数据管理系统，现已集成到Facebook开源的Hive中

hortonworks的Stinger开创性的极大的优化了Hive项目

hortonworks为入门提供了一个非常好的，易于使用的沙盒

hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Windows Server和Windows Azure在内的Microsoft Windows平台上本地运行。

定价以集群为基础，每10个节点每年12500美元

Hadoop的优势

1. 高可靠性：Hadoop底层维护多个数据副本，即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失
2. 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点
3. 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理的速度
4. 高容错性：能够自动将失败的任务重新分配