Hadoop简介:
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),其中一个组件是HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算 。
Hadoop成名史: 用910个结点,使用209秒对1TB的数据进行排序。
具有可靠性,高效性,可拓展性,
访问层 | 数据分析 | 数据实时查询 | 数据挖掘 |
大数据层 |
离线分析 HIVE Pig MR HDFS分布式文件存储 |
实时查询 Solr REDis HBase HDFS分布式文件存储 |
BI分析 MAhout HDFS分布式文件存储 |
数据来源 | 数据源 | 数据源 | 数据源 |
Hadoop 版本分类:
Hadoop 1.0 :hadoop 0.20.x hadoop 0.21.x hadoop 0.22.x 核心 HDFS MapReduce
hadoop 2.0: hadoop 0.23.x hadoop2.x 核心 MapReduce (数据处理 )YARN(资源调度管理) HDFS