Hadoop典型应用有:搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等
Hadoop的核心是HDFS和mapreduce,两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如HBase、Hive等,这些都是基于HDFS和MapReduce发展出来的。
mapreduce是一种编程模型,用于大规模数据集(大于1T)的并行分析计算
MapReduce完全是谷歌文件系统(GFS)和谷歌MapReduce(GMR)的开源实现。
今天的hadoop项目是一系列hadoop子项目以及相关项目的集合,hadoop子项目包括hadoop common,hdfs,map/reduce,zookeeper;基于hadoo的相关开源项目包括:pig,chukwa,hive,hbase,mahout
zookeeper:分布式协同系统,提供分布式锁之类的基本服务,用于构建分布式应用
pig:
hive:
hbase:
mahout: