用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎
Doug Cutting 写的一个开源软件，借鉴了Google的 GFS和MapReduce思想，Map-Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。
实现大数据、云存储、云计算，首选hadoop。
PB级以上
TB是一个计算机存储容量的单位，它等于2的40次方，或者接近一万亿个字节（即，一千千兆字节）
TechTarget自己的百科网站Whatis有关于PB大小的定义：“PB是数据存储容量的单位，它等于2的50次方个字节，或者在数值上大约等于1000个TB
chukwa--数据集成工具，抓取信息。
pig--可以用shell轻量级语言进行数据处理或
数据分析，将shell命令-->mapreduce 再返回结果。
Hive--相当于sql语言到reduce的映射器将
sql-->mapreduce，再返回结果。复杂的sql语句不支持。
HBase--Nosql数据库，链式数据库，链式存储。
面向数据分析，提高响应速度，减少Io。本身也可以做成分布式集群。
MapReduce和HDFS（分布式文件系统）两大支柱
ZooKeeper--服务器节点以及进程之间的通讯。
core--hadoop的核心代码
Hadoop架构
客户端
switch--交换机
黑线--网线
矩形--物理服务器
hadoop的后台进程 ：jobTacker、NameNode、TaskTracker。。。
NameNode： Master
HDFS的守护程序，总控的作用。
纪录文件是如何分割成数据块的，以及这些数据块被存储到哪些节点上
对内存和I/O进行集中管理
缺点：是个单点，发生故障将使集群崩溃
Secondary Namenod：辅助名称节点 Master
NameNode的后备
当NameNode故障NameNode使用
缺：只能手动切，没办法自动
DataNode：slaver
每台从服务器都运行一个
负责把HDFS数据块读写到本地文件系统
这三个组成了HDFS
rack--机架
JobTracker：Master 作业跟踪器
用于处理作业（用户提交代码）的后台程序
决定有哪些文件参与处理，然后切割task并分配节点
监控task，重启失败的task（于不同的节点）
每个集群只有唯一 一个JobTracker，位于Master节点
TaskTracker：slaver 任务跟踪器
位于slave节点上，与datanode结合（代码与数据一起的原则）
管理各自节点上的task（由jobtracker分配）
每个节点只有一个tasktracker，但一个tasktracker可以启动多个JVM，用于并行执行map或reduce任务
与jobtracker交互
Master不是唯一的
这俩组成了MapReduce