hadoop介绍
分布式存储系统HDFS(Hadoop Distributed File System)，提供了高可靠性、高扩展性和高吞吐率的数据存储服务；
资源管理系统YARN(Yet Another Resource Negotiator)，负责集群资源的统一管理和调度，使得多种计算框架可以运行在一个集群中；
分布式计算框架(MapReduce)，具有易于编程、高容错性和高扩展性等特点的PB级以上海量数据的离线处理能力。
Hive(基于MR的数据仓库)，定义了一种类SQL查询语言——HQL，类似SQL，但不完全相同，通常用于进行离线数据处理(采用MapReduce)，可认为是HQL到MR的语言翻译器，是为了低成本进行数据分析(不直接编写MR)。
Pig，构建在Hadoop上的数据仓库，定义了一种数据流语言Pig-Latin，基于MR的ad-hoc数据分析工具，也用于离线分析，与Hive类似。
Mahout(数据挖掘库)，基于Hadoop的机器学习和数据挖掘分布式计算框架，实现了三大算法：推荐(Recommendation)、聚类(Clustering)、分类(Classification)、降维(Dimension Reduction)，可以直接利用里面的算法进行分析。
HBase(分布式数据库)，高可靠性、高性能、面向列、良好的扩展性。Table：表，类似于传统数据库中的表；Column Family：列簇，Table在水平方向上有一个或多个Column Family组成，一个Column Family中可以由任意多个Column组成；Row Key：行健，Table的主键，Table中的记录按照Row Key排序；Timestamp：时间戳，每行数据均对应一个时间戳和版本号。
Zookeeper(分布式写作任务)，解决分布式环境下的数据管理问题，统一命名、状态同步、集群管理、配置同步。
Sqoop(数据同步工具)，连接Hadoop与传统数据库之间的桥梁，支持多种数据库包括MySQL、DB2等，用户可根据需要支持新的数据库(插拔式)，其本质上是一个MapReduce程序。
Flume(日志收集工具)。
Oozie(作业流调度系统)，如母亲计算框架和作业类似繁多(MR Java、Streaming、HQL、Pig等)，如何对这些框架和作业统一管理和调度：不同作业之间存在依赖关系(DAG)、周期性作业、定时执行的作业、作业执行状态监控与报警(发邮件、短信)。
计算框架
在yarn上可以运行多种计算框架。
离线计算框架MapReduce
将计算过程分为两个阶段，Map和Reduce：Map 阶段并行处理输入数据；Reduce阶段对Map结果进行汇总；Shuffle连接Map和Reduce两个阶段；Map Task将数据写到本地磁盘；Reduce Task从每个Map Task上读取一份数据。特点是：仅适合离线批处理；具有很好的容错性和扩展性；适合简单的批处理任务；缺点也很明显：启动开销大、过多使用磁盘导致效率低下等，要求数据源是静态的，不能动态变化。
DAG计算框架Tez
多个应用程序之间存在数据依赖关系，后一个应用程序的输入为前一个的输出。并形成一个依赖关系有向图(Directed Acyclic Graph)，该图的计算称为"DAG计算"，Apache Tez：基于YARN的DAG计算框架，运行在YARN之上，充分利用YARN的资源管理和容错等功能；提供了丰富的数据流(dataflow)API；扩展性良好的" Input-Processor-Output"运行时模型；动态生成物理数据流关系。
流式计算框架Storm(实时计算)
流式(Streaming)计算，是指被处理的数据像流水一样不断流入系统，而系统需要针对每条数据进行实时处理和计算，并永不停止（直到用户显式杀死进程）；而传统做法：由消息队列和消息处理者组成的实时处理网络进行实时计算，因此传统做法缺乏自动化/健壮性/伸缩性差。
内存计算框架Spark
克服MapReduce在迭代式计算和交互式计算方面的不足；引入RDD(Resilient Distributed Datasets)数据表示模型；RDD是一个有容错机制，可以被并行操作的数据集合，能够被缓存到内存或磁盘上。
MapReduce 2.0与YARN
一个MR应用程序的成功运行需要若干模块：
任务管理和资源调度；
任务驱动模块(MapTask、ReduceTask)；
用户代码(Mapper、Reducer…)。
MapReduce 2.0和YARN区别
YARN是一个资源管理系统，负责资源管理和调度
MapReduce只是运行在YARN上的一个应用程序
如果把YARN看做" android"，则MapReduce只是一个" app"
hadoop版本
Hadoop发行版介绍(开源版)有下面三种：
Apache Hadoop
推荐使用最新的2.x.x版本，比如2.4.0
下载地址：http://hadoop.apache.org/releases.html
SVN： http://svn.apache.org/repos/asf/hadoop/common/branches/
CDH(Cloudera Distributed Hadoop)
推荐使用最新的CDH5版本， 比如
CDH4基于Apache Hadoop0.23.0版本开发
CDH5基于Apache Hadoop2.2.0版本开发
下载地址：http://archive.cloudera.com/cdh5/cdh/5/
HDP (Hortonworks Data Platform)
推荐使用最新的HDP 2.x版本， 比如HDP 2.1版本
hadoop下载
http://archive.apache.org/dist/ 可以看到所有apache下的项目
http://archive.apache.org/dist/hadoop/core/stable/ 稳定版hadoop下载
stable1是1.0的稳定版，stable2是2.0的稳定版
hadoop-2.2.0.tar.gz
hadoop-2.2.0-src.tar.gz
hadoop目录
bin：Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。
etc：Hadoop配置文件所在的目录，包括hadoop-env.sh、core-site.xml、 hdfs-site.xml、mapred-site.xml等从Hadoop 1.0继承而来的配置文件和yarn-site.xml等Hadoop 2.0新增的配置文件。
include：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。
lib：该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。
libexec：各个服务对应的shell配置文件所在目录，可用于配置日志输出目录、启动参数（比如JVM参数）等基本信息。
sbin：Hadoop管理脚本所在目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本。
share：Hadoop各个模块编译后的jar包所在目录