HDFS：
HDFS是Hadoop的分布式文件系统，全名为Hadoop Distributed File System。它有以下三个基本概念：
Block（块），块是默认大小为64MB的逻辑单元。HDFS里面的文件被分成相同大小的数据块来进行存储和管理。当然，文件的备份和查找也是基于数据块进行处理的。
NameNode，NameNode是管理节点（直译名字节点）。它存放着文件与数据块（Block）的映射表，也存放着数据块与数据节点（DataNode）的映射表。这俩被统称为文件元数据。
DataNode，DataNode是工作节点（也就是数据节点），用来存放数据块。比如下图中，每个工作节点就存放了三个数据块。
MapReduce原理
MapReduce的本质是Map-Reduce的批处理计算模型。Map指的是把一个大任务分割成多个小的子任务，Reduce指的是把子任务执行完后的结果合并的规约过程。可以看出，MapReduce也存在着分治法的思想。
比如，我们要从大容量的网络访问日志文件中，找出访问次数最多的IP地址。MapReduce先把日志切分成几个子任务，并统计IP出现的次数。接着任务间互相交换结果，把各个IP地址的访问结果统计出来，最后中间结果合并，排序，就知道了哪个IP地址访问次数最多了。
MapReduce适用于大规模数据集的并行运算。
运行流程：
2.HDFS上运行MapReduce
1）准备文本文件，放在本地/home/hadoop/wc
2）编写map函数和reduce函数，在本地运行测试通过
编写reducer.py
编写mapper.py
测试 reducer.py
测试 mapper.py
3）启动Hadoop：HDFS, JobTracker, TaskTracker
4）把文本文件上传到hdfs文件系统上 user/hadoop/input
5）streaming的jar文件的路径写入环境变量，让环境变量生效
6）建立一个shell脚本文件：streaming接口运行的脚本，名称为run.sh
7）source run.sh来执行mapreduce
8）查看运行结果
查看文件
运行结果，是编码的问题，目前还没解决
