Hadoop_20_MapReduce程序的运行模式

1.MapReduce程序的运行模式

1. Windows中运行MapReduce程序

（1）mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行

（2）而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上

（3）设置MapReduce程序的conf配置参数(不配默认)：

（4）本地模式非常便于进行业务逻辑的debug，只要在eclipse中打断点即可

（5）在windows下运行本地模式来测试程序逻辑，需要在windows中配置环境变量：

％HADOOP_HOME％ = d:/hadoop-2.6.1  %PATH% = ％HADOOP_HOME％in(记得重启)

并且要将d:/hadoop-2.6.4的lib和bin目录替换成windows平台编译的版本

运行程序：

2. 集群运行MapReduce程序

（1）将mr程序提交给yarn集群resourcemanager，分发到很多的节点上并发执行

（2）处理的数据和输出结果应该位于hdfs文件系统

（3）提交集群的实现步骤：

A、将程序打成JAR包，然后在集群的任意一个节点上用hadoop命令启动：

　hadoop jar workcount.jar ..WordcountDriver /wc/input1 /wc/output

B、直接在linux的eclipse中运行main方法

（项目中要带参数：mapreduce.framework.name=yarn以及yarn的两个基本配置）

C、如果在windows的eclipse中提交MR到集群运行，则要修改YarnRunner类