本地模式运行
1-在windows的eclipse里面直接运行main方法
将会将job提交给本地执行器localjobrunner
- 输入输出数据可以放在本地路径下
- 输入输出数据放在HDFS中:(hdfs://xxx:9000/wc/srcdata),如果将hdfs的配置文件放在类路径下面,那么不用写hdfs://
2-在linux的eclipse里面直接运行main方法,但是不要提那家yarn相关的配置,也会提交给localjobrunner执行
输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata)
输入输出数据也可以放在hdfs中(hdfs://XXXXX:9000/wc/srcdata)
集群模式运行
1-将工程达成jar包上传到服务器,然后用hadoop命令提交,hadoop jar wc.jar xx.xx.xx.xx.XXRunner
2-在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取下面的措施:
---在工程的src目录中加入mapred-site.xml
---将工程达成jar包(wc.jar),同同时在main方法中添加一个conf的配置参数,conf.set("mapreduce.job.jar",“XX.jar”)
3-在windows的eclipse中直接yunxingmain方法,也乐意提交给集群中运行,但是因为平台不兼容,需要做很多额外的设置
---要在windows中存放一份hadoop的安札UN该包(解压好的)
---要将其中的lib和bin目录替换成根据Windows版本重新编译出的文件,因为这两个目录中的文件都是和本地相关的;
---配置系统环境变量HADOOP_HOME和PATH
---修改YarnRunner这个类的源码=