今天主要学习一下内容:
1、封装JDBC,自定义范型
2、反射,自定义注解
3、MapReduce配置及Wordcount的运行,Yarn配置
4、Eclipse自己创建MapReduce
其中有一些问题需要注意一下:
配置完MapReduce后,在跑Wordcount方法时,会出现一些错误,但是这些错误对结果没有什么影响,无论是在Linux上还是Eclipse上都是差不多的
错误的代码如下:
Linux上:
WARN hdfs.DFSClient: Caught exception java.lang.InterruptedException at java.lang.Object.wait(Native Method) at java.lang.Thread.join(Thread.java:1252) at java.lang.Thread.join(Thread.java:1326) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:609) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.endBlock(DFSOutputStream.java:370) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:546)
出现上述错误,但是还能得出结果。
Eclipse上:
Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable nullinwinutils.exe in the Hadoop binaries.
出现错误的原因和上面的一样。
解决办法:
确保环境变量配置正确,并且在hadoop安装目录下的bin目录下加入以下文件:
就不报错了。