记录一次hadoop自己 埋的坑
- 本机使用windows系统运行hadoop的mapreduce.首先我现在的版本是hadoop2.8.5。配置操作
0.配置java环境变量
1.下载hadoop到磁盘上我下载到F:hadoop-2.8.5
2.下载必要winutils.exe和hadoop.dll找到自己下载hadoop版本下载 在github:https://github.com/cdarlint/winutils
3.下载的winutils.exe和hadoop.dll放到hadoop2.8.5/bin目录下
4.hadoop.dll放到C:WindowsSystem32
5.配置hadoop环境变量
HADOOP_HOME F:hadoop-2.8.5
Path %HADOOP_HOME%in
- 一切准备就绪,在我们运行mapreduce时候报错
:Caused by: java.io.FileNotFoundException E:hdfs_tmp_cachemapredlocallocalRunnerXu%20 jkjob_local244736109_0001
- 原来是自己机器用户名中有空格
添加代码
conf.set("hadoop.tmp.dir", "E:/hdfs_tmp_cache");
eclipse ->Run configurations->Arguments->VM arguments -DHADOOP_USER_NAME=root
添加路径: E:hdfs_tmp_cachemapredlocallocalRunner
oot
-
即可解决问题。