报错1
java.io.IOException: Could not locate executable nullinwinutils.exe in the Hadoop binaries.
解决办法
下载winutils.exe文件,将其放到hadoop目录hadoop-2。6.0in下
然后配置HADOOP_HOME和并配置path就可以了,比如我的是:
HADOOP_HOME为
D:igdata_softwarehadoop-2.6.0
path为
HADOOP_HOMEin
报错2
Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
解决办法
在IDE中点击Run -> Edit Configuration,在右侧VM options中输入“-Dspark.master=local”,指示本程序本地单线程运行
运行之后还是报这个错的话,原因可能是scala版本兼容,我从scala2.11到scala2.10,就可以了