问题:
Spark惰性机制引起的:Input path does not exist
问题分析:
val textFile = Sc.textFile(“file///usr/local/spark/...”)加载本地文件,必须以“file:///”开头
Spark的惰性机制:执行上面的命令不会马上显示结果
只有遇到行动类型的操作,才会从头到尾执行所有操作,如:textFile.first()//
从文件中加载数据到变量textFile中,并取出第一行文本。
结论:
该目录的文件本身不存在,只不过是没有及时报错
避免此类问题:
及时使用textFile.first()检验