【问题】
解压spark的tar包后,执行bin/spark-shell,执行val lines=sc.textFile("README.md")时,抛错error: not found: value sc
【解决办法】
这是因为shell启动时没有初始化sparkContext,修改conf/spark-env.sh文件,添加如下内容:
export SPARK_LOCAL_IP="10.10.20.204"
注意:
1、不要使用0.0.0.0,这样运行spark自带的example时,spark无法连接0.0.0.0这个IP取下载example的代码。
2、不要使用127.0.0.1,这样不能在其他机器上访问spark ui。
再次启动bin/spark-shell,这是会看到如下信息,代表spark context已经被初始化了,现在可以正常执行命令了。
Spark context Web UI available at http://10.10.20.204:4040 Spark context available as 'sc' (master = local[*], app id = local-1477366425671). Spark session available as 'spark'.