Spark踩坑日常

1. Spark连接到HDFS报错：ConnectException:Call From to master:8020
   • 原因：Hadoop的master端口设置为9000，core-site.xml：

     而Spark访问的默认端口为8020，端口不一致导致

   • 解决方案：
     • 修改core-site.xml
     • 修改hdfs访问端口
2. 若使用spark-submit去提交作业，若配置的core数量或者Memory没有节点能满足，则会导致作业卡在Driver下，无worker可用
3. 提交作业报错：java.nio.file.NoSuchFileException: /mnt/hgfs/ShareWithUbuntu/gapsBatch.jar
   • 解决方法：在cluster模式下，jar包需要放到集群可以访问的目录，如果是放在本地，需要在每个节点上都放置一份
4. 通过Spark-submit提交Spark任务，报WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
   • 解决方法：在环境变量增加export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH