zoukankan      html  css  js  c++  java
  • Diagnostics: File file:/tmp/spark-***/__spark_libs__***.zip does not exist


    Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist

    使用了cluster和client的deploy mode都不好使。期间使用cluster模式下,还报出了jar包找不到的异常。。

    问题定位:因为spark和Hadoop的配置路径进行过更改与更新,在spark-env.sh文件中Hadoop_conf_home没有更新,导致spark无法正确读取yarn集群的配置内容。导致了错误。

    解决办法:echo 'HADOOP_CONF_DIR='${HADOOP_HOME}/etc/hadoop >> ${SPARK_HOME}/conf/spark-env.sh


    Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist

  • 相关阅读:
    每日总结50
    每日总结49
    每日总结48
    每日总结47
    每日总结46
    每日总结45
    每日总结44
    每日总结42
    每日总结41
    每日总结39
  • 原文地址:https://www.cnblogs.com/suanec/p/7116005.html
Copyright © 2011-2022 走看看