zoukankan      html  css  js  c++  java
  • Spark相关错误汇总

    前面介绍了Spark开发环境的搭建,下面将在实际开发过程中遇到的一些问题汇总一下:

    1、Exception in thread "main" com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version'
      这种情况,我出现的是原因提交job到spark集群中,采用的是java -jar的方式。
      正确的做法是:用spark-submit 命令的方式提交job。例如:

      spark-submit  --class   "com.yiban.datacenter.Spark_RDD.demo"   --master   local    Spark-RDD-0.0.1-SNAPSHOT-jar-with-dependencies.jar  /user/liujiyu/data/TestData(参数)

    2、ERROR LiveListenerBus: Listener EventLoggingListener threw an exception
      这种情况出现的原因是由于代码当中对于SparkContext并没有关闭资源所导致的。
      正确的做法:在代码的末尾加上:sc.stop()即可。

    (未完待续)

      

  • 相关阅读:
    python之道04
    python之list [ 列表 ]
    end和sep的使用方法
    pass1
    python之for (循环)
    python之range (范围)
    python之str (字符型)
    python之bool (布尔值)
    python之int (整型)
    python之道03
  • 原文地址:https://www.cnblogs.com/ljy2013/p/5063923.html
Copyright © 2011-2022 走看看