zoukankan      html  css  js  c++  java
  • spark-sql用hive表格,在spark-submit运行jar包时遇到的问题

    1、编程时无法加载hive包,需要在编译好的spark(用spark-shell启动,用spark-sql能够直接访问hive表)的lib目录下,考出assembly包,为其创建一个maven的repository,然后添加到dependency里面。最笨的创建repository的办法就是直接创建相应路径,然后把spark-core里面的.pom修改一下target里面的名称,直接copy。

    2、用yarn-cluster提交时,遇到:spark sql java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive这样的问题,这是程序没有将$SPARK_HOME/lib里面的datanucleus包导入,在--jars里面加入即可:$(echo $SPARK_HOME/lib/*.jar| tr ' ' ' ' | grep datanucleus | tr ' ' ',')

    3、载入jar包后,发现遇到: spark metastore.RetryingHMSHandler: NoSuchObjectException错误,这是spark没有找到hive-site.xml文件,在--files里面加入即可。

  • 相关阅读:
    matlab cell
    matlab linux 快捷键设置——有问题还是要解决
    latex 小结
    TOJ 1258 Very Simple Counting
    TOJ 2888 Pearls
    HDU 1248 寒冰王座
    TOJ 3486 Divisibility
    TOJ 3635 过山车
    TOJ 1840 Jack Straws
    HDU 4460 Friend Chains
  • 原文地址:https://www.cnblogs.com/fbiswt/p/4645512.html
Copyright © 2011-2022 走看看