zoukankan      html  css  js  c++  java
  • sqoop碰到的问题

    sqoop碰到的问题

    背景:从Oracle接入数据,一张表一千多万,数据量13G左右。

    1. 报错,表名找不到,将表名改成大写的

    2. Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject
      

      因为sqoop缺少java-json.jar包,下载jar包,把java-json.jar添加到../sqoop/lib目录就可以。

    3. Import failed: java.io.IOException: Generating splits for a textual index column allowed only in case of "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" property passed asa parameter
      

      需要指定 --split-by 主键 并指定 "-Dorg.apache.sqoop.splitter.allow_text_splitter=true"参数即可

    4. Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly
      

      把 hive目录下的hive-common-***.jar包拷贝到/sqoop/lib下

      cp ${HIVE_HOME}/lib/hive-common-3.0.0.jar ${SQOOP_HOME}/lib/ 
      
    5. FAILED: SemanticException [Error 10101]: A non-native table cannot be used as target for LOAD
      

      说明sqoop导入的目标表是一个外部表,把这个外部表删掉,或者指定另外的表名即可。

    6. 还需要下载Oracle驱动包,放到/sqoop/lib下,下载地址

    最后的sqoop的语句为:

    sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" -- hive-import --connect jdbc:oracle:thin:@ip:1521:lisgg1 --username name --password passwd --table tablename --hive-database default --hive-table hivetablename -m 3 --split-by contno
    

    以上碰到的问题解决办法不唯一,列出的为个人觉得比较简单的解决方式,上述网站可能需要FQ

  • 相关阅读:
    POJ 3126 Prime Path
    POJ 2429 GCD & LCM Inverse
    POJ 2395 Out of Hay
    【Codeforces 105D】 Bag of mice
    【POJ 3071】 Football
    【POJ 2096】 Collecting Bugs
    【CQOI 2009】 余数之和
    【Codeforces 258E】 Devu and Flowers
    【SDOI 2010】 古代猪文
    【BZOJ 2982】 combination
  • 原文地址:https://www.cnblogs.com/youchi/p/10342875.html
Copyright © 2011-2022 走看看