zoukankan      html  css  js  c++  java
  • sqoop遇到的问题

    我使用的是CDH版本的

    这是我的sqoop脚本

    sudo -u hive sqoop import --connect jdbc:mysql://xxxx/rom3 --username xxx --password xxx --table xxx --hive-import --hive-table xx.xx

    需要注意的:

    1、mysql表要有主键

    2、为什么要sudo -u hive一下呢,因为hdfs中使用的就是hive用户存放的权限,如果使用root权限,你会发现无法写数据。

    3、会有这样的错误:

    **************Streaming result set com.mysql.jdbc.RowDataDynamic***********

    解决是:

    cp /usr/share/java/mysql-connector-java-5.1.34-bin.jar /opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/sqoop/lib

     4、每次执行前,需要删除sudo -u hive hdfs dfs -rmr /user/hive/adbaseinfo  就是要导入的表

  • 相关阅读:
    MYSQL之基本操作
    Python操作Mysql之基本操作
    编辑器
    iOS项目评估报告
    mac安装as配置
    屏幕适配
    CocoaPods配置步骤
    android网络监测
    获取通讯录
    json解析
  • 原文地址:https://www.cnblogs.com/hark0623/p/4849599.html
Copyright © 2011-2022 走看看