zoukankan      html  css  js  c++  java
  • Sqoop导入MySQL数据

    导入所有表:

    sqoop import-all-tables –connect jdbc:mysql://ip:port/dbName --username userName --password passWord  -m 1  --hive-import;

    导入一个表:

    sqoop import --connect  jdbc:mysql://ip:port/dbName  --table tableName --username userName --password passWord -m 1  --hive-import;

    hive中按照mysql中sqoop数据库tb1表创建表tb1

    sqoop create-hive-table --connect jdbc:mysql://ip:port/dbName --table tableName --fields-terminated-by ','  --username userName --password passWord

    将数据库sqoop中表tb1数据导入到hdfs中,map tasks数量为1

    sqoop import --connect jdbc:mysql://ip:port/dbName --username userName --password passWord   --table tableName -m 1

    将hdfs中的数据导入到hive表tb1中

    load data inpath '/user/code-pc/tb1/part-m-00000' into table tb1;

    分段并行导入

    sqoop import --append  --connect jdbc:mysql://ip:port/dbName --username userName --password passWord  --target-dir '/user/pg'  --table tableName -m 1 --where "guidesp<='3'"
    sqoop import --append  --connect jdbc:mysql://ip:port/dbName --username userName --password passWord  --target-dir '/user/pg'  --table tableName -m 1 --where "guidesp>'3' and guidestep<='5'"

    并行导入:

    sqoop import  --connect jdbc:mysql://ip:port/dbName --username userName --password passWord  --target-dir '/user/pg1/'  --split-by columnName   --table tableName -m 10
  • 相关阅读:
    Oracle性能优化--DBMS_PROFILER
    Oracle性能优化--AUTOTRACE 操作
    浅谈SQL中的单引号
    pgadmin(IDE)工具连接postgres数据库
    Linux下的PostgreSQL简单安装手册
    es6常用方法总结
    vue下axios和fetch跨域请求
    作用域和作用域链
    ES5函数新增的方法(call、apply、bind)
    js递归和数组去重(简单便捷的用法)
  • 原文地址:https://www.cnblogs.com/ggzone/p/5094503.html
Copyright © 2011-2022 走看看