zoukankan      html  css  js  c++  java
  • Sqoop-1.4.4工具import和export使用详解

    转自:http://blog.csdn.net/wodatoucai/article/details/46343291

    Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export这两个工具。这两个工具非常强大,提供了很多选项帮助我们完成数据的迁移和同步。比如,下面两个潜在的需求:

    1. 业务数据存放在关系数据库中,如果数据量达到一定规模后需要对其进行分析或同统计,单纯使用关系数据库可能会成为瓶颈,这时可以将数据从业务数据库数据导入(import)到Hadoop平台进行离线分析。
    2. 对大规模的数据在Hadoop平台上进行分析以后,可能需要将结果同步到关系数据库中作为业务的辅助数据,这时候需要将Hadoop平台分析后的数据导出(export)到关系数据库。

    这里,我们介绍Sqoop完成上述基本应用场景所使用的import和export工具,通过一些简单的例子来说明这两个工具是如何做到的。

    工具通用选项

    import和export工具有些通用的选项,如下表所示:

    选项 含义说明
    --connect <jdbc-uri> 指定JDBC连接字符串
    --connection-manager <class-name> 指定要使用的连接管理器类
    --driver <class-name> 指定要使用的JDBC驱动类
    --hadoop-mapred-home <dir> 指定$HADOOP_MAPRED_HOME路径
    --help 打印用法帮助信息
    --password-file 设置用于存放认证的密码信息文件的路径
    -P 从控制台读取输入的密码
    --password <password> 设置认证密码
    --username <username> 设置认证用户名
    --verbose 打印详细的运行信息
    --connection-param-file <filename> 可选,指定存储数据库连接参数的属性文件

    数据导入工具import

  • 相关阅读:
    Django_rest_framework
    Django之FBV / CBV和中间件
    数据库之MySQL补充
    数据库之Python操作MySQL
    数据库之MySQL进阶
    数据库之初识MySQL
    2-3、配置Filebeat
    2-2、安装Filebeat
    2-1、FileBeat入门
    5、Filebeat工作原理
  • 原文地址:https://www.cnblogs.com/chengjun/p/6178098.html
Copyright © 2011-2022 走看看