zoukankan      html  css  js  c++  java
  • SQOOP

    SQOOP是用于对数据进行导入导出的。
    (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中
    (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中

    1.安装SQOOP

    1.1先将SQOOP文件放到/usr/local/下
    1.2解压SQOOP
      执行命令:tar -zxvf sqoop-1.4.3.bin_*******
    1.3改名字
      执行命令:mv sqoop-1.4.3.bin_******* sqoop
    1.4设置环境变量
      执行命令:vi /etc/profile

    export SQOOP_HOME=/usr/local/sqoop
    export PATH=****:$SQOOP_HOME/bin:******
    source /etc/profile

    1.5操作

      执行命令:cd bin
                     sqoop help
    1.6将mysql与SQOOP联系起来,需要将mysql的驱动复制到SQOOP的lib文件下
      执行命令:

    cd ..    //退出bin
    cp ../hive/lib/mysql-connection-java-5.1.10.jar ./lib/ cd lib/ ls


    2.把数据从mysql导入到hdfs(默认是/user/<username>)中
      sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by ' ' --null-string '**' -m 1 --append --hive-import
      sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by ' ' --null-string '**' -m 1 --append --hive-import --check-column 'TBL_ID' --incremental append --last-value 6

    3.把数据从hdfs导出到mysql中
      sqoop export --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table ids --fields-terminated-by ' ' --export-dir '/ids'

    4.设置为作业,运行作业
      sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by ' ' --null-string '**' -m 1 --append --hive-import

    5. 导入导出的事务是以Mapper任务为单位。

  • 相关阅读:
    位置定位 api
    代理相关
    手机网页 右边的空白区
    sip介绍
    测试浏览器对html5支持
    sencha touch
    PC上的手机模拟器大全(安卓/苹果/黑莓/塞班/微软)
    测试视频
    android 环境配置 与 运行错误
    android 一年过期
  • 原文地址:https://www.cnblogs.com/chamie/p/4737487.html
Copyright © 2011-2022 走看看