zoukankan      html  css  js  c++  java
  • sqoop 简单语句

    1.上传sqoop

    2.安装和配置(搭好集群,几乎不用配置sqoop)
    在添加sqoop到环境变量
    将数据库连接驱动拷贝到$SQOOP_HOME/lib里
    3.使用
    第一类:数据库中的数据导入到HDFS上
    sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table(表) trade_detail --columns(哪几列) 'id, account, income, expenses'

    指定输出路径、指定数据分隔符
    sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table trade_detail --target-dir(输出目标) '/sqoop/td' --fields-terminated-by(用什么分割) ' '

    指定Map数量 -m
    sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table trade_detail --target-dir '/sqoop/td1' --fields-terminated-by ' ' -m(使用map数量) 2

    增加where条件, 注意:条件必须用引号引起来
    sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table trade_detail --where 'id>3' --target-dir '/sqoop/td2'

    增加query语句(使用 将语句换行)
    sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123
    --query 'SELECT * FROM trade_detail where id > 2 AND $CONDITIONS' --split-by trade_detail.id --target-dir '/sqoop/td3'

    注意:如果使用--query这个命令的时候,需要注意的是where后面的参数,AND $CONDITIONS这个参数必须加上
    而且存在单引号(一般使用单引号)与双引号的区别,如果--query后面使用的是双引号,那么需要在$CONDITIONS前加上即$CONDITIONS
    如果设置map数量为1个时即-m 1,不用加上--split-by ${tablename.column},否则需要加上

    第二类:将HDFS上的数据导出到数据库中(不要忘记指定分隔符)
    sqoop export --connect jdbc:mysql://192.168.8.120:3306/itcast --username root --password 123 --export-dir '/td3' --table td_bak -m 1 --fields-terminated-by ','

    4.配置mysql远程连接
    GRANT ALL PRIVILEGES ON itcast.* TO 'root'@'192.168.1.201' IDENTIFIED BY '123' WITH GRANT OPTION;
    FLUSH PRIVILEGES;

    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
    FLUSH PRIVILEGES

  • 相关阅读:
    $.data(elem, key, val) 和 elem.data(key, val)
    支付宝调起,应用签名失败,请联系商家
    关于load方法加载时间问题
    你学过的每一样东西,你遭受的每一次苦难,都会在你一生中的某个时候派上用场。 ——佩内洛普·菲兹杰拉德 《离岸》
    iOS视图生命周期总结(别人博客荡来的)
    闲言(诗三百三首)
    iOS 点击WebView中的链接,跳转指定控制器
    IOS 版本号大小比较
    iOS二维码,条形码扫描问题
    IOS使用个推遇到的坑
  • 原文地址:https://www.cnblogs.com/double-orange/p/10183819.html
Copyright © 2011-2022 走看看