zoukankan      html  css  js  c++  java
  • 1.16 sqoop options-file参数进行运行任务

    sqoop的options-file参数可以像hive的-f 参数那样,执行一个脚本文件,而不是直接在命令行执行;

    其中,此脚本文件要遵循一定的格式;参考链接:http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html

    1、options-file参数使用

    ##准备一个脚本文件,可以是txt、sql结尾文件
    ##vim /opt/datas/sqoop-import-hdfs.txt
    import 
    --connect
    jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test 
    --username
    root 
    --password
    123456 
    --table
    my_user 
    --target-dir
    /user/root/sqoop/imp_my_user_option 
    --num-mappers
    1 
    
    
    
    ##sqoop执行
    [root@hadoop-senior sqoop-1.4.5-cdh5.3.6]# bin/sqoop --options-file /opt/datas/sqoop-import-hdfs.txt
    
    
    
    ##在hdfs上查看,已经有数据了
    [root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -ls -R /user/root/sqoop/imp_my_user_option
    -rw-r--r--   1 root supergroup          0 2019-05-07 14:18 /user/root/sqoop/imp_my_user_option/_SUCCESS
    -rw-r--r--   1 root supergroup        128 2019-05-07 14:18 /user/root/sqoop/imp_my_user_option/part-m-00000
    
    
    #这种方式比较方便,就算出错了,也很容易修改,而且还可以直接把sqoop执行的这条命令放到脚本中执行;
    #sqoop-import-hdfs.txt这个脚本文件中,还可以写注释,用#注释;
    
  • 相关阅读:
    如何做竞品分析报告
    软件架构入门
    系统内部矛盾的解决思路
    分表分库一
    Hbase随笔2
    Hbase随笔
    vertica在电信的应用
    理解RESTful架构
    百分点刘译璟
    数据产品的简介
  • 原文地址:https://www.cnblogs.com/weiyiming007/p/10825291.html
Copyright © 2011-2022 走看看