zoukankan      html  css  js  c++  java
  • tidb通过dumpling导出csv load导入

    环境:centos7、tidb3.0

    1、下载dumpling 工具

    链接: https://pan.baidu.com/s/1u-UV3MSPGBE2JXnExiKAaQ 提取码: c2jk
    tar -xvf dumpling-nightly-linux-amd64.tar.gz
    

    2、使用dumpling导出sql查询为csv格式

    ./dumpling -h 172.21.136.198 -P 4000 -u root -p"passwd" -o /tmp/test --filetype csv --sql 'select * from rkw_ezc_prod.wpt_dzxx_dzsxb limit 2'
    --参数解析
      -u root                   --指定用户
      -P 4000                   --指定端口
      -h 127.0.0.1              --指定ip
      -o /tmp/test              -- 用于选择存储导出文件的目录
      -r 1000                    -- 选项用于指定单个文件的最大记录数(或者说,数据库中的行数)
      --filetype csv            -- 导出格式还可以为filetype sql
      -F $(( 1024 * 1024 * 256 ))  --选项用于指定单个文件的最大大小(和 MyDumper 不同,这里的单位是字节)
      --sql 'select * from `test`.`sbtest1` where id < 100'
    

    3、导出文件在目录/tmp/test

    [root@tidb-22 test]# ll                               --总共两个文件
    total 662172
    -rwxr-xr-x 1 root root       140 Aug 18 16:10 metadata
    -rwxr-xr-x 1 root root 678058615 Aug 18 16:10 result.0.csv
    [root@tidb-22 test]# more metadata           --导出数据信息
    Started dump at: 2020-08-18 16:09:43
    SHOW MASTER STATUS:
                    Log: tidb-binlog
                    Pos: 418837478338461699
    Finished dump at: 2020-08-18 16:10:28
    

    4、删除首行的标题行

    [root@tidb-22 test]# head -n 1 result.0.csv         --首行为标题头进行删除
    "DZMC","MLDZID","MPZBX","MPZBY","SFSCFW","XQID","XQMC","JLXDM","JLXMC","ZRQDM","PCSDM","XT_ZXBZ","XT_TIMESTAMP"
    [root@tidb-22 test]# sed -i '1d'  result.0.csv
    

    5、确定csv是否是需要的导入文件,并使用load导入

    1、登录数据库
    2、导入csv
    LOAD DATA local infile 'result.0.csv' INTO TABLE rkw_ezc_prod.wpt_dzxx_dzsxb_20200817 FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '
    ' ;
    做一个决定,并不难,难的是付诸行动,并且坚持到底。
  • 相关阅读:
    动态横向(水平)合并Repeater数据行DataItem的列
    动态绑数据(Repeater控件HeaderTemplate和ItemTemplate)
    动态横向(水平)合并GridView数据行DataRow的列
    动态绑数据(GridView控件Header和ItemTemplate)
    用具体列名替代星号
    如何实现数据行转换列显示
    用LINQ获取XML节点数据
    从字符串中获取XML节点数据
    字符串创建XML文档
    根据Attribute值条件对XML文档进行修改
  • 原文地址:https://www.cnblogs.com/wukc/p/13524784.html
Copyright © 2011-2022 走看看