zoukankan      html  css  js  c++  java
  • MySQL导出TSV格式文件

    可以使用mysqldump, 也可以使用mysql -e

    使用mysqldump

    因为要使用到 -T / --tab 参数, 需要先查看mysql设置的secure_file_priv

    mysql> select @@secure_file_priv;
    +-----------------------+
    | @@secure_file_priv    |
    +-----------------------+
    | /var/lib/mysql-files/ |
    +-----------------------+
    1 row in set (0.00 sec)
    

    在使用 -T / --tab 参数时, 必须使用上面的地址, 否则会报如下错误

    mysqldump: Got error: 1290: The MySQL server is running with the --secure-file-priv option so it cannot execute this statement when executing 'SELECT INTO OUTFILE'
    

    于是导出的命令为

    sudo mysqldump -h 127.0.0.1 -u root -p -T /var/lib/mysql-files/ demodb demo_table
    

    如果当前用户在此目录无写权限, 需要使用sudo. 在 /var/lib/mysql-files/ 路径下会生成对应table的sql文件和txt文件, 其中sql文件存储的是表结构, txt存储的是以tab分隔的记录.

    使用mysql -e

    # 导出数据
    mysql --user=root --password='' phineas_and_ferb -e "SELECT * FROM characters INTO OUTFILE '~/tmp/data.txt' FIELDS TERMINATED BY '	' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '
    ';"
    
    # 如果需要导出表头
    mysql --user=root --password='' -e "SELECT GROUP_CONCAT(COLUMN_NAME SEPARATOR '	') FROM INFORMATION_SCHEMA.COLUMNS WHERE table_schema='phineas_and_ferb' and table_name='characters' INTO OUTFILE '~/tmp/output.txt' FIELDS TERMINATED BY '	' OPTIONALLY ENCLOSED BY '' ESCAPED BY '' LINES TERMINATED BY '
    ';"
    cat ~/tmp/data.txt >> ~/tmp/output.txt
    

    因为这种情况下实际是mysqld在写文件, 所以可以不需要sudo权限.
    在实际测试中, 导出约5kw条记录(最终tsv文件大小为2.6GB)使用了13分钟.

  • 相关阅读:
    zz:android sharedpreferences用法
    Android viewHolder
    Python学习笔记~
    zz:Java多线程编程总结
    zz:Android 2.1 源码结构
    onSaveInstanceState的用法
    zz:如何学习Linux操作系统
    Python学习笔记II
    Python类型转换
    zz:Android应用程序基础
  • 原文地址:https://www.cnblogs.com/milton/p/10322432.html
Copyright © 2011-2022 走看看