zoukankan      html  css  js  c++  java
  • MySQL导出TSV格式文件

    可以使用mysqldump, 也可以使用mysql -e

    使用mysqldump

    因为要使用到 -T / --tab 参数, 需要先查看mysql设置的secure_file_priv

    mysql> select @@secure_file_priv;
    +-----------------------+
    | @@secure_file_priv    |
    +-----------------------+
    | /var/lib/mysql-files/ |
    +-----------------------+
    1 row in set (0.00 sec)
    

    在使用 -T / --tab 参数时, 必须使用上面的地址, 否则会报如下错误

    mysqldump: Got error: 1290: The MySQL server is running with the --secure-file-priv option so it cannot execute this statement when executing 'SELECT INTO OUTFILE'
    

    于是导出的命令为

    sudo mysqldump -h 127.0.0.1 -u root -p -T /var/lib/mysql-files/ demodb demo_table
    

    如果当前用户在此目录无写权限, 需要使用sudo. 在 /var/lib/mysql-files/ 路径下会生成对应table的sql文件和txt文件, 其中sql文件存储的是表结构, txt存储的是以tab分隔的记录.

    使用mysql -e

    # 导出数据
    mysql --user=root --password='' phineas_and_ferb -e "SELECT * FROM characters INTO OUTFILE '~/tmp/data.txt' FIELDS TERMINATED BY '	' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '
    ';"
    
    # 如果需要导出表头
    mysql --user=root --password='' -e "SELECT GROUP_CONCAT(COLUMN_NAME SEPARATOR '	') FROM INFORMATION_SCHEMA.COLUMNS WHERE table_schema='phineas_and_ferb' and table_name='characters' INTO OUTFILE '~/tmp/output.txt' FIELDS TERMINATED BY '	' OPTIONALLY ENCLOSED BY '' ESCAPED BY '' LINES TERMINATED BY '
    ';"
    cat ~/tmp/data.txt >> ~/tmp/output.txt
    

    因为这种情况下实际是mysqld在写文件, 所以可以不需要sudo权限.
    在实际测试中, 导出约5kw条记录(最终tsv文件大小为2.6GB)使用了13分钟.

  • 相关阅读:
    LC 155 Min Stack
    TUM 慕尼黑工业大学 MSEI 课程结构介绍 ws19/20
    C++ MinGW 配合 Sublime Text 搭建
    LC 752 Open the Lock
    LC 200 Number of Islands
    Python lambda
    关于无法连接网络安装VisualVM解决方案
    二叉堆的解读
    哈希表的实现
    红黑树解读
  • 原文地址:https://www.cnblogs.com/milton/p/10322432.html
Copyright © 2011-2022 走看看