zoukankan      html  css  js  c++  java
  • 54.超大数据快速导入MySQL

    超大数据快速导入MySQL

     ----千万级数据只需几十分钟
    本地测试方法
    1.首先需要修改本地mysql的编码和路径,找到my.ini。
    2.在里面添加或修改
    character-set-server=utf8
    collation-server=utf8_general_ci
    default-storage-engine=INNODB
    (最低部添加)secure_file_priv="C:UsersAdministratorDesktopye(xlsx表格所在父路径)"
    3.将需要的xlsx表格转换成csv格式保存
    4.将csv格式用记事本打开,另存为编码为utf-8的csv格式
    5.在mysql数据库里,如果某些字段涉及到html代码,需将这些字段的字段类型修改logtext。
    6.在打开mysql命令行时,先建议添加一个自增ID列,方便统计记录数。
    7.打开mysql命令行输入:
    show databases;回车
    use tablename(表名)回车
    mysql>LOAD DATA INFILE "C:\Users\Administrator\Desktop\ye\product.csv"(xlsx表格所在路径)
    -> into table p1_product_description(需要传入的表名)
    -> fields terminated by '&&'(字段分割符)
    -> lines terminated by ' '(换行符)
    -> ignore 1 lines
    -> (product_id,language_id,name,description,tag,meta_title,meta_description,meta_keyword);(字段名)

    线上服务器方法(需要putty.exe软件)
    1.将在本地测试修改好的csv格式文件上传到网站根目录下面
    2.在mysql数据库里,如果某些字段涉及到html代码,需将这些字段的字段类型修改logtext。
    6.在打开mysql命令行时,先建议添加一个自增ID列,方便统计记录数。
    7.打开mysql命令行输入:
    数据库远程登陆密码 回车
    登陆数据库命令行mysql -h localhost -u root -p 回车
    输入mysql数据库密码 回车
    show databases;回车
    use tablename(表名)回车
    mysql> LOAD DATA LOCAL INFILE '/www/web/1hydraulicpump/public_html/product2.csv(csv所在路径)'
    -> into table h1_product_description(需要传入的表名)
    -> fields terminated by '&&(字段分割符)'
    -> lines terminated by ' (换行符)'
    -> ignore 1 lines
    -> (product_id,language_id,name,description,tag,meta_title,meta_description,meta_keyword)(字段名);

  • 相关阅读:
    好久没来博客园写博客了
    配置apache apache服务器如何配置多站点
    Discuz对不起,您安装的不是正版应用的解决办法
    解决php deprecated 的问题
    PHP乱码完美解决
    block,inline和inline-block概念和区别(转)
    C# 的各种排序
    设计模式的学习
    一些随笔
    笔记 日常的记录
  • 原文地址:https://www.cnblogs.com/sqyambition/p/9860072.html
Copyright © 2011-2022 走看看