MySQL 快速构造一亿条记录的表

在上一次朋友问我如何快速构造一亿条记录的表后，我理出了实行的办法，见：http://blog.csdn.net/mchdba/article/details/52938114，但是因为录入一亿表需要2个小时，所以还是感觉速度慢了些，那有没有啥办法能加快这一步骤呢？

 

1、建一张通用的用户表

建用户表没有啥变化，还是和上次一样。

USE test;

CREATE TABLE `UC_USER` (

         `ID` BIGINT (20),

         `USER_NAME` VARCHAR (400),

         `USER_PWD` VARCHAR (800),

         `BIRTHDAY` DATETIME ,

         `NAME` VARCHAR (800),

         `USER_ICON` VARCHAR (2000),

         `SEX` CHAR (4),

         `NICKNAME` VARCHAR (800),

         `STAT` VARCHAR (40),

         `USER_MALL` BIGINT (20),

         `LAST_LOGIN_DATE` DATETIME ,

         `LAST_LOGIN_IP` VARCHAR (400),

         `SRC_OPEN_USER_ID` BIGINT (20),

         `EMAIL` VARCHAR (800),

         `MOBILE` VARCHAR (200),

         `IS_DEL` CHAR (4),

         `IS_EMAIL_CONFIRMED` VARCHAR (4),

         `IS_PHONE_CONFIRMED` VARCHAR (4),

         `CREATER` BIGINT (20),

         `CREATE_DATE` DATETIME ,

         `UPDATE_DATE` DATETIME ,

         `PWD_INTENSITY` VARCHAR (4),

         `MOBILE_TGC` VARCHAR (256),

         `MAC` VARCHAR (256),

         `SOURCE` VARCHAR (4),

         `ACTIVATE` VARCHAR (4),

         `ACTIVATE_TYPE` VARCHAR (4),

         `IS_LIFE` VARCHAR (4)

) ENGINE=INNODB;

2、优化录数据的存储过程

这里有变化了，设置了set autocommit=0;了，这样不用每次insert就commit一次，实现了30W后insert然后进行commit，这样就是批量提交，提高了数据写效率。

而且在执行commit的时候，为了验证是否批量提交，就做了有小验证，而且验证的信息写入到临时日志表里面uc_log表去，uc_log表结构如下：

CREATE TABLE `uc_log` (
  `msg` varchar(1000) DEFAULT NULL comment ‘提交信息记录’,
  `id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

存储过程内容：

DELIMITER $$

USE `test`$$

DROP PROCEDURE IF EXISTS `pro_test_data_1`$$

CREATE DEFINER=`dev_user`@`%` PROCEDURE `pro_test_data_1`( pos_begin INT,pos_end INT)

BEGIN

         DECLARE i INT;

         SET i=pos_begin;

         SET AUTOCOMMIT=0;

         WHILE  i>=pos_begin && i<= pos_end DO

                  

                   INSERT INTO test.`UC_USER_1` (`ID`, `USER_NAME`, `USER_PWD`, `BIRTHDAY`, `NAME`, `USER_ICON`, `SEX`, `NICKNAME`, `STAT`, `USER_MALL`, `LAST_LOGIN_DATE`, `LAST_LOGIN_IP`, `SRC_OPEN_USER_ID`, `EMAIL`, `MOBILE`, `IS_DEL`, `IS_EMAIL_CONFIRMED`, `IS_PHONE_CONFIRMED`, `CREATER`, `CREATE_DATE`, `UPDATE_DATE`, `PWD_INTENSITY`, `MOBILE_TGC`, `MAC`, `SOURCE`, `ACTIVATE`, `ACTIVATE_TYPE`, `IS_LIFE`) VALUES(i,'admin','1ba613b3676a4a06d6204b407856f374',NOW(),'超管','group1/M00/03/BC/wKi0d1QkFaWAHhEwAAAoJ58qOcg271.jpg','1','admin2014','01','1',NOW(),'192.168.121.103',NULL,'','10099990001','0','1','0',NULL,NULL,NULL,'1','E5F10CAA4EBB44C4B23726CBBD3AC413','1-3','0','2','2','1');

                   SET i=i + 1;  # 接下来判断30W一批次就commit一回。

                   IF MOD(i,300000)<=0 THEN

                            INSERT INTO test.uc_log(id,msg)VALUES(i,'begin to commmit a group insert sql data.');

                            COMMIT;

                   END IF;

         END WHILE;

END$$

DELIMITER ;

Blog来源地址： http://blog.csdn.net/mchdba/article/details/52987852，博主mchdba（黄杉），谢绝转载

3、录入数据忽略binlog

开始启用存储过程录入一亿条数据进表，命令call test.pro_test_data(0,100000000);，这里时间会比较长一些，毕竟是一亿条记录。

# 录入数据的时候，不写入binlog，加快数据录入

mysql> set sql_log_bin=0;

Query OK, 0 rows affected (0.00 sec)

mysql>

mysql> call test.pro_test_data_1(0,100000000);

Query OK, 1 row affected (1 hour 37 min34.57 sec)   # 看到用时是1 hours 37 min 34.57 sec，1个半小时左右。

mysql>

mysql> select count(1) from test.`UC_USER_1`;

+-----------+

| count(1)  |

+-----------+

| 100000001 |

+-----------+

1 row in set (3 min 0.14 sec)

mysql>