今天因为项目需要,想测试一下读取百万级数量数据的速度如何,无奈数据库没有现成符合要求的数据,网上百度一番有很都不错的文章,但是需要涉及到一些存储过程和用php代码什么的,虽说可以实现,但是感觉另外再弄这些比较麻烦,没有通用性,于是在几篇文章的参考下,.自己写了一段代码,直接生成的数据还是比较方便的,并且不是重复的数据.网上很多都是重复的,我只是做了一点小的修改,测试数据库是mysql 5.5,存储形式是MyISAM,每次生成的数据量是之前的一倍.测试的量有限,如有什么疑问欢迎评论指正.
首先我的生成table的代码如下:
SET FOREIGN_KEY_CHECKS=0; -- ---------------------------- -- Table structure for user -- ---------------------------- DROP TABLE IF EXISTS `user`; CREATE TABLE `user` ( `username_` bigint(255) NOT NULL AUTO_INCREMENT , `id_` varchar(255) CHARACTER SET latin1 COLLATE latin1_swedish_ci NULL DEFAULT NULL , `password_` varchar(255) CHARACTER SET latin1 COLLATE latin1_swedish_ci NULL DEFAULT NULL , PRIMARY KEY (`username_`) ) ENGINE=MyISAM DEFAULT CHARACTER SET=latin1 COLLATE=latin1_swedish_ci AUTO_INCREMENT=4345501 ;
这里应该可以看到我的测试主键是username_,设置的是自动增加.
数据表设计完成之后需要插入一条数据,比方说随便插入个(1,1,1),这里就不再多提.
接下来就是和其他的博客所不同的了,直接贴出代码如下:
INSERT INTO USER (id_, password_) SELECT MD5(Rand()), RAND() FROM USER
插入的内容直接替换成了md5函数所生成的字符串,当然这里可以用其他的生成函数,或者一时间为随机数种子什么的,或者直接用sbustr直接截取需要的长度都行,根据需要自行发挥就好.直接运行几次就可以达到想要的数据量,我测试的时候10w数据生成时间在1s左右,100w数据生成的时间在20s以内.具体时间如下如下:
Affected rows: 131072 Time: 1.237s Affected rows: 1048576 Time: 11.436s Affected rows: 2097152 Time: 33.112s
下面简单展示一下数据的效果:
8539769 b7dd0b3c4c05c24c17ffbac782380bfa 0.33960725678094406 8539770 76375a066cb84d6917f10f995e3bcab4 0.8744977376186268 8539771 96f64ceebae73c8ad8c70c8454c5e8de 0.5589919803282172 8539772 a6227053399504e8e43f2f270c7c6867 0.7503682642712893 8539773 499e38f691698a8dc9d6b09d8196a348 0.22606947480334852 8539774 f6707b6ba5613bbc976b0b0cd5608694 0.5420059194248225 8539775 87210a1472a3a0ac0a2fb267be926d29 0.2634874724442954 8539776 3a5160cd046a685d6c5bc1d7eb0df006 0.12820897822101504 8539777 873ca65bf8f16cf625cafe66157beb80 0.0645836108034324 8539778 7db474aa795bc426d96fcc227b85acd4 0.07320807787888504 8539779 0b7e470834663bf483b29879cf92d263 0.8097012590707291 8539780 4d87498d6b55d9e4be89cb49f5a2baa1 0.7254514980366933 8539781 17886ec3f1b8a74abccb5b6907ce418a 0.49626740766341554 8539782 56d0a73f1b7b8ae5e4108d1e1c0fc66a 0.9000175398774608 8539783 5771ffc3dd277f0f90bf70e9e50bdeac 0.6339268653038208 8539784 c6dd5f6242b1467b37e7a7754b49a93a 0.9444528584782527 8539785 b287343de15669e13c58783e0bdab87e 0.2392627999552179 8539786 fd216a8220ca4cf01cf354185d7f3670 0.04591774944767146 8539787 078ed0041a8d3c5cd80da0949f1e49c5 0.7190723165116015 8539788 b4df3c411abfbcad9b133f961aa0d205 0.24911454529419033 8539789 45c80eb49d90ac37383f27b3237391a7 0.26152578858800773 8539790 6917c5ccd8b46d2a76752b3eb3d94e45 0.7269593521272385 8539791 1100438096f9a168a9a64b0e2d5c47af 0.45849586972826706 8539792 cd605186ba36701ef566179b286ab04b 0.16878763229473273 8539793 9b1978f674244e393aafa57ce56c9c31 0.08050246264832324 8539794 29381a8b22bb91ff1bd0339b195b1d32 0.010458376268351801 8539795 90924c96c8ecf6b68a11eb67cd97ea38 0.47418726186658 8539796 4958f79ccfa8ae806870da3cb223f00d 0.9154328656526588 8539797 3fb17b3aafe4c17ecb6bafdc7e2d5fd2 0.12553936720410303 8539798 95ed08bbdb31dcc9aba57330fdab5160 0.14635246260683282 8539799 78993b5fac11a8bc35d68422d4ac06d0 0.6508427612957012 8539800 0b7ace71592830815a30fff7caa039db 0.048840577759631514 8539801 9f6d9871ba97d74d4ba78640ee596fd2 0.07038640237449334 8539802 aaded281f2d0057b578a52ae7c58f074 0.8977767218814946 8539803 e968a6d036fcca9abca2b9d9ef905a2a 0.42428037098076227
参考的一些文章列举在下面,如果有什么更好的建议也随时欢迎联系wangkun.it@qq.com.
mysql中迅速插入百万条测试数据的方法 - MokeyChan - 博客园
http://www.cnblogs.com/endtel/p/5404065.html
mysql 快速生成百万条测试数据 - 小哈-whzhaochao - CSDN博客
http://blog.csdn.net/whzhaochao/article/details/49126037
用一条SQL快速生成10万条测试数据 - SQL Server(mssql)数据库栏目 - 红黑联盟
http://www.2cto.com/database/201109/103397.html