大半夜的在删除线上的日志数据,需要清理的大概有1亿八千万条。。。任务艰巨。
毕业前没学过数据库,所以对于如何清理大量数据还真一时不知道该怎么办才好。刚开始确实想过对表进行重命名的方式来处理,不过当时因为想到还有数据需要保存且对数据库的了解不够所以作罢。
一般情况下删除数据是使用delete,这个是最普通但是也是效率最低的一个。
还有一个就是truncate,这个操作会把表中所有的数据给清除掉。(如果是要清空数据的话这个效率最高)
第三个就是我这么晚我为什么还在这写这篇不能算博文的文章吧。
前面说过我之前想到过用对表进行重命名的方法清除数据,今天google的时候发现了一个写的很好的示例。原文不让看,还好google机器人可以看。
下面的是实现方法:
-
Select the rows not to be deleted into an empty table that has the same structure as the original table:
INSERT INTO t_copy SELECT * FROM t WHERE ... ; //把要删除大量数据的表中不需要删除的数据转存到另外一张表中
-
Use RENAME TABLE to atomically move the original table out of the way and rename the copy to the original name:
RENAME TABLE t TO t_old, t_copy TO t;//同时重明明两张表,间接实现数据删除操作
-
Drop the original table:
DROP TABLE t_old; //视情况而定吧,我清理数据是因为业务慢了,但是既然转存之后不会影响业务也就没删除转存出来的数据。
整个清理数据的过程我用了大概一分钟左右,如果delete的话。。。你懂的