1.Commit 的次数要适当
据马宏伟的测试,
一个 50 万条记录的表,有索引,update 或 insert 一条记录是 6 毫秒。Commit 一条要 3 毫秒,所以也不能 commit 太频繁。
2. 使用临时表取代一条一条插入
如果程序是要一条一条记录的插入到一个数据量很大的表中,如果是使用一个临时表作为一个中间表,先插入到中间表,再一次插入大表中。
我是用 50 个进程并行的,改动前后的速度比较是 50 分钟--> 分钟4。是分解的国泰君安深圳席位的数据,共 9 万条数据,137 个席位。计算比较复杂。
改临时表后,锁的等待变得很少,数据库及 cpu 的压力就可以上去。
待续。。。