问题描述
-
我开发的网站加了个新功能：需要在线上处理表数据的批量合并和更新，昨天下午发布上线，执行该功能后，服务器的load突然增高，变化曲线异常，SA教育了我一番，让我尽快处理，将CPU负载降低。
-
工作所需，我经常要写些程序批量处理数据，每次执行几十万数据处理的时候，我机子的CPU都会飙高，而且数据处理速度会越来越慢。比如第一个1W条要5分钟，第二个1W条就要10分钟，要干其他事情的时候机子也卡的不行，只能等着处理完数据。
其实我一直认为是数据量太大，从来不认为是程序问题，所以一直没怎么关注过。这次问题浮上表面，所以要好好解决下！
产生原因
主要原因：Hibernate的一级缓存影响。
我们每次保存的东西都会保存在Session缓存中，这就是Hibernate的一级缓存，如果我们一直循环执行save等操作，缓存里东西会越来越多，速度也就越来越慢，服务器一直在循环处理，自然也会增加负载。
这本来就是Hibernate不擅长的地方，而且一级缓存不可以不用，如果我们要保存的数据量十分巨大，那么在程序中执行添加、更新方法时，Session对象自身开辟的一级缓存会不断消耗，直至OutOfMemoryError (内存溢出异常)。
这就需要我们管理好Hibernate的缓存，或者不使用Hibernate。
解决方案
批量插入优化
1、仍旧用Hibernate API来进行批处理，但在一定的量的时候，及时的清除缓存。
1）优化Hibernate，在配置文件中设置hibernate.jdbc.batch_size参数，来指定每次提交SQL的数量。配置hibernate.jdbc.batch_size参数的原因就是尽量少读数据库，hibernate.jdbc.batch_size参数值越大，读数据库的次数越少，速度越快。
<!--设置hibernate.jdbc.batch_size参数-->
<hibernate-configuration>
<session-factory>
.........
<property name="hibernate.jdbc.batch_size">50</property>
.........
<session-factory>
<hibernate-configuration>
2）程序及时清除缓存，即每插入一定量的数据后及时把它们从内部缓存中清除掉，释放占用的内存。 Session实现了异步write-behind，它允许Hibernate显式地写操作的批处理。
示例代码：
// 每处理50条清空缓存
session.save(myObject);
if (i/50 == 0) {
session.flush();
session.clear();
}
// 在我的项目中写法如下：
if (i/50 == 0) {
this.getHibernateTemplate().flush();
this.getHibernateTemplate().clear();
}
2、通过JDBC API来做批量插入，绕过Hibernate API。这个方法性能上是最好的，也是最快的。
示例代码：
String insertSql = "insert into user(name,address) values(?,?)";
Session session = getHibernateTemplate().getSessionFactory().openSession();
Connection conn = session.connection();
PrepareStatement stmt = conn.prepareStatement(insertSql);
// 方式1：自动提交
conn.setAutoCommit(true);
for(int i = 0; i++; i<10000) {
stmt.setString(1, "testName");
stmt.setString(2, "testAddress");
stmt.execute();
}
// 方式2：批量提交
conn.setAutoCommit(false);
for(int i = 0; i++; i<10000) {
stmt.setString(1, "testName");
stmt.setString(2, "testAddress");
stmt.addBatch();
if (i % 100 == 0) {
stmt.executeBatch();
conn.commit();
}
}
stmt.executeBatch();
conn.commit();
// 关闭session
session.close();
附测试数据：
// 测试方法：循环插入10000条数据，拆分10页，每页1000条。
// 直接Hibernate的save()方法，不做任何处理。
page 0 process time : 5925
page 1 process time : 6722
page 2 process time : 8019
page 3 process time : 9456
page 4 process time : 10263
page 5 process time : 11511
page 6 process time : 12988
page 7 process time : 13969
page 8 process time : 15196
page 9 process time : 16820
// Hibernate的save()方法，但每1个清除缓存。
page 0 process time : 10257
page 1 process time : 10709
page 2 process time : 11223
page 3 process time : 10595
page 4 process time : 10990
page 5 process time : 10222
page 6 process time : 10453
page 7 process time : 10196
page 8 process time : 9645
page 9 process time : 10295
// Hibernate的save()方法，但每50个清除缓存。
page 0 process time : 5848
page 1 process time : 5480
page 2 process time : 5739
page 3 process time : 5960
page 4 process time : 6287
page 5 process time : 5947
page 6 process time : 7012
page 7 process time : 6235
page 8 process time : 6063
page 9 process time : 6055
// JDBC的auto commit 方式
page 0 process time : 840
page 1 process time : 800
page 2 process time : 800
page 3 process time : 847
page 4 process time : 806
page 5 process time : 829
page 6 process time : 1042
page 7 process time : 893
page 8 process time : 857
page 9 process time