zoukankan      html  css  js  c++  java
  • 【java】itoo项目实战之hibernate 批量保存优化

         在itoo中。基本上每一个系统都有一个导入功能,大量的数据填写进入excel模板中。然后使用导入功能导入的数据库中,这样能够大大的提高工作效率。

    那么导入就涉及到了批量保存数据库的问题了。

         那么通常情况下,在一个Session对象的缓存中数量有限的持久化对象,等到Session对象处理事务完成,还要关闭Session对象,从而及时释放session的缓存占用的内存。在批量保存1万条数据,假设一次性把须要保存的1万条数据载入到内存职工,当运行事务提交的时候,就会清理缓存,hibernate运行1万条更新语句。

    这样更新的方式有两个缺点:

    1占用大量内存。必须把1万条载入到内存中,然后一一更新它们。

    2)运行的update数目过多,每一个update语句仅仅能更新一条数据,必须通过1万条update语句才干更新1万条数据。频繁地訪问数据库,会大大减少应用的性能。

         对于以上的情况。咱们能够通过Session来进行批量操作。Session sava方法都会把处理对象的存放在自己的缓存职工,假设通过一个Session对象来处理大量持久化对象,应该及时从缓存中清空已经处理完成而且不会在訪问的对象。

    详细的做法就是处理完一个对象或者小批量对象后,立马调用Flush()方法清理缓存,然后再调用Clear()方法清空缓存。


    假设通过Session来进行批量操作,会受到下面的约束:


    1.须要在hibernate的配置文件里设置JDBC单次批量处理的数目。合理的取值通常为10~50,比如hibernate.jdbc.batch_size=30;这样设置的。就须要保证每次像数据库发送的批量SQL语句数目与这个batch_size属性一致。


    2.假设操作对象採用"identity"标识符生成器,则Hibernate无法在JDBC层进行批量插入操作。


    3.进行批量操作时。建议关闭hibernate的第二级缓存。Session的缓存为hibernate的第一级缓存,通常它是事务范围内的缓存。每一个事务都有单独的第一级缓存。

    SessionFactory的外置缓存为Hibernate的第二级荤菜,它是应用范围内的缓存,全部的事务都共享同一个第二级缓存。在不论什么情况下,hibernate的第一级缓存总是可用的,在默认情况下。hibernate的第二级缓存是关闭的。可是也能够在hibernate的配置文件里手动关闭二级缓存:

    Hibernate.cache.use_second_level_cache=false;

     

    itoo中批量保存的代码例如以下:

     

    <span style="font-family:FangSong_GB2312;font-size:18px;">/**
     * 批量保存
     *
     * @param list
     *            list类型
     * @return 返回boolean值
     */
    public <T> boolean saveEntitys(List<T> list) {
    boolean flag = false;
    int batchSize = 30;
    int i = 0;
    getDataBaseName(list.get(0));
    try {
    for (Object entity : list) {
    getEntityManager().persist(entity);
    i++;
    if (i % batchSize == 0) {
    getEntityManager().flush();
    getEntityManager().clear();
    }
    }
    flag = true;
    } catch (Exception e) {
     
    }
    return flag;
    }</span>

         在以上的程序中,每次运行session.flush()方法,就会向数据库职工批量插入30条记录。接下来session.clear()方法把20个刚保存的对象从缓存中清空。

     

         仅仅要是设计有批量导入的情况,都会涉及到批量保存的内容,这篇博客就是让你的批量保存达到最优效果。

  • 相关阅读:
    iptables dnat不通
    os.system()和os.popen()
    mysql登录提示ERROR 1524 (HY000): Plugin 'unix_socket' is not loaded解决方法
    SpringBoot之web开发
    基于MQ的分布式事务解决方案
    Docker核心技术
    [Java]Object有哪些公用方法?
    zookeeper
    单例模式的几种实现方式及优缺点
    并发编程之Synchronized原理
  • 原文地址:https://www.cnblogs.com/yangykaifa/p/6840297.html
Copyright © 2011-2022 走看看