zoukankan      html  css  js  c++  java
  • 使用spring jdbc遇到的一个性能问题

    使用JdbcTemplate的queryForList方法,返回特别慢,40多万结果集耗时超过6分钟。双核CPU,占用率始终在50%,内存逐渐增长至2G左右。

    进行debug跟进去看,看到jdbcTemplate调用jdbc返回ResultSet只用了30秒左右,之后就一直耗在extractData方法里。该方法是用默认的RowMapper,先取得MetaData然后根据这个去生成Map。

    对比方法:

    1. 使用纯jdbc对比,手工码代码,直接调用Map的put方法逐个生成Map并填充数据。同样的sql,耗时40多秒,最后内存2G,其中根据ResultSet生成List<Map<String, Object>>的过程不超过10s。

    2. 改用jdbcTemplate的public <T> List<T> query(String sql, RowMapper<T> rowMapper)方法,T填入Map<String, Object>,这样就跟queryForList方法返回值一样了,然后自己实现RowMapper,直接用Map的put方法填充数据。实验结果跟直接用纯jdbc效率相同。

    3. 使用纯jdbc,自己写一个实体类,把resultSet里的数据循环填入对象放到List里。耗时40多秒,最后内存1.5G。说明还是会省一点内存的。但是性能提升有限。

    结论:

    目前建议结果集较大时,最好使用public <T> List<T> query(String sql, RowMapper<T> rowMapper)方法替代qeuryForList方法,这样效率会有所提高。

    未来估计jdbcTemplate的queryForList效率也会提升到相似水平。

  • 相关阅读:
    Redis持久化之RDB
    linux中查看进程中的线程
    Redis客户端
    Redis之GEO
    Redis之发布订阅
    Redis之HyperLogLog
    CSP-S2020游记
    根据表名 查询 表的列,备注,类型等 SQL
    mybatis-plus的使用 ------ 入门
    IntelliJ IDEA 版本控制(svn、git) 修改文件后,所属目录的颜色也变化
  • 原文地址:https://www.cnblogs.com/oceanking/p/5879563.html
Copyright © 2011-2022 走看看