zoukankan      html  css  js  c++  java
  • SQLServer2005获取大数据集时内存不足的解决办法[转]

    使用jdbc读取SQLServer2005的一个表全部记录,该表具有10W记录,结果发生以下错误:
    Java代码
    1. com.microsoft.sqlserver.jdbc.SQLServerException: 系统内存不足。请对大型 ResultSet 使用服务器端游标: Java heap space。ResultSet 大小:236,535,956。JVM 总内存大小:312,213,504。   
    2.      at com.microsoft.sqlserver.jdbc.SQLServerException.makeFromDriverError(Unknown Source)   
    3.      at com.microsoft.sqlserver.jdbc.DBComms.receive(Unknown Source)   
    4.      at com.microsoft.sqlserver.jdbc.SQLServerStatement.doExecuteStatement(Unknown Source)   
    5.      at com.microsoft.sqlserver.jdbc.SQLServerStatement$StatementExecutionRequest.executeStatement(Unknown Source)   
    6.      at com.microsoft.sqlserver.jdbc.CancelableRequest.execute(Unknown Source)   
    7.      at com.microsoft.sqlserver.jdbc.SQLServerConnection.executeRequest(Unknown Source)   
    8.      at com.microsoft.sqlserver.jdbc.SQLServerStatement.executeQuery(Unknown Source)  
     

    使用以下代码无效
    Java代码
    1. Statement stmt = con.createStatement(ResultSet.TYPE_FORWARD_ONLY,ResultSet.CONCUR_READ_ONLY);   
    2. stmt.setFetchSize(100);  
     

    查文档得知与sqlserver jdbc驱动的select Method有关。selectMethod分为direct和cursor。当使用direct时,驱动会一次性载入所有结果集到jvm内存中,因此造成了out of memory;而使用cursor时,会在服务器端创建一个cursor,因此不会占据客户端的大量内存,办法有两种:
    1. 修改SQLServer2005 jdbc的URL: jdbc.url=jdbc:sqlserver://127.0.0.1;instanceName=ProductDB;databaseName=product_index;selectMethod=cursor 
      这种方式会影响整个应用程序,可能引起其他普通情况的读取性能下降。
    2. 使用如下代码
      Java代码
      1. Statement stmt = con.createStatement(SQLServerResultSet.TYPE_SS_SERVER_CURSOR_FORWARD_ONLY,ResultSet.CONCUR_READ_ONLY);  

      这种方式会造成SQLServer的API侵入,但不失为一种更好的办法。


    参考文档:

    http://msdn.microsoft.com/zh-cn/library/ms378988(SQL.90).aspx

    http://msdn.microsoft.com/zh-cn/library/ms378405(SQL.90).aspx

  • 相关阅读:
    The Dfferents between Redirect and Forward锻炼英文水平
    在Asp.net中将GridView打印为word或者Excel
    oracle数据无法导入表情况之一
    对“不是内部或外部命令,也不是可运行的程序?”处理
    想去 2008 北京 sun 科技日
    Bad version number in .class file
    Applet问题
    KTV
    命令行下的mysql的基本操作
    Ajax之DWR框架使用小结(2)
  • 原文地址:https://www.cnblogs.com/huangfox/p/2265744.html
Copyright © 2011-2022 走看看