zoukankan      html  css  js  c++  java
  • Java使用SQLServerBulkCopy实现数据库批量操作

    Microsoft SQL Server 的bcp命令可以快速将大型文件复制插入到数据库中,C#提供了SqlBulkCopy方法实现该功能,而在java中可以通过SQLServerBulkCopy类实现类似的功能,且相对于insert、update等命令来说,这个类的效率要高的多。(对比常用的JDBC的Batch方法也高的多)。

    SQLServerBulkCopy类只能用于对SQL Sever数据库的插入,但是数据来源可以不是SQL Sever数据库。旧版的Microsoft SQL Server JDBC 驱动并没有提供这个类,需要下载Microsoft SQL Server JDBC 驱动程序 6.0版本:https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=11774。MS官方的说明文档在这个地址:https://docs.microsoft.com/en-us/sql/connect/jdbc/using-bulk-copy-with-the-jdbc-driver。

    SQLServerBulKCopy类向数据库插入数据支持三种类型封装的数据:Java本身提供的ResultSet、RowSet和JDBC提供的ISQLServerBulkRecord接口实现类。下面提供一种实现:

     /**
         * 获取空的CachedRowSet对象
         * 其中BaseDao为最常见的JDBC操作,这里就不贴出,相信大家看的懂
         * @throws SQLException
         */
        public CachedRowSetImpl getCachedRowSet() throws SQLException{
            //查询出空值用于构建CachedRowSetImpl对象以省去列映射的步骤
            ResultSet rs = baseDao.executeSQL("select * from FactMonthTimeTable where 1=0");
            CachedRowSetImpl crs = new CachedRowSetImpl();
            crs.populate(rs);
            //获取crs以后关闭数据库连接
            baseDao.closeResource();
            return crs;
        }
    
        /**
         * 向CachedRowSet对象插入一条数据
         * 循环调用这一个方法,将想插入数据库的数据先插入到CachedRowSet对象里
         * @param crs
         * @param fmt
         * @return
         * @throws SQLException
         */
        public CachedRowSetImpl insertIntoCachedRowSet(CachedRowSetImpl crs,Student stu) throws SQLException{
            //移动指针到“插入行”,插入行是一个虚拟行
            crs.moveToInsertRow();
            //更新虚拟行的数据
            crs.updateString("name", stu.getName());
            crs.updateInt("id", stu.getId());
            //插入虚拟行
            crs.insertRow();
            //移动指针到当前行
            crs.moveToCurrentRow();
            return crs;
        }
    
        /**
         * 使用BulkCopy和RowSet进行批量插入
         * @param crs
         * @param batchSize
         */
        public void insertBatch(CachedRowSetImpl crs,int batchSize)throws SQLException{
            //数据库连接字符串
            String url = "jdbc:sqlserver://localhost:1433;DatabaseName=datebaseName"
                             +";user=userName;password=userPassword";
            SQLServerBulkCopyOptions copyOptions = new SQLServerBulkCopyOptions();
            copyOptions.setKeepIdentity(true);
            copyOptions.setBatchSize(8000);
            copyOptions.setUseInternalTransaction(true);
            SQLServerBulkCopy bulkCopy =
                    new SQLServerBulkCopy(connectionUrl);
            bulkCopy.setBulkCopyOptions(copyOptions);
            bulkCopy.setDestinationTableName("tableName");
            bulkCopy.writeToServer(crs);
            crs.close();
            bulkCopy.close();
        }

     

  • 相关阅读:
    HTTP BIN测试
    JavaMail
    Linux内存分析
    HDU 4118 树形DP Holiday's Accommodation
    线性方程组的求解(C++)
    线性方程组的求解(C++)
    区间树(segment tree)
    区间树(segment tree)
    同余定理在算法求解中的应用
    同余定理在算法求解中的应用
  • 原文地址:https://www.cnblogs.com/hzcya1995/p/13317737.html
Copyright © 2011-2022 走看看