zoukankan      html  css  js  c++  java
  • 批量更新代码整理(代码库)从数组中批量取数据的方法

    查询出所有的数据,分批插入。从原来的所有的list 数据里面,每次拿出X 条数据,再批量更新

    public void insertStudent() {
        List<Student> list = studentDao.listAllStudentForStat();
        int batchNum = 2000; //批量更新的条数,每X条更新一次
        for (int i = 0; i < list.size(); i += batchNum) {
            List<Student> ansList = new ArrayList<>(batchNum);
            int max = i + batchNum < list.size() ? i + batchNum : list.size();
            ansList.addAll(list.subList(i, max));
    
            try {
                if (!ansList.isEmpty()) {
                    //批量插入
                    studentDao.insertOrUpdateStudentList(ansList);
                    logger.info("定时更新student表时,更新了 {} 数据,最后的指针为 {}", ansList.size(), max);
                }
            } catch (Exception e) {
                logger.error("更新student表异常,异常信息为:{}", e.getMessage(), e);
            }
    
        }
    }

    升级版

    查询出所有的数据,分批插入,并且插入的每条数据需要再通过其他的表来赋值特定的字段。
    如果在for循环里,每次都查询表,也很耗性能,比较好的办法,一次查询,放到map里,从内存里进行查询

    public void insertStudent() {
        List<Student> list = studentDao.listAllStudentForStat();
        int batchNum = 2000; //批量更新的条数,每X条更新一次
        for (int i = 0; i < list.size(); i += batchNum) {
            List<Student> ansList = new ArrayList<>(batchNum);
            int max = i + batchNum < list.size() ? i + batchNum : list.size();
            ansList.addAll(list.subList(i, max));
    
            try {
                //批量查询
                List<UserLoginDateVo> userLastLoginDateList = userDao.listLastLoginDateByStudentList(studentList);
                //将查询出的实体放到map对象里去
                Map<Long, Date> userLastLoginDateMap = new HashMap<>();
                if (userLastLoginDateList != null && !userLastLoginDateList.isEmpty()) {
                    for (UserLoginDateVo item : userLastLoginDateList) {
                        userLastLoginDateMap.put(item.getUid(), item.getLoginDate());
                    }
                }
    
                //从map对象中取值,赋给实体对象
                for (Student student : ansList) {
                    student.setLoginTime(Optional.ofNullable(userLastLoginDateMap.get(student.getUid())).orElse(DateUtil.getDefaultDate()));
                }
    
                if (!ansList.isEmpty()) {
                    //批量插入
                    studentDao.insertOrUpdateStudentList(ansList);
                    logger.info("定时更新student表时,更新了 {} 数据,最后的指针为 {}", ansList.size(), max);
                }
            } catch (Exception e) {
                logger.error("更新student表异常,异常信息为:{}", e.getMessage(), e);
            }
        }
    }

     原创文章,欢迎转载,转载请注明出处!

  • 相关阅读:
    将Word、Excel内容显示在Winform界面
    C#操作Word
    WinForm控件小知识
    C#一些小知识点
    C#导入导出Excel表的数据
    tp控制数据库
    php缓存
    php环境搭建(转自发瑞)
    tp框架知识集锦(3.2)
    用smarty模板实现数据的显示修改以及分页
  • 原文地址:https://www.cnblogs.com/acm-bingzi/p/for_part_list.html
Copyright © 2011-2022 走看看