zoukankan      html  css  js  c++  java
  • 批量更新代码整理(代码库)从数组中批量取数据的方法

    查询出所有的数据,分批插入。从原来的所有的list 数据里面,每次拿出X 条数据,再批量更新

    public void insertStudent() {
        List<Student> list = studentDao.listAllStudentForStat();
        int batchNum = 2000; //批量更新的条数,每X条更新一次
        for (int i = 0; i < list.size(); i += batchNum) {
            List<Student> ansList = new ArrayList<>(batchNum);
            int max = i + batchNum < list.size() ? i + batchNum : list.size();
            ansList.addAll(list.subList(i, max));
    
            try {
                if (!ansList.isEmpty()) {
                    //批量插入
                    studentDao.insertOrUpdateStudentList(ansList);
                    logger.info("定时更新student表时,更新了 {} 数据,最后的指针为 {}", ansList.size(), max);
                }
            } catch (Exception e) {
                logger.error("更新student表异常,异常信息为:{}", e.getMessage(), e);
            }
    
        }
    }

    升级版

    查询出所有的数据,分批插入,并且插入的每条数据需要再通过其他的表来赋值特定的字段。
    如果在for循环里,每次都查询表,也很耗性能,比较好的办法,一次查询,放到map里,从内存里进行查询

    public void insertStudent() {
        List<Student> list = studentDao.listAllStudentForStat();
        int batchNum = 2000; //批量更新的条数,每X条更新一次
        for (int i = 0; i < list.size(); i += batchNum) {
            List<Student> ansList = new ArrayList<>(batchNum);
            int max = i + batchNum < list.size() ? i + batchNum : list.size();
            ansList.addAll(list.subList(i, max));
    
            try {
                //批量查询
                List<UserLoginDateVo> userLastLoginDateList = userDao.listLastLoginDateByStudentList(studentList);
                //将查询出的实体放到map对象里去
                Map<Long, Date> userLastLoginDateMap = new HashMap<>();
                if (userLastLoginDateList != null && !userLastLoginDateList.isEmpty()) {
                    for (UserLoginDateVo item : userLastLoginDateList) {
                        userLastLoginDateMap.put(item.getUid(), item.getLoginDate());
                    }
                }
    
                //从map对象中取值,赋给实体对象
                for (Student student : ansList) {
                    student.setLoginTime(Optional.ofNullable(userLastLoginDateMap.get(student.getUid())).orElse(DateUtil.getDefaultDate()));
                }
    
                if (!ansList.isEmpty()) {
                    //批量插入
                    studentDao.insertOrUpdateStudentList(ansList);
                    logger.info("定时更新student表时,更新了 {} 数据,最后的指针为 {}", ansList.size(), max);
                }
            } catch (Exception e) {
                logger.error("更新student表异常,异常信息为:{}", e.getMessage(), e);
            }
        }
    }

     原创文章,欢迎转载,转载请注明出处!

  • 相关阅读:
    vue-cli生成的重要代码详解
    vuex初探
    vue-router笔记
    新技术的学习
    图片优化方法(有时间看看)
    关于老教授之家项目的思考 && 中国互联网+大赛培训
    If you are tired...
    微信公众平台开发初探
    winscp介绍与使用
    获取当前服务器信息
  • 原文地址:https://www.cnblogs.com/acm-bingzi/p/for_part_list.html
Copyright © 2011-2022 走看看