zoukankan      html  css  js  c++  java
  • mysql数据库的批量数据导入与导出,性能提升。

    少量数据批量导入:
    1. 先从数据库把唯一键的值查询出来,放在列表
    2. 将导入的数据遍历取出,看是否存在列表中,若不在,说明数据库没有。
    3. 定义两个空列表,一个做为插入数据,一个做为更新数据
    4. 步骤2中判断当前数据记录是否在在数据库中,不在则加入到插入的列表中,否则是更新的列表中,可以是判断列表的大小,建议每两三千条导入数据一次。

    几十或是百万级数据导入:
    1. 使用pandas读取excel表格数据,过滤去重等。
    导入的数据避免与数据库的重复。
    2. 导入时,先不做校验,先把导入到数据库的数据临时存放,加个临时值赋值给某个字段。
    3. 删除历史重复的数据,使用内关联,自关联。
    4. 再把导入的最新数据改为有效状态。

  • 相关阅读:
    妹妹
    小猴和北极熊
    盛趣->盛大
    运维
    操之过急
    修马路
    博人传
    醉酒
    【跨域】SpringBoot跨域,拦截器中,第一次获取的请求头为NULL,发送两次请求的处理方式
    【Linux】Linux安装Tomcat
  • 原文地址:https://www.cnblogs.com/xiaozengzeng/p/11932876.html
Copyright © 2011-2022 走看看