zoukankan      html  css  js  c++  java
  • python批量插mysql 2种方法 对比 装饰器timer

    摘要:  

    1自动化单条insert  => 单条insert的话插入5w条数据大约用时5秒左右,相对来说效率不高

    2拼接sql语句,只执行一次insert   =>使用这种批量插入方式插入5w条数据用时大约不到1秒

    1.自动化单条insert

    # -*- coding:utf-8 -*-
    import time
    from pymysql import *
    # 装饰器,计算插入50000条数据需要的时间
    def timer(func):
        def decor(*args):
            start_time = time.time()
            func(*args)
            end_time = time.time()
            d_time = end_time - start_time
            print("the "+str(func.__name__)+" running time is : ", d_time)
    
        return decor
    
    @timer
    def add_test_users():
    
        conn = connect(host='127.0.0.1', port='3306', user='root', password='root', database='数据库名', charset='utf8')
        cs = conn.cursor()  # 获取游标
        for num in range(0, 50000):
            try:
                sql = "insert into '表名'(字段名) values(值)"
                cs.execute(sql)
            except Exception as e:
                return          
        conn.commit()  # 提交
        cs.close()
        conn.close()
        print('OK')
    
    add_test_users()

    单条insert的话插入5w条数据大约用时5秒左右,相对来说效率不高

    2.拼接sql语句,只执行一次insert

    # -*- coding:utf-8 -*-
    import time
    from pymysql import *
    
    # 装饰器,计算插入50000条数据需要的时间
    def timer(func):
        def decor(*args):
            start_time = time.time()
            func(*args)
            end_time = time.time()
            d_time = end_time - start_time
            print("the running time is : ", d_time)
    
        return decor
    
    @timer
    def add_test_users():
        
        usersvalues = []
        for num in range(1, 50000):
            usersvalues.append(('zhangsan','23'))  # 注意要用两个括号扩起来
    
        conn = connect(host='127.0.0.1', port='3306', user='root', password='root', database='数据库名', charset='utf8')
        cs = conn.cursor()  # 获取光标
        # 注意这里使用的是executemany而不是execute,下边有对executemany的详细说明
        cs.executemany('insert into '表名'(name,age) values(%s,%s)', usersvalues)
        conn.commit()
        cs.close()
        conn.close()
        print('OK')
    add_test_users()

    原文: https://blog.csdn.net/weixin_42703149/article/details/85120029

  • 相关阅读:
    【python 待做】
    【python 第13日】网络通信socket socketserver
    【python第11日】自动生成项目目录 安全插入本文件夹下文件,即使别人引用也可以
    【python 第12日】 except异常
    【python 第10日】打飞机的小游戏 pygame
    【python 第9日】上下文 类装饰器 元类 属性描述符扩展
    Python(2.7)-字符串
    Python(2.7)-字典(dict)
    Python(2.7)-列表(list)
    mysql linux centos yum 安装
  • 原文地址:https://www.cnblogs.com/lshan/p/15348797.html
Copyright © 2011-2022 走看看