zoukankan      html  css  js  c++  java
  • python 异步MySQL存库

    对于异步框架而言,这些延迟是无法接受的。因此, Twisted 提供了 twisted.enterprise.adbapi, 遵循DB-API 2.0协议的一个异步封装。

    adbapi 在单独的线程里面进行阻塞数据库操作, 当操作完成的时候仍然通过这个线程来进行回调。同事,原始线程能继续进行正常的工作,服务其他请求。

    # 用twisted库将数据进行异步插入到数据库
    
    import pymysql
    from twisted.enterprise import adbapi
    from twisted.internet import reactor
    
    
    class MysqlTwistedPipeline(object):
        def __init__(self, dbpool):
            self.dbpool = dbpool
    
        @classmethod
        def from_settings(cls, settings):
            # 需要在setting中设置数据库配置参数
            dbparms = dict(
                host=settings['MYSQL_HOST'],
                db=settings['MYSQL_DBNAME'],
                user=settings['MYSQL_USER'],
                passwd=settings['MYSQL_PASSWORD'],
                charset='utf8',
                cursorclass=pymysql.cursors.DictCursor,
                use_unicode=True,
            )
            # 连接ConnectionPool(使用MySQLdb连接,或者pymysql)
            dbpool = adbapi.ConnectionPool("MySQLdb", **dbparms)  # **让参数变成可变化参数
            return cls(dbpool)   # 返回实例化对象
    
    
        def process_item(self, item, spider):
            # 使用twisted将MySQL插入变成异步执行
            query = self.dbpool.runInteraction(self.do_insert, item)
            # 添加异常处理
            query.addCallback(self.handle_error)
    
    
        def handle_error(self, failure):
            # 处理异步插入时的异常
            print(failure)
    
    
        def do_insert(self, cursor, item):
            # 执行具体的插入
            insert_sql = """
                        insert into jobbole_artitle(name, base_url, date, comment)
                        VALUES (%s, %s, %s, %s)
                    """
            cursor.execute(insert_sql, (item['name'], item['base_url'], item['date'], item['coment'],))
  • 相关阅读:
    分布式缓存memcached介绍,win7环境安装,常用命令set,get,delete,stats, java访问
    【转】移除HTML5 input在type="number"时的上下小箭头
    ES6特性的两点分析
    hexo_config.yml配置内容
    JS性能分析(测试代码运行时间)
    github修改仓库项目的语言类型
    JavaScript回文数
    JS设计模式
    webpac入门
    居中问题
  • 原文地址:https://www.cnblogs.com/zft710/p/9276431.html
Copyright © 2011-2022 走看看