python3 两种方法将数据存入mysql数据库

方法一：（数据量小的时候推荐使用这种）

第一步：pip install mysqlclient

这里我没有报错 也许你可能会报错Read timed out   此时不要慌，这是因为你的网络问题，你使用豆瓣源再次下载：pip install  -i https://pypi.douban.com/simple/ mysqlclient

注意：以下针对linux用户（乌班图）：可能这时你会报错安装失败，解决方法：

安装命令：sudo apt-get install libmysqlclient-dev

linux用户（centOs）：

安装命令：sudo yum install python-devel mysql-devel

 1，在pipeline.py中写入如下代码：

import MySQLdb
#采用同步的机制写入mysql

class MysqlPipeline(object):
    def __init__(self):
        self.conn = MySQLdb.connect('localhost','root','root','article_spider',charset='utf8',use_unicode=True)
        self.cursor = self.conn.cursor()
    def process_item(self,item,spider):
        insert_sql = """ insert into article(title,create_date,url,fav_nums) VALUES(%s,%s,%s,%s)"""
        self.cursor.execute(insert_sql,(item['title'],item['create_date'],item['url'],item['fav_nums']))
        self.conn.commit()

2，在settings.py中写入如下代码：

ITEM_PIPELINES = {
    'ArticleSpider.pipelines.MysqlPipeline':1,
}

以上是一种插入数据库的方法，下面还有一种：mysql插入的异步方法

**********************************************************************华丽的分割线 ******************************************************************************

方法二：（数据量大的时候推荐使用这种，异步插入关系型数据库）

1，首先在settings.py中配置

MYSQL_HOST = 'localhost'
MYSQL_DBNAME ='article_spider'
MYSQL_USER = 'root'
MYSQL_PASSWORD = 'root'

2，在pipelines.py中贴入代码：

from twisted.enterprise import adbapi

import MySQLdb
import MySQLdb.cursors

#mysql插入的异步化,twisted 提供的异步api
class MysqlTwistedPipline(object):
    def __init__(self,dbpool):
        self.dbpool = dbpool
    @classmethod#方法是固定的,会被spider调用的
    def from_settings(cls,settings):
        dbparms = dict(
            host = settings['MYSQL_HOST'],
            db = settings['MYSQL_DBNAME'],
            user = settings['MYSQL_USER'],
            passwd = settings['MYSQL_PASSWORD'],
            charset = 'utf8',
            cursorclass =  MySQLdb.cursors.DictCursor,
            use_unicode = True
        )
        #**dbparms代表可变化的参数
        dbpool = adbapi.ConnectionPool("MySQLdb",**dbparms)
        return cls(dbpool)
    def process_item(self,item,spider):
        #使用twisted将mysql插入变成异步执行
        query = self.dbpool.runInteraction(self.do_insert,item)
        query.addErrback(self.handle_error,item,spider)
    #c处理异步插入的异常
    def handle_error(self,failure,item,spider):
        print(failure)
    def do_insert(self,cursor,item):
        #执行具体的插入
        insert_sql = """ insert into article(title,create_date,url,fav_nums) VALUES(%s,%s,%s,%s)"""
        cursor.execute(insert_sql,(item['title'],item['create_date'],item['url'],item['fav_nums']))

　　致辞插入数据库的方法完成。喜欢的记得点个赞哦。。。谢谢谢谢~~