感悟】
写完这篇日志后，有调了一段时间程序，又有了一点心得分享下：
一）爬稳定的数(dong)据(xi)最好存储下来，特别是数据库在国外的那种，下载时间成本太高昂了，存起来再处理，会节约很多时间；
二）对于python使用多线程写数据到sqlite数据库的做法绝对是浪费感情，是扯淡的行为，一个词叫“大材小用”，单线程足够了。
三）写数据到数据库中commit的次数最好减少，可以10000条insert后commit，当然这取决于事务本身和其他因素，我这里可以提升一倍的速度。
四）回到爬的数据上，文本形式存储对于散户使用是最优的，处理速度快，格式定义好，正则等功能完胜sqlite。
【问题情境】
最近手闲，想写一个简单的批量下载网页的python工具。当然爬虫的轻量级框架scrapy以前用过，还不错。因为这次需求很简单，就直接人肉搞了。结果各种问题就出来了。
其中的思路是，多线程数据库存储这些网页，也方便之后数据处理。但是跑多线程时，脚本经常死掉。开了50个线程，基本出现的错误提示就是"Recursive use of cursors not allowed".
【问题分析】
数据库跑多线程的故事吧，一般都是事务没提交无法保证原子性的问题。问题解决方案可直接看下面的【问题解决】部分。
检查了第一遍：
问题1:发现有个查询语句select没有提交，commit了一下。
分析1：这里感觉没有什么问题，因为查询没有改变数据库所以不提交也一样。
跑一遍：
似乎错误提示少了一些。此时，我insert数据的sleep时间是1sec.试了几遍，还是中途崩掉。
检查第二遍：
问题2：缩短insert的sleep时间，问题更严重了。很快姐崩了。
分析2：应该是insert频繁导致的sql语句冲突概率增加。总感觉这里有问题，就差了下资料，果然是sqlite3多线程的时候有猫腻。于是，在每个提交的位置都增加了线程锁，增强同步效果。
跑了一遍：
错误提示"Recursive use of cursors not allowed"没有再出现。
【解决方案】
加锁，提交。
lock = threading.Lock()
def Func(host,cursor,db):
try:
lock.acquire(True)
res = cursor.execute('''...''',(host,))
# do something
finally:
lock.release()
【其他】
python的sqlite3使用多线程的参数check_same_thread是需要的：
self.conn = sqlite3.connect(dbname, check_same_thread=False)
版权声明：本文为CSDN博主「counsellor」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/counsellor/article/details/43715007