Python爬虫入门教程 13-100 斗图啦表情包多线程爬取

1.准备爬取斗图la写在前面

今天在CSDN博客，发现好多人写爬虫都在爬取一个叫做斗图啦的网站，里面很多表情包，然后瞅了瞅，各种实现方式都有，今天我给你实现一个多线程版本的。关键技术点 aiohttp ，你可以看一下我前面的文章，然后在学习一下。

网站就不分析了，无非就是找到规律，拼接URL，匹配关键点，然后爬取。

2.开始撸代码

首先快速的导入我们需要的模块，和其他文章不同，我把相同的表情都放在了同一个文件夹下面，所以需要导入os模块

import asyncio
import aiohttp
from lxml import etree
import os

编写主要的入口方法

if __name__ == '__main__':
    url_format = "http://www.doutula.com/article/list/?page={}"
    urls