今天学了会Python爬虫,走的是福利路线(mzitu.com)
爬虫还是很顺利的,但是保存福利图的时候遇到了很多困难
需求就是根据网页标题来创建文件夹存储当前网页的H图
首先网页标题获取的时候特意用
type(title)
看了一下,是unicode,为了实现过滤某些字符,比如"?"之类的需要用str.replace()
但是直接
str(title)
是不可以的,所以要在爬虫代码最前加入
import sys reload(sys) sys.setdefaultencoding('utf-8')
之后在Windows创建文件夹,以标题为文件夹名
在百度了无数大神的经典解说后,并没卵用(全TM说转码GBK、GB2312、GB18030)
自己试出来了,转UTF-8即可
path = str(title).strip().decode('utf-8') os.makedirs(os.path.join("D:mzitu", path)) oschdir("D:mzitu\" + path)
于是 get√