python Scrapy 常见问题记录

ImportError: No module named win32api

处理办法

windows系统上出现这个问题的解决需要安装Py32Win模块，但是直接通过官网链接装exe会出现几百个错误，更方便的做法是

pip install pypiwin32

 

执行scrapy 时 如果要将爬取得数据保存起来，可以 使用命令

scrapy crawl  spiderName -o 文件名.格式

scrapy crawl HuibeiSpider -o hubei_info.csv

生成的csv 文件打开会出现乱码，

原因是  默认python生成的csv是 UTF-8无BOM编码 

处理办法

简单来说，用notepad+打开csv，然后修改csv文件格式为 UTF-8编码。

默认python生成的csv是 UTF-8无BOM编码


复杂的方法是自己去扩展scrapy的csv序列化，改成UTF-8编码创建csv

scrapy crawl firstSpider -o items.json

新生成的文件存放到了项目更目录下

 

解决办法

 加上代码

import sys
reload(sys)
sys.setdefaultencoding('utf-8')