在scrapy项目中,由于编码问题,下载的网页中中文都是utf-8编码,在Pipeline.py中方法process_item将结果保存到数据库中时,提示UnicodeDecodeError: 'utf8' codec can't decode byte in position invalid start byte
解决方法:在Pipeline.py里增加如下代码。
import sys reload(sys) sys.setdefaultencoding("utf-8")