用python做爬虫的,肯定熟悉scrapy,不过新手安装总是会遇到各种奇葩错误。
错误一:building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
这是缺少库文件引起的。
解决办法:下载一个软件安装就够了,链接: https://pan.baidu.com/s/1mkbVf7WBgdMRCDxrET05IQ 提取码: 384z
这个软件会安装所有的可能用的库文件,vc9、vc10、vc11、vc12、vc14,一次性解决所有。
温馨提示:安装后,就得重新关闭cmd窗口后,重新打开才会生效。
错误二:ModuleNotFoundError: No module named ‘win32api’
这个错误是找不到模块,需要安装pywin32,前往https://www.lfd.uci.edu/~gohlke/pythonlibs/,找到对于的pywin32下载whl文件(注意对应的python版本,系统位数)
下载后,cmd到下载文件目录执行:pip install 下载的文件名
最后再cmd 进入到python安装目录的scripts里面执行:python pywin32_postinstall.py -install
这样就搞定啦。
错误三:Unknown command: crawl
这个错误应该是 执行 scrapy crawl demo 时产生的
查看自己是不是在项目根目录下执行,及scrapy.cfg所在的目录。