一开始安装的时候用不了pip install命令安装scrapy
需要在cmd进行多几块命令
一开始我是这样的
D:python>pip install scrapy
报错说invalid syntax
后面百度了一下:
解决办法是:
在命令行下cd 进对应python的script文件目录,再执行pip指令即可。
但是在打开Scripts的时候有可能也会报错,说内部或外部没有这个文件
这时候应该考虑的环境变量的问题,在path处添加安装环境变量就可以了
上面的事情昨晚就可以安装scrapy了
不过做完pip install scrapy安装完后,还会继续出现一个叫wheel的问题
这时候就要去百度搜索 python whl
找到https://www.lfd.uci.edu/~gohlke/pythonlibs/这个链接的网址
ctrl+F 输入twisted
点击进去会出现
选中属于自己环境的版本就可以下载了
我下载完就放进python的script文件目录里面
再用cmd重复前面的
pip install Twisted就可以了
安装完重新打开cmd
在Scripts处打开scrapy,因为用pip安装的文件都会在Scripts里面。
用scrapy bench检查scrapy是否真正安装完成。
如果可以就可以输入命令:scrapy startproject XXX
开始scrapy的爬虫之旅吧!