pip包管理工具的配置
爬虫课需要用的几个库:
pip install requests
pip install bs4
pip install lxml
pip install scrapy
安装scrapy时出现如下报错:
解决办法:
在不想安装VS的背景下,就只能下载下面这个软件解决:
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件
我下载的版本是Twisted-20.3.0-cp38-cp38-win_amd64.whl(cp后面是python版本,amd64代表64位)
然后在终端输入下载后的完整路径 直接pip install下载就ok了
pip install D:ProgramsPythonTwisted-20.3.0-cp38-cp38-win_amd64.whl
安装完成后,再次运行:
pip install scrapy
如下: