Python的两个爬虫框架PySpider与Scrapy安装 win10安装pyspider: 最好以管理员身份运行CMD,不然可能会出现拒绝访问文件夹的情况! pyspider:pip install pyspider https://docs.pyspider.org/en/latest/ Win10安装Scrapy 最好以管理员身份运行CMD,不然可能会出现拒绝访问文件夹的情况! 1.安装wheel pip install wheel 2.安装lxml https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml pip install 绝对路径 3.安装PyOpenssl https://pypi.python.org/pypi/pyOpenSSL#downloads pip install pyOpenSSL 或者 pip install 绝对路径 4.安装Twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted pip install twisted 或下载然后 pip install 绝对路径 5.安装pythwin32 pip install pywin32 https://pypi.org/project/pywin32/ 6.安装Scrapy pip install scrapy Scrapy命令行用法: https://docs.scrapy.org/en/latest/ 中文文档:http://scrapy-chs.readthedocs.io/zh_CN/latest/