scrapy的调试和环境安装技巧

1，先在settings中把ROBOTSTXT_OBEY = False

在主目录下面新建main文件

__autor__ = 'zhouli'
__date__ = '2018/11/3 22:39'

from scrapy.cmdline import execute  # 可以执行scrapy的脚本
import sys
import os

sys.path.append(
    os.path.dirname(os.path.abspath(__file__)))  # os.path.abspath(__file__)获取到main.py的路径，os.path.dirname()获取到父目录
execute(['scrapy', 'crawl', 'project_name'])  # 该方法是讲命令的三个字符传递进来

也就是说需要调试什么命令就这样传输即可

单击鼠标右键debug

2，虚拟环境

安装 pip install -i http://pypi.douban.com/simple/ virtualenv （这个是使用豆瓣源安装）

测试安装  virtualenv --version

让虚拟的python环境可以使用系统的python第三方库 virtualenv --always-copy --system-site-packages venv

cd my_project
virtualenv my_project_env

 让我们从头捋一遍：

# 1，新建虚拟环境
virtualenv scrapytest
# 2，进入虚拟环境
cd  scrapytest
cs Scripts
activate.bat  # 运行这个activate.bat文件即可进入虚拟环境（前面有括号的）
deactivate.bat  # 退出虚拟环境（前面括号消失）
# 如何选择python版本？
virtualenv -p C:\***  # -p后面是python的路径

当需要改变python的版本时候需要在虚拟环境下运行！

但是比较蛋疼的是每一次都需要找到路径，然后运行命令，比较繁琐，如何解决呢？

虚拟环境管理包：

pip install virtualenvwrapper
# 安装完成之后使用workon
workon # 列出所有虚拟环境
mkvirtualenv py3scrapy # 新建一个虚拟环境py3scrapy，然后自动进入虚拟环境
# 注意默认位置
workon py3scrapy # 进入虚拟环境py3scrapy

这样就能够保证环境是独立的