scrapy 使用

scrapy框架

安装

Linux
      pip3 install scrapy
 
 
Windows
      a. pip3 install wheel
      b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
      c. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
      d. pip3 install scrapy
      e. 下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/

　　

使用

 xpath

参考https://www.jianshu.com/p/85a3004b5c06

注意

1.win10 python 【scrapy crawl chouti --nolog 】 cmd 命令不执行parse函数（没有内容输出） 原因

设置settings.py 中设置  ROBOTSTXT_OBEY = False