参考博客:https://www.cnblogs.com/xiaodangshan/p/7197563.html
安装过程比较简单,需要注意,安装之后,为了不影响系统自带的python2.6版本,需要在用户家目录下设置别名
vim ~/.bashrc
增加如下内容:
alias python3='/data/python3.6/bin/python3.6'
alias pip3='/data/python3.6/bin/pip3'
然后使用命令,使得环境变量变量生效
source ~/.bashrc
然后安装scrapy
pip3 install scrapy
安装mongodb
使用scrapy创建项目
scrapy startproject douban
进入项目目录 douban/douban/spider/
在spider目录中创建编写xpath和正则表达式的文件夹
scrapy genspider douban_spider movie.douban.com