要利用网络爬虫进行数据的选取,我们首先应该进行环境的配置
所需工具:pycharm
item2
- 首先进行wget的安装下载:wget是一个从网络上自动下载文件的自由工具,要下载安装wget我们首先进行homebrew的安装
- 安装brew:ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
安装成功后如图
A. 安装wget:brew install wget
B. 安装pip:sudo easy_install pip
3. 安装以scrapy为框架的网络爬虫所需模块(说明,由于我所用的电脑是OSX系统,本来OSX系统内置有python2.7.10,但由于外部添加了python3.6.5,因此在terminal中使用pip语句是应用
pip3 install+模块名, 因此安装scrapy的命令为
pip3 install scrapy 即可将其安装成功,安装成功后的界面为
4. 安装requests模块,使用指令为
pip3 install requests,安装成功后界面为