当然,不用爬虫框架,也是可以的 比如说 beauitfulsoup xml http 就可以完美的得到一个爬虫的解决方案!
个人的意思是,新手或者刚入门的可以考虑以上的方式进行练习后 在使用框架
首先:
利用终端或者pycharm 对scrapy进行安装:
终端的安装命令:pip install scrapy
pycharm安装的路径为: settings-----plugins (有的是找不到的 ---那就只能通过终端命令进行安装)
安装成功之后:
在你的目标路径中 使用命令:
scrapy startproject movie_250(最后一个是爬虫名字) 创建成功后
开启爬虫的高级玩法是:scrapy shell 的结合使用 能让你的进行爬虫的速度更快 理解更彻底