zoukankan      html  css  js  c++  java
  • scrapy框架的安装

    # 1.在安装scrapy前需要安装好相应的依赖库, 再安装scrapy, 具体安装步骤如下:
    
        (1).安装lxml库: pip install lxml
    
        (2).安装wheel: pip install wheel
    
        (3).安装twisted: pip install twisted文件路径
        	(twisted需下载后本地安装,下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted)
        	(版本选择如下图,版本后面有解释,请根据自己实际选择)
    
        (4).安装pywin32: pip install pywin32
        	(注意:以上安装步骤一定要确保每一步安装都成功,没有报错信息,如有报错自行百度解决)
    
        (5).安装scrapy: pip install scrapy
        	(注意:以上安装步骤一定要确保每一步安装都成功,没有报错信息,如有报错自行百度解决)
    
        (6).成功验证:在cmd命令行输入scrapy,显示Scrapy1.6.0-no active project,证明安装成功 
    

    1.手动创建一个目录test
    2.在test文件夹下创建爬虫项目为spiderpro: scrapy startproject spiderpro
    3.进入项目文件夹: cd spiderpro
    4.创建爬虫文件: scrapy genspider 爬虫名 域名
    

      

  • 相关阅读:
    Django部分面试题目
    网编部分
    面试题
    mysql安装
    并发编程
    集合以及深浅拷贝和和小数据池--个人一些经验总结
    稍微比较全的那种字典
    个人声明
    python
    python-pdf文件(持续更新
  • 原文地址:https://www.cnblogs.com/weiwuhu/p/12557074.html
Copyright © 2011-2022 走看看