zoukankan      html  css  js  c++  java
  • scrapy使用流程

    安装:通过pip install scrapy即可安装

    在ubuntu上安装scrapy之前,需要先安装以下依赖:
    sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev,然后再通过pip install scrapy安装

    如果在windows系统下,提示这个错误ModuleNotFoundError: No module named 'win32api',那么使用以下命令可以解决:pip install pypiwin32


    创建项目

    scrapy startproject [项目名称]

    创建 爬虫

    scrapy genspider baidu www.baidu.com


    scrapy3在python2,python3共存下的使用

    因为安装了PYTHON2,PYTHON3,之前的SCRAPY 在PYTHON2下是可以的,但在3下运行失败,关联的还是2,原来要在PYTHON3运行的时候,要用全路径:
    执行scrapy命令(假设要执行scrapy startproject projectname)的时候不直接键入scrapy, 而是加上scrapy的绝对路径,
    windows上: C:\python3\Scripts\scrapy startproject projectname
    ————————————————
    版权声明:本文为CSDN博主「jackyrongvip」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/jackyrongvip/article/details/84913092


  • 相关阅读:
    工作笔记之20170223:①关于Html5的placeholder属性,②以及input的outline:none的样式问题
    工作笔记之:如何在eclipse安装CVS插件?找了很久的,自己总结一下
    ajax后台请求两种方法(js和jQuery)
    22
    21
    20
    19
    18
    17
    16
  • 原文地址:https://www.cnblogs.com/angdh/p/10173531.html
Copyright © 2011-2022 走看看