zoukankan      html  css  js  c++  java
  • Scrapy框架——安装以及新建scrapy文件

    一.安装

    conda install Scrapy   :之后在按y 表示允许安装相关的依赖库(下载速度慢的话也可以借助镜像源),安装的前提是安装了anaconda作为python ,   测试scrapy是否安装成功,在窗口输入scrapy回车

    注意:我这是之前安装了anaconda  所以能直接这样下载    如果没有则需要自己一个一个下载依赖库 和scrapy   但是可以借助豆瓣的镜像源来快速安装

          格式:     pip  install   -i https://pypi.douban.com/simaple/  scrapy          

      

    二.创建scrapy项目的过程:

      1.首先进入到你所要创建项目文件的路径下。cd  ……

        2.scrapy startproject 项目(文件)名  ------这就是创建一个scrapy项目文件了

        

        3.cd (我们刚刚刚创建的)项目(文件)名。

        4.scrapy  genspider   spider的一个名称(一个.py的爬虫文件)   spider的域名(爬取的网页的网址)

        

     

             5上面我们创建了一个scrapy文件 并且在spider(scrapy项目文件下)下创建一个.py文件 ,名字是jobbole 地址blog.jobbole.com (伯乐在线的)

        我通过pycharme打开scrapy文件,如图:

           

    三.但是我们运行jobbole文件 发现出现错误。说我的scrapy框架没安装

      

    四..发现问题在哪:是pycharm的路径问题,应该放在scripts的一个路径下 如图:

      

    五.运行成功:

      

      

  • 相关阅读:
    WMI介绍
    进程间通信
    回调函数(C/C++)
    漏洞名词介绍
    MD5 详解
    jQuery插件的写法
    node爬虫
    nodejs应用:文件上传
    node开发备注
    node生成自定义命令(yargs/commander)
  • 原文地址:https://www.cnblogs.com/hum0ro/p/9490673.html
Copyright © 2011-2022 走看看