zoukankan      html  css  js  c++  java
  • python 3 安装 scrapy 并运行成功

    今天,python 3 安装 scrapy, 并运行成功。特此纪念!

    我的环境:windows 10(64位) + python 3.5.2(64位)

    其中几个要点说明一下:

    1、有几个依赖库需要事先单独安装

    往往,在安装scrapy依赖库,即在

    pip install scrapy
    

    过程中,会出现红色错误的。此时,做两件事

    1. 更新pip: $ python pip install --upgrade pip
    2. lfd下载单独的whl文件,pip安装之(若有多个依赖库安装出现红色文字错误,则此步重复!)

    2、特别地,pywin32的安装问题

    1. lfd下载单独的whl文件,pip安装之
    2. 然后,运行命令$ python pywin32_postinstall.py -install,切记!

    好了,运行官网首页的例子:

    import scrapy
    
    class BlogSpider(scrapy.Spider):
        name = 'blogspider'
        start_urls = ['https://blog.scrapinghub.com']
    
        def parse(self, response):
            for url in response.css('ul li a::attr("href")').re('.*/category/.*'):
                yield scrapy.Request(response.urljoin(url), self.parse_titles)
    
        def parse_titles(self, response):
            for post_title in response.css('div.entries > ul > li a::text').extract():
                yield {'title': post_title}
    

    保存为myspider.py文件,命令行进入此文件夹,运行如下命令,使启动爬虫:

    scrapy runspider myspider.py
    

    OK了,可以看到成功的信息。

  • 相关阅读:
    ArchLinux安装(UEFI)
    html+css第三篇
    html+css第二篇
    html+css第一篇
    工作流会用到几张表
    Sql server 删除重复记录的SQL语句
    idea创建 springboot工程(支持jsp)
    sql查询重复数据
    idea中解决整合SSM加载不到dataSource;
    maven私服
  • 原文地址:https://www.cnblogs.com/hhh5460/p/5707043.html
Copyright © 2011-2022 走看看