zoukankan      html  css  js  c++  java
  • python 3 安装 scrapy 并运行成功

    今天,python 3 安装 scrapy, 并运行成功。特此纪念!

    我的环境:windows 10(64位) + python 3.5.2(64位)

    其中几个要点说明一下:

    1、有几个依赖库需要事先单独安装

    往往,在安装scrapy依赖库,即在

    pip install scrapy
    

    过程中,会出现红色错误的。此时,做两件事

    1. 更新pip: $ python pip install --upgrade pip
    2. lfd下载单独的whl文件,pip安装之(若有多个依赖库安装出现红色文字错误,则此步重复!)

    2、特别地,pywin32的安装问题

    1. lfd下载单独的whl文件,pip安装之
    2. 然后,运行命令$ python pywin32_postinstall.py -install,切记!

    好了,运行官网首页的例子:

    import scrapy
    
    class BlogSpider(scrapy.Spider):
        name = 'blogspider'
        start_urls = ['https://blog.scrapinghub.com']
    
        def parse(self, response):
            for url in response.css('ul li a::attr("href")').re('.*/category/.*'):
                yield scrapy.Request(response.urljoin(url), self.parse_titles)
    
        def parse_titles(self, response):
            for post_title in response.css('div.entries > ul > li a::text').extract():
                yield {'title': post_title}
    

    保存为myspider.py文件,命令行进入此文件夹,运行如下命令,使启动爬虫:

    scrapy runspider myspider.py
    

    OK了,可以看到成功的信息。

  • 相关阅读:
    281. Zigzag Iterator
    298. Binary Tree Longest Consecutive Sequence
    482. License Key Formatting
    361. Bomb Enemy
    373. Find K Pairs with Smallest Sums
    304. Range Sum Query 2D
    308. Range Sum Query 2D
    307. Range Sum Query
    303. Range Sum Query
    247. Segment Tree Query II
  • 原文地址:https://www.cnblogs.com/hhh5460/p/5707043.html
Copyright © 2011-2022 走看看