zoukankan      html  css  js  c++  java
  • 第三百四十节,Python分布式爬虫打造搜索引擎Scrapy精讲—css选择器

    第三百四十节,Python分布式爬虫打造搜索引擎Scrapy精讲—css选择器

    css选择器

    1、

    2、

    3、

     ::attr()获取元素属性,css选择器

    ::text获取标签文本

    举例:

    extract_first('')获取过滤后的数据,返回字符串,有一个默认参数,也就是如果没有数据默认是什么,一般我们设置为空字符串

    extract()获取过滤后的数据,返回字符串列表

    # -*- coding: utf-8 -*-
    import scrapy
    
    class PachSpider(scrapy.Spider):
        name = 'pach'
        allowed_domains = ['blog.jobbole.com']
        start_urls = ['http://blog.jobbole.com/all-posts/']
    
        def parse(self, response):
    
            asd = response.css('.archive-title::text').extract()  #这里也可以用extract_first('')获取返回字符串
            # print(asd)
    
            for i in asd:
                print(i)

  • 相关阅读:
    Lookup注解
    解决数据量大,分页查询慢的方案
    一个http的请求分析
    MYSQL
    什么是性能优化
    编码规范随笔
    装饰者模式
    单例模式
    J.U.C并发包(1)
    Java内存模型
  • 原文地址:https://www.cnblogs.com/adc8868/p/7281447.html
Copyright © 2011-2022 走看看