zoukankan      html  css  js  c++  java
  • scrapy之使用LinkExtractor提取链接

    一、概述:

      在页面含有少量链接时,使用selector来提取信息就可以,但如果链接特别多时,就需要用LinkExtractor来提取。

    二、LinkExtractor构造器的各个参数:

      1、allow  接收一个正则表达式或一个正则表达式列表,提取绝对url与正则表达式匹配的链接,如果改参数为空,就提取全部的链接。

      2、deny  与allow刚好相反,排除绝对URL与正则表达式相匹配的链接。

      3、allow_domains  接收一个域名或一个域名列表,提取到指定域的链接

      4、deny_domains     与3相反。

      5、restrict_xpaths  接受一个xpath表达式或者一个xpath表达式列表,提取xpath表达式选中的区域下的链接。

      6、restrict_css    接收一个css选择器或者是一个css选择器列表,提取css选择器选中区域下的链接。

      7、tags  接收一个标签或者标签列表,提取指定标签内的链接。

      8、attrs  接收一个属性或一个属性类表,提取指定属性内的连接。

    三、如何导出数据:

      scrapy crawl spidername -t datatype -o filepath

  • 相关阅读:
    二分查找练习
    Linux中Buffer和Cache的区别
    c++设计模式之单例模式
    c++设计模式之工厂模式
    C++中内存泄漏的几种情况
    snprintf
    命名空间和模块化编程1
    避免内存泄漏
    静态对象强制类型转换
    副本构造器
  • 原文地址:https://www.cnblogs.com/monty12/p/10116807.html
Copyright © 2011-2022 走看看