zoukankan      html  css  js  c++  java
  • xpath提取多个标签下的text

    在写爬虫的时候,经常会使用xpath进行数据的提取,对于如下的代码:

    <div id="test1">大家好!</div>

    使用xpath提取是非常方便的。假设网页的源代码在selector中:

    data = selector.xpath('//div[@id="test1"]/text()').extract()[0]

    就可以把“大家好!”提取到data变量中去。

    然而如果遇到下面这段代码呢?

    <div id="test2">美女,<font color=red>你的微信是多少?</font><div>

    如果使用:

    data = selector.xpath('//div[@id="test2"]/text()').extract()[0]

    只能提取到“美女,”;

    如果使用:

    data = selector.xpath('//div[@id="test2"]/font/text()').extract()[0]

    又只能提取到“你的微信是多少?”

    可是我本意是想把“美女,你的微信是多少?”这一整个句子提取出来。

    这还不是最糟糕的,还有第三段代码:

    <div id="test3">我左青龙,<span id="tiger">右白虎,<ul>上朱雀,<li>下玄武。</li></ul>老牛在当中,</span>龙头在胸口。<div>

    而且内部的标签还不固定,如果我有一百段这样类似的html代码,又如何使用xpath表达式,以最快最方便的方式提取出来?

    我差一点就去用正则表达式替换了。还好我去Stack Overflow上面提了问。于是很快就有人给我解答了。

    使用xpath的string(.)

    以第三段代码为例:

    data = selector.xpath('//div[@id="test3"]')
    info = data.xpath('string(.)').extract()[0]

    这样,就可以把“我左青龙,右白虎,上朱雀,下玄武。老牛在当中,龙头在胸口”整个句子提取出来,赋值给info变量。

    http://www.tuicool.com/articles/iqQFBn

  • 相关阅读:
    【Jquery】根据元素个数给予宽度
    【Jquery】判断宽度跳转
    【CSS】滚动条样式
    关于vue在列表展示数据的时候,选择更改其中一项,数据跟着实时变动的问题
    JAVA基础知识
    华为机试 字符串分隔
    华为机试 计算字符个数
    华为机试 字符串最后一个单词的长度
    简单构造 Ext.tree 树例子
    Ext.form.Label组件动态设置html值
  • 原文地址:https://www.cnblogs.com/wicub/p/5438138.html
Copyright © 2011-2022 走看看