爬虫基础总结4

正则表达式

 P = re.compile(regex, re.S)

  P.findall("str")

  P.sub("_", "str")

 re.findall(regex, "str")

 re.sub(regex,"_", str)

 原始字符串r 在正则中忽略转义带来的影响

 re.findall("<p>(.*?)</p>", sre)

xpath

 获取文本

  A/text()

  A//text()

  A[text()="下一页"]

 @符号

  获取属性 A/@href

  根据属性定位 A[@class='a']

 //

  放在xpath最前面表示选择当前页面html页面任意元素

  A//text()获取A下的任意元素的文本

 //a[1] 第一个

 //a[last()] 最后一个

 //a[position()<3] 取前两个

 //a[1]|//a[3] |表示或的意思

lxml

 1.from lxml import stree

 2.element=stree.HTML(bytes/str)

  返回element对象，具有xpath

 3.etree.tostring(element) 返回element中的字符串格式

 element.xpath

  1.先分组

  2.分组提取数据

   li.xpath("./a/text()")

   li.xpath("./a/@href")