Python_Crawler_Foundation3_CSS_Xpath_Json_XML_RegExp

Python Simple Crawler 

Using XML.DOM or XML.sax to parser XML files. (https://www.tutorialspoint.com/python/python_xml_processing.htm )

CSS (Cascading Style Sheets) 是级联样式表，它是用于解决如何显示HTML元素。要解决如果显示html元素，就要解决如果对html元素定位。

为什么要使用CSS来定义HTML元素，而不是直接用属性设置元素。

直接使用属性：<P font-size=” ” “color = > abcd</P>。 这样你要手动一个个去修改属性。

而CSS可以通过ID class或其他方法快速定位到一大批元素。

h1就是一个selector。color和front-size就是属性，red和14px就是值。

• head，p，h1都是元素。h1，h2代表段落标签，image代表图像标签，等。
• class是元素的属性。
• .important选择的是所有有这个类属性的元素，如<p class="important"> or <h1 class="important">中，P和h1都是会被选中，他们都有import这个类。
• 可以结合元素选择器来定位，如：P.important，选择的是具有import类的P元素。

元素选择器+类选择器

ID选择器：可以给每个元素一个ID。ID选择器与class选择器很像，但class是可以共享，如，不同的标签（head，body，p，等等）可以有共同的class选择器，如上，P.important和h1.important，但id是全局唯一的。

 

id选择器和class选择器都是属性选择器的特殊选择器。

 

这里css文件中，只适用了class选择器。

XPath

http://www.w3school.com.cn/xpath/index.asp

节点之间的关系像是文件系统中的文件路径的方式，可看作一个目录树，可以更方便的遍历和查找节点。这是CSS做不到的，CSS只能顺序，而XPath可以顺序也可以逆序。

html的语言和xml语言长得很像，但是html语言的语法要求不是很严格的，对浏览器而言，它会尽量解析。如果把一段html放到xml解析器里，很有可能会失败。

JQuery 来解析xml。JQuery是用xpath和CSS来定位元素的。

#outcome：

 

字典是不保证顺序的，所以当用json导数据的时候，顺序是随机的。

量小用DOM，量大就用SAX。

https://www.tutorialspoint.com/python/python_xml_processing.htm

Here is the easiest way to quickly load an XML document and to create a minidom object using the xml.dom module. The minidom object provides a simple parser method that quickly creates a DOM tree from the XML file.

The sample phrase calls the parse( file [,parser] ) function of the minidom object to parse the XML file designated by file into a DOM tree object.

books.xml

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore shelf="new arrives">

<book category="COOKING">
  <title lang="en">Everyday Italian</title>
  <author>Giada De Laurentiis</author>
  <year>2005</year>
  <price>30.00</price>
</book>

<book category="CHILDREN">
  <title lang="en">Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

<book category="WEB">
  <title lang="en">XQuery Kick Start</title>
  <author>James McGovern</author>
  <author>Per Bothner</author>
  <author>Kurt Cagle</author>
  <author>James Linn</author>
  <author>Vaidyanathan Nagarajan</author>
  <year>2003</year>
  <price>49.99</price>
</book>

<book category="WEB">
  <title lang="en">Learning XML</title>
  <author>Erik T. Ray</author>
  <year>2003</year>
  <price>39.95</price>
</book>

</bookstore>

XML_Dom.py

from xml.dom import minidom
import xml.dom.minidom

# Open XML document using minidom parser (parse, documentElement, xml.dom.minidom.Element)
doc = minidom.parse('books.xml')
root = doc.documentElement
print(type(root))
print(root.nodeName)

# getting attribute values. (hasAttribute, getAttribute)
if root.hasAttribute("shelf"):
    print ("Root element : %s" % root.getAttribute("shelf"))   
else:
    print('getting vlaue failure')

# Print detail of each books (childNodes[0].data, xml.dom.minicompat.NodeList)
books = root.getElementsByTagName('book')
book_list= []
price_list = []
for book in books:
    if book.hasAttribute("category"):
        print("**** %s ****" %book.getAttribute("category"))
    titles = book.getElementsByTagName('title')
    print(type(titles))
    book_list.append(titles[0].childNodes[0].data)
    print("Book's Name: %s" %titles[0].childNodes[0].data)
    prices = book.getElementsByTagName('price')
    price_list.append(prices[0].childNodes[0].data)
    print("prices: %s" %prices[0].childNodes[0].data)
    print("
")
#print(titles[0].childNodes[0].nodeValue,prices[0].childNodes[0].nodeValue
print(book_list)
print(price_list)

#outcome

<class 'xml.dom.minidom.Element'>
bookstore
Root element : new arrives

**** COOKING ****
<class 'xml.dom.minicompat.NodeList'>
Book's Name: Everyday Italian
prices: 30.00


**** CHILDREN ****
<class 'xml.dom.minicompat.NodeList'>
Book's Name: Harry Potter
prices: 29.99


**** WEB ****
<class 'xml.dom.minicompat.NodeList'>
Book's Name: XQuery Kick Start
prices: 49.99


**** WEB ****
<class 'xml.dom.minicompat.NodeList'>
Book's Name: Learning XML
prices: 39.95


['Everyday Italian', 'Harry Potter', 'XQuery Kick Start', 'Learning XML']
['30.00', '29.99', '49.99', '39.95']

book.xml

<?xml version="1.0"?>
<bookstore>　　　　　　#<bookstore> = <root>。 bookstore相当于root是一个根节点。
	<book>
		<title>Learn Python</title>
		<price>100</price>
	</book>
	<book>
		<title>Learn XML</title>
		<price>100</price>
	</book>
</bookstore>

XML_DOM.py

from xml.dom import minidom

doc = minidom.parse('book.xml')　　　　# <class 'xml.dom.minidom.Document'> doc是一个文档树，是从根节点开始遍历，对应的就是根节点。
root = doc.documentElement　　　　　　　# <class 'xml.dom.minidom.Element'> 将doc对应的根节点传给root，所以root也对应根节点。
print(type(root))　　　　　　　　
#print(dir(root))       　　　　　　　　# use 'dir' to see all methods of the function
print(root.nodeName)
books = root.getElementsByTagName('book')   　 #getElements将所有元素给books，books是一个数组。<class 'xml.dom.minicompat.NodeList'> 
 9 for book in books:　　　　　　　　　　　　　　　　　#books,titles,price are <class 'xml.dom.minicompat.NodeList'>
    titles = book.getElementsByTagName('title')  　　#在当前book节点下，找到所有元素名为title的元素。
    prices = book.getElementsByTagName('price')
    print(titles[0].childNodes[0].nodeValue,prices[0].childNodes[0].nodeValue)

#Outcome:

<class 'xml.dom.minidom.Element'>
bookstore
Learn Python 100
Learn XML 80

XML_SAX.py 　　SAX处理方式在XML数据库里处理比较多，用于处理大型的xml页面。

import string
from xml.parsers.expat import ParserCreate

class DefaultSaxHandler(object):
    def start_element(self,name,attrs):
        self.name = name
        print('element: %s, attrs: %s' %(name,str(attrs)))
    def end_element(self,name):
        print('end element: %s' %name)
    def char_data(self,text):
        if text.strip():
            print("%s's text is %s" %(self.name, text))

handler = DefaultSaxHandler()
parser = ParserCreate()
parser.StartElementHandler = handler.start_element     #<book>
parser.EndElementHandler =  handler.end_element       #</book>
parser.CharacterDataHandler = handler.char_data        #<title>character data</title>

with open('book.xml','r') as f:
    parser.Parse(f.read())

#Outcome：

element: book, attrs:{}
element: title, attrs:{'lang':'eng'}
title's text is Learn Python
end element: title
element: price, attrs:{}
price's text is 100
end element: price
end element: book
....

SAX Example： url = ""http://www.ip138.com/post/""

 

Regular Expression

https://www.cnblogs.com/tlfox2006/p/8393289.html

 

Reg_EXP02.py

import re

#3位数字-3到8个数字
mr = re.match(r'd{3}-d{3,8}','010-23232323')
print(mr.string)

#加（）分组
mr2 = re.match(r'(d{3})-(d{3,8})','010-23232323')
print(mr2.groups())
print(mr2.group(0))
print(mr2.group(1))
print(mr2.group(2))      

t = '2:15:45'
tm = re.match(r'(d{0,2}):(d{0,2}):(d{0,2})',t)
print(tm.groups())
print(tm.group(0))

#加（）分组
tm = re.match(r'(d{0,2}):(d{0,2}):(d{0,2})',t)

#分割字符串
p = re.compile(r'd+')
print(p.split('one1two22three333'))

Selenium

https://selenium-python.readthedocs.io/index.html

 

 回头看。