1. urllib.robotparse模块对robot.txt文件的解析,can_fetch()方法和parse()方法。 Page121
2. lxml.etree模块自动补全Html代码,Html()方法和parse()两种方法打开文件。 Page159