简介
先简略介绍一下。实际上，HTMLParser是python用来解析HTML的内置模块。它可以分析出HTML里面的标签、数据等等，是一种处理HTML的简便途径。HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括：
（1）handle_startendtag 处理开始标签和结束标签（即单标签）
（2）handle_starttag 处理开始标签，比如<xx>
（3）handle_endtag 处理结束标签，比如</xx>
（4）handle_charref 处理特殊字符串，就是以&#开头的，一般是内码表示的字符
（5）handle_entityref 处理一些特殊字符，以&开头的，比如
（6）handle_data 处理数据，就是<xx>data</xx>中间的那些数据
（7）handle_comment 处理注释
（8）handle_decl 处理<!开头的，比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
（9）handle_pi 处理形如<?instruction>的东西
实例
OK，废话少说，直接上手，来一个简单的爬虫实例——抓取贴吧图片。
1 from html.parser import HTMLParser 2 from urllib import request 3 4 5 class MyHTMLParser(HTMLParser): # 创建HTML解析类 6 def __init__(self): 7 HTMLParser.__init__(self) 8 self.gifs_urls = [] # 创建列表，保存gif 9 self.jpgs_urls = [] # 创建列表，保存jpg 10 11 # 重写HTMLParser中的内置方法 12 def handle_starttag(self, tags, attrs): # 处理起始标记 13 if tags == 'img': # 处理图片 14 for attr in attrs: 15 for t in attr: 16 if 'gif' in t and 'https' in t: 17 self.gifs_urls.append(t) # 添加到gif列表 18 elif 'jpg' in t and 'https' in t: 19 self.jpgs_urls.append(t) # 添加到jpg列表 20 else: 21 pass 22 # 自定义的方法 23 def get_gifs(self): # 返回gif列表 24 return self.gifs_urls 25 26 def get_jpgs(self): # 返回jpg列表 27 return self.jpgs_urls 28 29 # 自定义的方法，获取页面 30 def getHTML(self,url): 31 req=request.Request(url,method='GET') 32 html=request.urlopen(req,timeout=30) 33 return html.read() 34 35 # 自定义的方法，批量下载图片 36 def downImgs(self,img_urls,n=10,path='Image/'): 37 count=1 38 for url in img_urls: 39 request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg')) 40 count=count+1 41 if count == n + 1: 42 print('共下载%d张图片' %(n)) 43 return 44 45 if __name__ == '__main__': 46 47 Url = 'http://tieba.baidu.com/p/2256306796' 48 HtmlParser=MyHTMLParser() 49 Html=HtmlParser.getHTML(Url) 50 # print(Html) 51 HtmlParser.feed(str(Html)) #开始解析HTML，自动调用HTMLParser中的内置方法 52 HtmlParser.downImgs(HtmlParser.get_jpgs())
至此，转载请注明出处。
