使用HTMLParser爬取标签内容

以此网站为例

import urllib.request
from html.parser import HTMLParser
from  html.entities import name2codepoint

#相当于CURL
def Hocontent(url):
    page = urllib.request.urlopen(url)
    html = page.read()
    return html

class MyHTMLParser(HTMLParser): #继承HTMLParser类
    def __init__(self):
        HTMLParser.__init__(self)
        self.data = []

    #获取标签中的content
    def handle_data(self, data):
        if len(data) >40 and  data.find('itwriter')==-1 :
            str = data.strip()
            self.data.append(str)

#获取内容
hh = Hocontent('https://news.cnblogs.com/')
h = hh.decode(encoding="utf-8")

#创建一个子类实例
objectP = MyHTMLParser()

#解析
objectP.feed(h)
for con in objectP.data:
    print(con)
    print('==============')