python抓取网页信息

环境：python 2.7

用自带的urllib，urllib2包可以实现大部分抓取功能。代码十分简短。

关键在于正则表达式的建立和处理。

#coding=utf-8
'''
Created on 2014-9-25

@author: Administrator
'''
import urllib
import urllib2
import re

#url = 'http://www.taobao.com/'
url = 'http://www.gov.cn/'

req = urllib2.Request(url)
html = urllib2.urlopen(req).read()
#print html

ss = re.findall('blank">(.*?)</',html)
for i in ss:
    print i