1)⑥爬取腾讯经济相关的部分新闻

__author__ = 'minmin'
#coding:utf-8
import re,urllib,sgmllib

#根据当前的主页url获取html
def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    page.close()
    return html


#html链接的标签是“a”，链接的属性是“href”，也就是要获得html中所有tag=a，attrs=href 值。
class URLPaser(sgmllib.SGMLParser):
    def reset(self):
        sgmllib.SGMLParser.reset(self)
        self.urls = []

    def start_a(self,attrs):
        href = [v for k,v in attrs if k == 'href']
        if href:
            self.urls.extend(href)

#根据html获取想要的文章内容
def func(str):
    #用正则表达式提取自己想要获取的内容
     result = re.findall(r"<P style="TEXT-INDENT: 2em">([^<>]*)</P>",getHtml(url),re.M)
     artical =''
     for j in result:
         if len(j)<>0:
             j = j.replace("<STRONG>","   ")#去掉<STRONG>,换成"     "
             j = j.replace("</STRONG>","   ")#去掉</STROGN>换成"     "
             artical = artical + j + '
'
     return  artical


IParser = URLPaser()
socket = urllib.urlopen("http://finance.qq.com/")#打开主页

IParser.feed(socket.read())#开始分析处理

reg = 'http://finance.qq.com/a/.*'#用来匹配符合条件的链接，使用正则表达式匹配

pattern = re.compile(reg)

i = 0
url2 = []
for url in IParser.urls:#链接都存在urls里

    if pattern.match(url):#匹配符合条件的链接
        artical = func(url)#调用函数func
        if url not in url2:#重复的url不再进行提取文章内容
             url2.append(url)
             print url
             if len(artical)<>0:#如果文章捏弄内容不为空
                   print artical
                   i = i + 1
                   #这个文件地址是文件保存地址，可根据要保存位置自己进行相应的更改
                   f = open("qq/Economy/"+str(i) + '.txt','a+')#把提取的内容按顺序保存在相应文件夹中
                   f.write(artical)
                   f.close()


#################################################################################################################
#注：本文借鉴http://www.jb51.net/article/52062.htm
#并在其基础上改进的 重复的url不再进行爬取，并把提取的内容写到指定的文件夹中
#################################################################################################################