python网页抓取之英汉字典

  linux的字典本人实在用起来不舒服（stardict挺不错的，但是界面好看些，功能简单易用就好了）

，在线翻译又得打开庞大的浏览器....就打算自己写个，但是时间有限，为了简单，

还是用python抓取网页来的快些。本人用的必应字典。

http://cn.bing.com/dict/?mkt=zh-CN&setlang=ZH

获取某个单词解释url是：

http://cn.bing.com/dict/search?q=word&go=&qs=bs&form=CM&mkt=zh-CN&setlang=ZH

其中的红色word即是要翻译“word”单词。

代码如下dic.py：python使用的是2.7.5版本

#!/usr/bin/python                 
import urllib2,sys
from HTMLParser import HTMLParser
from htmlentitydefs import name2codepoint

class MyHTMLParser(HTMLParser): #解析html
    def  __init__(self):
        HTMLParser.__init__(self)
        self.t=False
        self.trans=[]
        self.pr=False
    def handle_starttag(self, tag, attrs):
        if tag=='div':
            for attr in attrs:
                if attr==('class','hd_prUS') or 
                 attr==('class','hd_pr'):
                    self.pr=True
        if tag=='span':                       
            for attr in attrs:
                if attr==('class','def'):
                    self.t=True
    def handle_data(self, data):
        if self.t:
            self.trans.append(data)
            self.t=False
        if self.pr:
            print data
            self.pr=False
    def getTrans(self):
        return self.trans
class trans:
    _URL='http://cn.bing.com/dict/search'
    def __init__(self):
        self.url=trans._URL+"?q=%s&go=&qs=bs&form=CM&mkt=zh-CN&setlang=ZH"
        self.html=None
    def getHtml(self,word):  #获取单词翻译的网页
        self.url=self.url %word
        print word," :"
        req = urllib2.Request(self.url)
        fd=urllib2.urlopen(req)
        self.html=fd.read()
        self.html=unicode(self.html,'utf-8')
        fd.close()
    
    def parseHtml(self):  #解析调用
        parser = MyHTMLParser()
        self.html=parser.unescape(self.html)
        parser.feed(self.html)
        s=parser.getTrans()
        t=1
        for i in s:
            print t,'. ',i
            t+=1

if __name__=='__main__':
        t=trans()
        t.getHtml(sys.argv[1])
        t.parseHtml()
        

终端操作：

05:07@:~/workspace$ ./dic.py action                                                                                                                                                                                                  
action  :                                                                                                                                                                                                                            
美 [ˈækʃ(ə)n]                                                                                                                                                                                                                         
英 [ˈækʃ(ə)n]                                                                                                                                                                                                                         
1 .  行动；行为；诉讼；战斗                                                                                                                                                                                                                     
2 .  务必做                                                                                                                                                                                                                             
3 .  动作；操作；作用

终端用起来也不甚方便，有时间把代码搬进图形程序中.....pyQt还是kivy等图形库，

用过pyQt，抽时间看看吧。

本人的注释是写博客后来加上去的，可以直接删了，或者添加# -*- coding: utf-8 -*-

　　对于html的解析另一个不错的模块库是BeautifulSoup，解析相当给力。但是需要自己安装

这个库。和上面代码功能一样，但是使用BeautifulSoup解析的。代码如下：

#!/usr/bin/python                 
import urllib2,sys
from BeautifulSoup import BeautifulSoup
class MyHTMLParser:
    def __init__(self):
        self.trans=[]
        self.us=None
        self.uk=None
        self.define=True
    def feed(self,html):
        parsed_html=BeautifulSoup(html)
        self.us=parsed_html.find('div',{'class':'hd_prUS'}).text
        self.uk=parsed_html.find('div',{'class':'hd_pr'}).text
        self.us=self.us.replace(' ',' ')
        self.uk=self.uk.replace(' ',' ')
        print self.us,',',self.uk       
        self.define=parsed_html.findAll('span',{'class':'def'})
        for t in self.define:
            self.trans.append(t.text)
    def getTrans(self):
        return self.trans
class trans:
    _URL='http://cn.bing.com/dict/search'
    def __init__(self):
        self.url=trans._URL+"?q=%s&go=&qs=bs&form=CM&mkt=zh-CN&setlang=ZH"
        self.html=None
    def getHtml(self,word):  
        self.url=self.url %word
        print word," :"
        req = urllib2.Request(self.url)
        fd=urllib2.urlopen(req)
        self.html=fd.read()
        fd.close()
    
    def parseHtml(self):  
        parser = MyHTMLParser()
        parser.feed(self.html)
        s=parser.getTrans()
        t=1
        for i in s:
            print t,'. ',i
            t+=1

if __name__=='__main__':
        t=trans()
        t.getHtml(sys.argv[1])
        t.parseHtml()