python之爬虫爬有道词典

首先我们先去有道词典网站

找到这个网址的格式

然后

右键网页源代码

找到翻译所在的部分 并记录下来

现在浏览器部分的任务就完成了

我们现在开始敲代码

首先是url 就是有道的网址和我们要查找的单词

url = 'http://dict.youdao.com/w/eng/%s' % word

然后我们用urllib2去抓取网页的包

page = urllib2.urlopen(url).read()

 之后我们用BeautifulSoup去解析page

data = BeautifulSoup(page, 'lxml')

最后用我们记下的标签去找相应的内容就行了

data.findAll('div', attrs={'class': 'trans-container'})[0].findNext('ul').text

整体代码：

import urllib2
from bs4 import BeautifulSoup

def query(word):
    url = 'http://dict.youdao.com/w/eng/%s' % word
    page = urllib2.urlopen(url).read()
    data = BeautifulSoup(page, 'lxml')
    return data.findAll('div', attrs={'class': 'trans-container'})[0].findNext('ul').text

if __name__ == '__main__':
    while True:
        print(query(raw_input()))

运行结果：

哇你看是不是学个爬虫很简单