python简单爬虫，抓取邮箱

　　最近，老师给了一个练习是，实现一个爬虫，就爬大概100个网页，匹配出邮箱。

　　于是，我花了几天时间，熟悉熟悉了python,就有了下面这个超级简单的爬虫程序。各种毛病。。。。。。

　　这里先说明一下，python库的安装，因为我在这上面浪费了不少时间。

　　首先是pip和distribute。这两个是用来管理和安装python库的。具体请看这里http://jiayanjujyj.iteye.com/blog/1409819

　　在windows下，在命令行中python distribute_setup.py (在distribute_setup.py这个文件目录下)。然后就可以用easy_install 命令来装其他模块了。

　　pyquery有一个依赖库，是lxml。这个模块要用到本机c语言的编译器，如果本机装有VS或者mingw相关的东西，容易遇到各种装不上的问题。理论上来说是，只要正确配置，就会利用本机的编译器将lxml模块装好。但是，我是各种郁闷装不上。。于是找到了这里http://www.lfd.uci.edu/~gohlke/pythonlibs/。

　　在那个网站里面，找到对应的版本，装上就ok了。

import urllib2
import re
from pyquery import PyQuery as pq
from lxml import etree
import sys
import copy
##reload(sys)
##sys.setdefaultencoding("utf8")     


mailpattern = re.compile('[^\._:>\\-][\w\.-]+@(?:[A-Za-z0-9]+\.)+[A-Za-z]+')
#mailpattern = re.compile('[A-Za-z0-9]+@(?:[A-Za-z0-9]+\.)+[A-Za-z]+')

url = "http://www.xxx.cn"
firstUrls = []# to store the urls
secondUrls = []
count = 1 # to count levels
furls = open("E:/py/crawler/urlsRecord.txt","a")
fmail = open("E:/py/crawler/mailresult.txt","a")



def geturls(data):   #the function to get the urls in the html
    urls = []
    d = pq(data)
    label_a = d.find('a')#用pyquery库去找到 a 标签.
    if label_a:
        label_a_href = d('a').map(lambda i, e:pq(e)('a').attr('href'))
        for u in label_a_href:
            if u[0:10]!="javascript" :  
                if u[0:4] == "http":
                    urls.append(u)
                else:
                    urls.append(url + u)              
        for u in urls:
            furls.write(u)
            furls.write('\n')
    return urls
        
                
def savemails(data): # the function to save the emails
    mailResult = mailpattern.findall(data)
    if mailResult:
        for u in mailResult:
            print u
            fmail.write(u)
            fmail.write('\n')

def gethtml(url):
    fp = urllib2.urlopen(url)
    mybytes =fp.read()
    myWebStr  = mybytes.decode("gbk")   #这里读取出来要从bytes到文本
    fp.close()
    return myWebStr

   
furls.write(url+'\n')

myWebStr = gethtml(url)
if myWebStr:
    savemails(myWebStr)
    firstUrls = geturls(myWebStr)
if firstUrls:
    for i in range(0,len(firstUrls)):
        html = gethtml(firstUrls[i])
        if html:
            savemails(html)
##        tempurls = geturls(html)        #这里本来想再抓一层，慢得要死，就没再继续了
##        if tempurls:
##            nexturls = nexturls + tempurls
        
##    if nexturls:
##        for i in range(0,len(nexturls)):
##            nexthtml = gethtml(nexturls[i])
##            if nexthtml:
##                savemails(nexthtml)
         
fmail.close()
furls.close()
  

　　现在这个程序存在的问题就是：

　　1.如果直接运行，就会出现编码问题：

Traceback (most recent call last):
  File "E:\py\crawler.py", line 67, in <module>
    savemails(html)
  File "E:\py\crawler.py", line 46, in savemails
    fmail.write(u)
UnicodeEncodeError: 'ascii' codec can't encode character u'\u81f3' in position 0: ordinal not in range(128)

　　然后我google之，是因为编码问题。

reload(sys）
sys.setdefaultencoding("utf8")  

　　用这个方法即可解决，即我在最开始的代码里面第7,8注释的两行。不过问题又出现了，虽然不会出现上面的报错，但是第45行的  print 语句无效了。而且无论在何处的print语句均无效了。这是为何。。。。。。

　　在46行中，我试着把出现问题的部分print出来，发现，是因为链接中里面出现了：

至huaweibiancheng@163.com

　　然后fmail.write(u)的时候，碰到这种就写不了。我查了下，刚好‘至’的unicode 编码就是 81f3  （在这里查http://ipseeker.cn/tools/pywb.php）

　　到此处，难道是write()不能写中文？我用如下代码测试：

poem = '至huaweibiancheng@163.com'

f = open("E:/py/poem.txt","w")
f.write(poem)
f.close()

f = open("E:/py/poem.txt",'r')

while True:
    line = f.readline()
    if len(line) == 0:
        break
    print (line)

f.close()

结果：
至huaweibiancheng@163.com

　　接着把代码中,改成“poem = u'\u81f3' ”,一模一样的错误出现了：

Traceback (most recent call last):
  File "E:\py\test.py", line 212, in <module>
    f.write(poem)
UnicodeEncodeError: 'ascii' codec can't encode character u'\u81f3' in position 0: ordinal not in range(128)

　　也就是说，在抓取的网页中是以  " u'\u81f3'huaweibiancheng@163.com " 存在。然后不能写入文件，出错。

　　求高人解答啊。。。。