python学习（六）

python需要unicode编码，网页需要utf-8。

判断类型：

>>> s = "你好"    #utf-8编码
>>> 
>>> l1 = [s]
>>> 
>>> print l1
['xe4xbdxa0xe5xa5xbd']
>>> 
>>> s = u"你好"　　#unicode编码
>>> 
>>> l1 = [s]
>>> 
>>> print l1
[u'u4f60u597d']

蜘蛛爬虫

1.由一个或几个起始网址分析其内容，目的是分析出新的网址（种子）。然后对新的种子进行分析。

2.获取需要的内容，读取需要的内容。

用chrome浏览器打开指定页面

google-chrome ***.html

抓取百度搜索数据

#coding:utf-8
import urllib2,re

myinput = raw_input()　　#输入搜索关键字
httpaddr = "http://www.baidu.com/s?wd=%s" %myinput
f = urllib2.urlopen(httpaddr)
buf = f.read().replace("
","")    #去掉换行符
#print buf
all_buf = re.findall('''<div id="content_left">.*<div style="clear:both;height:19px;">''',buf)
for i in all_buf:
        print i

循环抓取指定网站的链接存入数据库

#coding:utf-8
import urllib2,re
import zlib
import sys
from uliweb.orm import *

#db = get_connection("mysql://root:mysql@localhost/sprider?charset=utf8")
#获取url地址
def get_url(httpaddr):
    f = urllib2.urlopen(httpaddr)
    buf = f.read()
    if f.headers.get('Content-Encoding') == 'gzip':
        buf = zlib.decompress(buf, 16+zlib.MAX_WBITS)
    buf = buf.replace("
","")
    #print buf
    all_buf = re.findall(r'''<a.*?href.*?=["'](http://.*?)["'][> ]''',buf)
    return all_buf
#将新的url存入数据库
def saved_url(url):
    newtab = spider_url.get(spider_url.c.url == url)　　#判断是否有重复
    if newtab:
        return
    newtab = spider_url()
    newtab.url = url
    newtab.status = "0"
    newtab.save()
#更新url读取状态
def update_url(url):
    newtab = spider_url.get(spider_url.c.url == url)
    newtab.status = "1"
    newtab.save()
#执行新的任务
def get_new_task():
    eachurl = spider_url.get(spider_url.c.status == "0")
    if eachurl:
        return eachurl.url
    return eachurl

if __name__ == "__main__":
    url = sys.argv[1]
    db = get_connection("mysql://root:mysql@localhost/sprider?charset=utf8")
    #注意以下数据库表的操作不能单独列出来，必须在create前面，connection后面
    class spider_url(Model):
        url = Field(str)
        status = Field(str)

    db.metadata.drop_all()
    db.metadata.create_all()

    while 1:
        try:
            url_buf =  get_url(url)
            for url in url_buf:
                saved_url(url)
        except:
            pass
        url = get_new_task()
        if url is None:
            break
        #url_buf = get_url(url)
        update_url(url)