python模块使用案例

python模块使用案例

一、使用MySQLdb模块代码示例：

# 导入 MySQLdb模块
import MySQLdb
# 和服务器建立链接,host是服务器ip，我的MySQL数据库搭建在本机，默认的是127.0.0.1，
# 用户、密码、数据库名称对应着照输就行了，默认的端口号是3306，charset是编码方式，
# 默认的是utf8(也有可能是gbk，看安装的版本)。. 1point3acres.com/bbs
conn = MySQLdb.connect(host='127.0.0.1', user='root', passwd='yourPassword', db='dbname', port=3306, charset='utf8')
# 建立cursor
cur = conn.cursor()
# 通过对象cur的execute()方法执行SQL语句
cur.execute("select * from citeRelation where paperName = 'On Random Graph'")
# fetchall()方法获得查询结果，返回的是一个list，可以直接这样查询：list[i][j]，
# i表示查询结果中的第i+1条record，j表示这条记录的第j+1个attribute(别忘了python从0开始计数)# 也可以进行delete,drop,insert,update等操作，比如：
sql = "update studentCourseRecord set fail = 1 where studentID = '%s' and semesterID = '%s' and courseID = '%s'" %(studentID,course[0],course[1])
cur.execute(sql)
# 与查询不同的是，执行完delete,insert,update这些语句后必须执行下面的命令才能成功更新数据库
conn.commit()
# 一如既往的，用完了之后记得关闭cursor，然后关闭链接
cur.close(). more info on 1point3acres.com
conn.close()

二、使用cookie登陆抓取指定页面，可以像下面这样，这是一个最简洁的代码

#!/usr/bin/python  
# coding:utf-8   
import httplib2  
import urllib2  
import re #正则表达式模块  
  
class PageClass:  
  
    #获取指定url的网页内容  
    def get_page(self,url,headers):  
        http=httplib2.Http()  
        response,content=http.request(url,'GET',headers=headers)  
        #return content.decode('unicode-escape').encode('utf-8')  
        return content.decode('unicode-escape').encode('utf-8')  
          
def main():              
    headers={"cookie":'your cookie'}  
    url = 'http://fengchao.baidu.com'  
    #print headers  
    page = PageClass()  
    content = page.get_page(url,headers)  
    print content  
  
if __name__ == "__main__":  
    main()  

只需要输入url和headers就可以抓取到指定的页面。这里需要输入你自己的cookie。上面的代码执行后的结果如下，可以看到我们抓取到了内容：

三、下面给出一个示例，其功能为提取百度首页搜索框上面的导航条的内容：

#该程序是对百度的首页进行分析，并提取出其搜索框上面的导航条  
import httplib2  
import urllib2  
import re  
from lxml import etree  
  
def main():  
    http = httplib2.Http()  
    response,content = http.request("http://www.baidu.com",'GET')  
    print "response:",response  
    print "content:",content  
  
    tree = etree.HTML(content)  
  
    #上面的注释为要查找的部分html  
    #<p id=nv><a href=http://news.baidu.com>新闻</a><b>网页</b>  
    #<a href=http://tieba.baidu.com>贴吧</a><a href=http://zhidao.baidu.com>知道</a>  
    #<a href=http://mp3.baidu.com>MP3</a><a href=http://image.baidu.com>图片</a>  
    #<a href=http://video.baidu.com>视频</a><a href=http://map.baidu.com>地图</a></p>  
  
    #下面开始查找id为nv的p标签下的所有<a>的href值  
    hyperlinks = tree.xpath(u'//p[@id="nv"]/a/@href')  
    print "hyperlinks:",hyperlinks  
    for hyperlink in hyperlinks:  
        print "hyperlink:",hyperlink  
          
    #查找id为nv的p标签下的所有<a>节点  
    a_nodes = tree.xpath(u'//p[@id="nv"]/a')  
    print "a_nodes_length:",len(a_nodes)  
    for a_node in a_nodes:  
        print "<a>:",a_node.text,a_node.attrib['href']  
    print "
"  
  
    #通过正则表达式查找<p id="nv">的标签内容，匹配的内容为正则表达式中的"()"内的内容     
    name_flag='<p id="nv">(.+?)</p>'  
    name_re=re.compile(name_flag,re.S)  
    name_regx=name_re.search(content)  
    print name_regx  
    name=name_regx.group(1)  
    print "name:",name  
          
if __name__ == "__main__":  
    main()  

四、HTMLParser

该模块是用来解析HTML元素的。可以从HTML中筛选出指定的标签。下面给出一个例子，读取百度首页www.baidu.com中的所有链接，并打印出来。

import HTMLParser  
import urllib  
import sys  
  
#定义HTML解析器  
class parseLinks(HTMLParser.HTMLParser):  
    #该方法用来处理开始标签的，eg:<div id="main">  
    def handle_starttag(self, tag, attrs):  
        if tag == 'a':  #如果为<a>标签  
            #name为标签的属性名，如href、name、id、onClick等等  
            for name,value in attrs:      
                if name == 'href': #这时选择href属性  
                    print "name_value: ",value  #href属性的值  
                    print "first tag:",self.get_starttag_text() #<a>标签的开始tag  
                    print "
"  
  
if __name__ == "__main__":  
    #创建HTML解析器的实例  
    lParser = parseLinks()  
    #打开HTML文件  
    lParser.feed(urllib.urlopen("http://www.baidu.com").read())  
    lParser.close()  

但调用feed函数时，会自动调用handle_starttag函数，这里的handle_starttag函数是对原函数的重写。handle_starttag(self,tag,attrs)中的参数tag是标签的名字；参数attrs是一个(name,value)键值对，是通过查找到tag的<>括号来确定的，其中name是tag的<>中的属性名，value是去除引号后的值。