python---使用数据库笔记----爬虫之二

一、数据库的使用笔记

　　关于Sqlite3的使用

　　首先是常用命令

sqlite3.connect()	打开一个到 SQLite 数据库文件 database 的链接。
connection.cursor()	创建一个 cursor
cursor.execute()	sqlite3模块支持两种类型的占位符：问号和命名占位符（命名样式）
connection.commit()	提交当前的事务。
connection.close()	关闭数据库连接。

　　然后是建立一个简单的数据库

　　　　代码如下

　　　　

# -*- coding: utf-8 -*-
"""
Created on Wed May 29 23:45:24 2019

@author: m1353
"""

import sqlite3
conn = sqlite3.connect('data.db')
print("Connect database all green")
c = conn.cursor()
c.execute('''CREATE TABLE COMPANY
       (ID INT PRIMARY KEY     NOT NULL,
       NAME           TEXT    NOT NULL,
       AGE            INT     NOT NULL,
       ADDRESS        CHAR(50),
       SALARY         REAL);''')
print("Table created all green")
conn.commit()
conn.close()

　　　　效果如图

　

　　　　会输出所写的print语句中的字符，就证明了我们创建成功。

　　　　然后会出现一个这样的文件

二、爬虫中国最好大学排名

爬的是2017年的

代码如下

# -*- coding: utf-8 -*-
"""
Created on Wed May 29 23:13:27 2019

@author: m1353
"""

import requests
from bs4 import BeautifulSoup
alluniv = []
def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return "error"
def fillunivlist(soup):
    data=soup.find_all('tr')
    for tr in data:
        ltd =tr.find_all('td')
        if len(ltd)==0:
            continue
        singleuniv=[]
        for td in ltd:
            singleuniv.append(td.string)
        alluniv.append(singleuniv)
def writercsv(save_road,num,title):
    if os.path.isfile(save_road):
        with open(save_road,'a',newline='')as f:
            csv_write=csv.writer(f,dialect='excel')
            for i in range(num):
                u=allUniv[i]
                csv_write.writerow(u)
    else:
         with open('rank.csv','w',newline='')as f:
            csv_write=csv.writer(f,dialect='excel')
            csv_write.writerow(title)
            for i in range(num):
                u=allUniv[i]
                csv_write.writerow(u)
title=["排名","学校名称","省市","总分","生源质量","培养结果","科研规模","科研质量","顶尖成果","顶尖人才","科技服务","产学研究合作","成果转化"]
save_road="D:\test\rank.csv"
def main(num):
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2017.html"
    html=getHTMLText(url)
    soup=BeautifulSoup(html,"html.parser")
    fillunivlist(soup)
    writercsv(save_road,10,title)
main(10)

结果如图

先是在输入的路径下储存了一个名字rank.csv文件

然后打开它