作业①:
要求：
用requests和BeautifulSoup库方法爬取豆瓣电影Top250数据。
每部电影的图片，采用多线程的方法爬取，图片名字为电影名
了解正则的使用方法
from bs4 import BeautifulSoup
from bs4 import UnicodeDammit
import urllib.request
import threading
import re
def imageSpider(start_url):#图片爬取
global count # 全局变量，设置这个完全是因为想名称给解决哈哈！
global threads
try:
urls = [] #最终所要得到爬取图片的网址一开始会置为空
req = urllib.request.Request(start_url, headers=headers) #引入全局变量headers改换头部信息实现多次爬取
data = urllib.request.urlopen(req) #目标网址打开
data = data.read() #对网站内容进行读操作
dammit = UnicodeDammit(data, ["utf-8", "gbk"])#用utf-8和gbk来猜测文本编码，从而设置函数最终信息编码标准
data = dammit.unicode_markup #将内容可转化为text
soup = BeautifulSoup(data, "lxml") #用lxml来解析
images = soup.select("img")#选取我们的目标（图片）的tag
for image in images:#images是存储所有的图片，而image是存取单个图片（可替换）
src = image["src"]#src存储的是图片的名称
url = urllib.request.urljoin(start_url, src)#urljoin构建绝对路径
if url not in urls:#将每一次获取得到的新的单个网址存入urls里面 避免重复
count = count+1
T = threading.Thread(target=download,args=(url,count))# 单个线程的执行操作，执行目标函数download（url，count)4
T.setDaemon(False) #确保所有的线程都已经执行完毕（后台线程不会随主线程结束而结束）
T.start() #开始执行
threads.append(T) #将该线程归为线程池，确保后续的所有线程都已经完成
#print(url)#打印已经下载的图片
except Exception as er:
print(er)
def download(url,count):#具体的下载过程
try:
count = count + 1#我是选择一开始就加一
if (url[len(url) - 4] == "."):#判断是否为目标文件（图片）
ext = url[len(url) - 4:]#获取图片的格式jdp还是png
else:
ext = ""
req = urllib.request.Request(url, headers=headers)#可以更有效的多次爬虫
data = urllib.request.urlopen(req, timeout=100)#防止超时,和第一个函数比有相同的部分，这个就不太好重复工作
data = data.read()#进行图片的数据读
fobj = open("images\" + str(count) + ext, "wb")#默认是在编译器存储在同一个文档中，命名形式用count的具体指哈哈，根据读取的格式来结尾，允许读写图片
fobj.write(data)#写数据
fobj.close()#最后要关闭这个进程
except Exception as e:
print(e)
def doubanSpider(start_url):#数据爬取
try:
req = urllib.request.Request(start_url, headers=headers) # 引入全局变量headers改换头部信息实现多次爬取
data = urllib.request.urlopen(req) # 目标网址打开
data = data.read() # 对网站内容进行读操作
print("排名","电影名称 ","导演 ","主演","上映时间","国家","电影类型","评分","评价人数 ","引用" ,"文件路径", chr(12288)) # 采用中文字符的空格填充chr（12288）
dammit = UnicodeDammit(data, ["utf-8", "gbk"])#用utf-8和gbk来猜测文本编码，从而设置函数最终信息编码标准
data = dammit.unicode_markup #将内容可转化为text
soup = BeautifulSoup(data, "lxml")
#用lxml来解析
lis = soup.select('ol[class="grid_view"] li')#选取我们的目标（图片）的tag
for li in lis:
rank=li.select('div[class="pic"] em[class=""]')[0].text.replace("em",'').replace("
",'')#排名
fn=li.select('div[class="info"] div a span ')[0].text.replace("span",'').replace("
",'')#电影名称
info_l=li.select('div[class="bd"] p')[0].text.replace("p",'').replace("
",'').replace(" ",'')#信息人员
info_f =li.select('div[class="bd"] br')[0].text.replace("br",'').replace("
",'').replace(" ",'')#电影信息
comment=li.select('div[class="bd"] div[class="star"] span[class="rating_num"]')[0].text.replace("span",'').replace("
",'').replace(" ",'')#评价信息
audi=li.select('div[class="star"] span')[3].text.replace("span",'').replace("
",'').replace(" ",'')#观影
refer=li.select('div[class="bd"] p[class="quote"]')[0].text.replace("p",'').replace("
",'').replace(" ",'')#引用
file=str(rank)+".jpg"
print(rank,fn,info_l,info_f,comment,audi,refer,file)
except Exception as er:
print(er)
start_url = "https://movie.douban.com/top250"#目标网站豆瓣
headers = {
"User-Agent": "Mozilla/5.0(Windows;U;Windows NT 6.0 x64;en-US;rv:1.9pre)Gecko/2008072421 Minefield/3.0.2pre"}
count = 0
threads = [] #线程池
imageSpider(start_url) # 调用函数
for t in threads:
t.join() #等待其他线程完成
doubanSpider(start_url)
print("over!")
心得体会：
多多调试，题目具有一定的灵活性；
没做之前觉得挺难的，做完后觉得还可以，是在自己力所能及的范围内；
任务分为两步：图片下载和数据爬取；
也发现自己的不足：知识有些遗忘，但也还好吧！之前动手实践过，所以还行
作业②:
要求：
熟练掌握 scrapy 中 Item、Pipeline 数据的序列化输出方法；Scrapy+Xpath+MySQL数据库存储技术路线爬取科软排名信息
爬取科软学校排名，并获取学校的详细链接，进入下载学校Logo存储、获取官网Url、院校信息等内容。
rankank.py
import scrapy
from ..items import RankItem
from bs4 import BeautifulSoup
import urllib.request
from bs4 import UnicodeDammit
"""
第六次作业
"""
# -*- coding: utf-8 -*-
class RankankSpider(scrapy.Spider):
name = 'rankank'
start_url = 'https://www.shanghairanking.cn/rankings/bcur/2020'
def start_requests(self):
url = RankankSpider.start_url
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
dammit = UnicodeDammit(response.body, ["utf-8", "gdk"])
data = dammit.unicode_markup
selector = scrapy.Selector(text=data)
lis =selector.xpath("//div[@class='rk-table-box']/table/tbody/tr")
count=0
for li in lis:
#下面为每一所大学的信息爬取
sno = li.xpath("./td[position()=1]/text()").extract_first() # 排名
sno=str(sno).strip()
sname = li.xpath("./td[@class='align-left']/a/text()").extract_first() # 名字
sname = str(sname).strip()
scity = li.xpath("./td[position()=3]/text()").extract_first() # 城市
scity = str(scity).strip()
surl = li.xpath("./td[@class='align-left']/a//@href").extract() # url
surl = str(surl).strip().replace("[",'').replace("'",'').replace("]",'')
sfile = str(count) + ".png" # 文件
##
se_url = response.urljoin(surl)
headers = {
"User-Agent": "Mozilla/5.0(Windows;U;Windows NT 6.0 x64;en-US;rv:1.9pre)Gecko/2008072421 Minefield/3.0.2pre"}
req = urllib.request.Request(se_url, headers=headers) # 引入全局变量headers改换头部信息实现多次爬取
data1 = urllib.request.urlopen(req) # 目标网址打开
data1 = data1.read() # 对网站内容进行读操作
#进而提取出图片信息与文字信息
dammit = UnicodeDammit(data1, ["utf-8", "gbk"]) # 用utf-8和gbk来猜测文本编码，从而设置函数最终信息编码标准
data1 = dammit.unicode_markup
soup1 = BeautifulSoup(data1, "lxml") # 用lxml来解析
# 获取信息
info = soup1.select('div[class="univ-introduce"] p')[0].text.replace("p",'')
sinfo = info # 信息
sinfo = str(sinfo).strip()
#获取图片
images = soup1.select('td[class="univ-logo"] img') # 选取我们的目标（图片）的tag，由于为所有图片所以之后要for
for image in images: # images是存储所有的图片，而image是存取单个图片（可替换）
url = image["src"] # src存储的是图片的名称
if (url[len(url) - 4] == "."): # 判断是否为目标文件（图片）
ext = url[len(url) - 4:] # 获取图片的格式jdp还是png
else:
ext = ""
req = urllib.request.Request(url, headers=headers) # 可以更有效的多次爬虫
data2 = urllib.request.urlopen(req, timeout=100) # 防止超时,和第一个函数比有相同的部分，这个就不太好重复工作
data2 = data2.read() # 进行图片的数据读
fobj = open("images\" + str(count) + ext, "wb") # 默认是在编译器存储在同一个文档中，命名形式用count的具体指哈哈，根据读取的格式来结尾，允许读写图片
count = count + 1
fobj.write(data2) # 写数据
fobj.close() # 最后要关闭这个进程
item = RankItem()
item["sno"] = sno
item["sname"] = sname
item["scity"] = scity
item["surl"] = surl
item["sinfo"] = sinfo
item["sfile"] = sfile
yield item
pass
pipeline.py
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
import pymysql
class RankPipeline:
def open_spider(self, spider):
print("opened")
try:
self.con = pymysql.connect(host="127.0.0.1", port=3306, user="root", passwd="20201006Wu", db="rankank",
charset="utf8") # 链接数据库，db要是自己建的数据库
self.cursor = self.con.cursor(pymysql.cursors.DictCursor)
self.cursor.execute("delete from rankank") # 删除表格的原来内容
self.opened = True # 执行打开数据库
except Exception as error:
print(error)
self.opened = False # 不执行打开数据库
def process_item(self, item, spider):
try:
print(item["sno"],item["sname"], item["scity"], item["surl"], item["sinfo"], item["sfile"])#控制端输出信息
if self.opened:
self.cursor.execute(
"insert into rankank(sno,sname,scity,surl,sinfo,sfile)values(%s,%s,%s,%s,%s,%s)",
(item["sno"],item["sname"], item["scity"], item["surl"], item["sinfo"], item["sfile"]))
#插入sql语句
except Exception as e:
print(e)
return item
def close_spider(self, spider):
if self.opened:
self.con.commit()
self.con.close()
self.opened = False
print("closed")
items.py
# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html
import scrapy
class RankItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
sno=scrapy.Field()#排名
sname = scrapy.Field()#名字
scity = scrapy.Field()#城市
surl = scrapy.Field()#url
sinfo = scrapy.Field()#信息
sfile = scrapy.Field()#文件
pass
run.py
from scrapy import cmdline
cmdline.execute("scrapy crawl rankank -s LOG_ENABLED=False".split())
settings.py
BOT_NAME = 'rank'
SPIDER_MODULES = ['rank.spiders']
NEWSPIDER_MODULE = 'rank.spiders'
ROBOTSTXT_OBEY = False
ITEM_PIPELINES = {
'rank.pipelines.RankPipeline': 300,
}
心得体会：
不是特别难和上题一样，具有一定的灵活性；
任务分为三个：图片下载，数据爬取，连接数据库；
是上一题的进阶版>o<
作业③：
要求：
熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素加载、网页跳转等内容。
使用Selenium框架+ MySQL数据库存储技术模拟登录慕课网，并获取学生自己账户中已学课程的信息并保存在MYSQL中。
其中模拟登录账号环节需要录制gif图。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import urllib.request
import threading
import sqlite3
import os
import datetime
from selenium.webdriver.common.keys import Keys
import time
class icourse:
header = {
"User-Agent": "Mozilla/5.0(Windows;U;Windows NT 6.0 x64;en-US;rv:1.9pre)Gecko/2008072531 Minefield/3.0.2pre"
}
#这个恒定不变的！
def start(self, url):#开始只需要利用url模拟浏览器搜索爬取
chrome_options = Options()#调用chrome的浏览器
chrome_options.add_argument("——headless")
chrome_options.add_argument("——disable-gpu")
self.driver = webdriver.Chrome(chrome_options=chrome_options)
self.id=0#编号
try:
self.con = sqlite3.connect("icourse.db")
#链接到指定数据库，事实证明是是运行的文件的下面的直接建立,额外再补充一下：这里的数据库也是表格
self.cursor = self.con.cursor()
try:
self.cursor.execute("drop table icourse")
#初始操作删除stock的数据库的原来所有内容
except:
pass#报错直接忽略
try:
sql = "create table icourse(id varchar(16) ,course varchar(64),college varchar(64),teacher varchar(64),team varchar(256),count varchar(256),process varchar(128),brief varchar(512))"
#所以我们只需要建一个数据库具体的表的为这句语句实现，指定为stock的表
self.cursor.execute(sql)
#表示执行上面的语句
except:
pass#报错直接忽略
except Exception as err:
print("start")#报错显示其原因
theurl='https://www.icourse163.org/'
self.driver.get(theurl) # 浏览器得到地
##嘻嘻我还是有办法找到简单的方法，就是先模拟登录通过theurl，
##完成登录后在跳转到指定的网站把信息爬取下来
def closeUp(self):#关闭数据库与浏览器
#这个部分和第一题是一样的
try:
self.con.commit()
self.con.close()#数据库关闭
self.driver.close()#浏览器关闭
except Exception as err:
print("close")#报错显示其原因
def insertDB(self, id,course,college,teacher,team,count,process,brief):
#将从浏览器爬取得到的数据插入数据库
try:
sql = "insert into icourse (id,course,college,teacher,team,count,process,brief) values (?,?,?,?,?,?,?,?)"
#因为每次爬取的都是不同的数据，所以这个sql语句是含有参数的表示
self.cursor.execute(sql, (id,course,college,teacher,team,count,process,brief))
#执行sql指令
except Exception as err:
print("insert")#报错显示其原因
def showDB(self):
#实现在pycharm的控制台输出从浏览器导出到mysql结果
try:
con = sqlite3.connect("icourse.db")
#第一步肯定是建立链接
cursor = con.cursor()
print("id","course","college","teacher","team","count","process","brief")#控制台显示的一排数据
cursor.execute("select id,course,college,teacher,team,count,process,brief from icourse order by id")#sql语句获取数据
#第二步执行mysql语句，得到的结果用rows暂存，所以之后我们还需要将rows分隔开打印
rows = cursor.fetchall()
for row in rows:
print(row[0], row[1], row[2], row[3], row[4],row[5], row[6], row[7])
#分隔开打印数据
con.close()#读取完数据，关闭数据库
except Exception as err:
print("show")
def execute(self, url):#在控制台输出正在进行的过程
self.start(url)
self.loginmooc()
print("Starting")
self.driver.get(url) # 浏览器得到真正的网址地
print("Processing")
self.process()
print("Closing")
self.closeUp()
print("Completed")
def loginmooc(self):
self.driver.maximize_window()#页面呈现为最大的形式
self.driver.find_element_by_xpath("//a[@class='f-f0 navLoginBtn']").click()#选择登录|注册
time.sleep(2)
self.driver.find_element_by_xpath("//span[@class='ux-login-set-scan-code_ft_back']").click()#选择“其他方式”
time.sleep(1.2)
self.driver.find_elements_by_xpath("//ul[@class='ux-tabs-underline_hd']//li")[1].click()#在列表中选择“手机”
time.sleep(0.3)
iframe_id = self.driver.find_elements_by_tag_name("iframe")[1].get_attribute('id')
self.driver.switch_to.frame(iframe_id)
#寻找下面的输入位置
self.driver.find_element_by_xpath("//input[@id='phoneipt']").send_keys('18196534898')#
time.sleep(3)
self.driver.find_element_by_xpath("//input[@class='j-inputtext dlemail']").send_keys('$$$$$$$$$$$$')
time.sleep(1.1)
self.driver.find_element_by_xpath("//a[@class='u-loginbtn btncolor tabfocus ']").click()
time.sleep(4.7)
self.driver.get(self.driver.current_url)
def process(self):#真正的爬取数据开始！
time.sleep(1)
try:
lis = self.driver.find_elements_by_xpath("//div[@class='m-course-list']/div/div[@class]")
#除图片以外其他所有信息均在这个目录下
for li in lis:
self.id = self.id + 1
id=self.id
course= li.find_element_by_xpath(".//div[@class='t1 f-f0 f-cb first-row']").text#课程
college =li.find_element_by_xpath(".//a[@class='t21 f-fc9']").text#学院名
teacher=li.find_element_by_xpath(".//div[@class='t2 f-fc3 f-nowrp f-f0']/a[position()=2]").text#老师
team=li.find_element_by_xpath(".//div[@class='t2 f-fc3 f-nowrp f-f0']").text#所有的团队成员
count = li.find_element_by_xpath(".//span[@class='hot']").text#总人数数
brief = li.find_element_by_xpath(".//span[@class='p5 brief f-ib f-f0 f-cb']").text#课程的简介
process=li.find_element_by_xpath(".//span[@class='txt']").text#课程的时间进展
self.insertDB(id,course,college,teacher,team,count,process,brief )
time.sleep(1)
except Exception as err:
print("process")
url = "https://www.icourse163.org/search.htm?search=%E8%89%BA%E6%9C%AF#/"#还是和上题同一个网址
spider = icourse()
icourse().execute(url)
icourse().showDB()#没有（）会报错因为self
心得体会：
不是特别难；
任务分为三个：登录页面，爬取数据；
对我而言，是上一次作业的进阶版
但不得不提就是这行代码的重要性，不然会报错：
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//input[@id='phoneipt']"}
(Session info: chrome=86.0.4240.198)
代码：
iframe_id = self.driver.find_elements_by_tag_name("iframe")[1].get_attribute('id')
self.driver.switch_to.frame(iframe_id)
#寻找下面的输入位置
写一下这门课给我的感受：
爬虫主要还是要动手实践，理论很多；
实际操作会发现：没有预料的难；
谢谢老师告诉爬取各种网页的方式，
虽然在做实验的时候，觉得有些很繁琐，每次都要学习新的知识是`(>﹏<)′
学的过程要保持一颗平淡的心，
一步一步慢慢做，出现问题也不要过于急躁，总是有解决的方法！