1.requests 安装:
-pip install requests
确认requests是否安装成功
-import requests
eg :
-import requests
r = requests.get("htpp://www.baidu.com")# 获取百度
r.status_code #状态码
返回值 :200 说明 请求成功
t.encoding = 'utf-8'
t.text #打印百度的html网页的代码
--
html 代码
--
2.get方法:
r =requests.get(url)
request.get(url,params=None, **kwargs)
url: 拟获取页面的url的链接,
params: url中的额外参数,字典或字节流格式,可选
** kwargs 可选的
3.Response 对象:
-属性:
r.status_code:http请求的返回状态,200表示链接成功, 404表示连接失败
t.text; http响应内容的字符串形式, 即, url对应的页面内容
r.encoding:从http header中猜测的响应内容编码方式,
r.apparent_encoding: 从内容分析出的响应内容编码方式(备选编码方式)
r.content :http响应内容的二进制形式
4.requests库的异常:
requests.ConnectionError:网络连接错误异常,如DNS查询失败,拒绝链接等
requests.HTTPError:HTTP错误异常
requests.URLRequired:URL缺失异常
requests.TooManyRedirects:超过最大重定向次数,产生重定向异常
requests.ConnectTimeout:链接远程服务器超时异常
requests.Timeout:请求URL超时, 产生超时异常
r.raise_for_status():如果是200, 产生异常requests.HTTPError
-爬取网页的通用代码的框架:
import requests
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()#如果状态不是200, 引发HTTPError异常
r.encoding = r.apparent_encoding
return r.text
except:
return "产生异常"
if __name__=="__main__":
url="http://www.baidu.com"
print(getHTMLText(url))
requests库的head()方法:
r=requests.head("http://httpbin.org/get")
r.headers
requests库的post()方法:
payload={'key1':'value1', 'key2':'value2'}
r = requests.post("http://httpbin.org/post", data=payload)
print(r.text)
5.Requests 库的7个方法:
requests.request():构造一个请求,支撑以下各个方法的计出方法
requests.get():获取HTML网页的主要方法, 对应HTTP的GET
requests.head():获取HTML网页头信息的方法, 对应于HTTP的HEAD
requests.post():向html网页提交post请求的方法, 对应HTTP的POST
requests.put():向html网页提交PUT请求的方法, 对应HTTP的PUT
requests.patch():向html网页提交局部修改请求, 对应HTTP的PATCH
requests.delete():向html页面提交删除请求,对应于HTTP的DELETE
requests.request(method, url, **kwargs)
-method:请求方式, 对应get/post/put等7种
-url:拟获取网页的url链接
**kwargs:控制访问的参数,共13个
-13个参数:
--params:字典或者序列, 作为参增加到url中
kv={'key1':'value1', 'key2':'value2'}
r = requests.request("GET", 'http://python123.io/ws', params=kv)
print(r.url)
返回值
----
>>>https://python123.io/we?key1=value1&key2=value2
-----
--data:字典, 字节序列或文件对象, 作为Request的内容
kv={'key1':'value1', 'key2':'value2'}
r = requests.request("GET", 'http://python123.io/ws', data=kv)
body='主体内容'
r = requests.request("POST", 'http://python123.io/ws', data=body)
--json:json格式数据,作为Request的内容
kv = {'key1':'value1'}
r=requests.request('POST', 'http://python123.io/ws', json=kv)
--headers:字典, http定制头
hd={'user-agent':'Chrome/10'}
r=requests.request('POST', 'http://python123.io/ws', headers=hd)
--cookies:字典或CookieJar, Request中的cookie
--auth:元组, 支持HTTP认证功能
--file:字典类型,传输文件
fs = {'file':open('data.xls','rb')}
r = requests.request('POST', 'http://python123.io/ws', file=fs)
--timeout:设定超时时间,秒为单位
r = requests.request('GET', 'http://python123.io/ws',timeout=10)
--proxies:字典类型, 设定访问代理服务器, 可以增加登录认证
pxs = {'http':'http://user:pass@10.10.10.1:1234'
'https://10.10.10.1:4321'
}
r=requests.request('GET','http://www.baidu.com', proxies=pxs)
--allow_redirects:True/False, 默认为True, 重定向开关
--stream:True/False, 默认为True, 获取内容立即下载开关
--verify:True/False, 默认为True, 认证SSL证书开关
--cert:本地SSL证书路径
Robots协议:
Robots Exclusion Standard 网络爬虫排除标准
作用:网站告知网络爬虫那些页面可以抓取, 那些不行
形式:在网站的根目录下
--Robots协议的使用:
网络爬虫:自动或人工识别robots.txt, 在进行内容爬取
--约束性:Robots协议是建议但非约束性, 网络爬虫可以不遵守, 但是存在法律风险
---图片下载与保存:
import requests
r=requests.get(url)
with open(path, 'wb') as f:
f.write(r.content)
=================================
IP地址的查询:------
-----------------------
import requests
url = 'http://m.ip138.com/ip.asp?ip='
try:
r = requests.get(url+'202.204.80.112')
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text)
except:
print('爬取失败!')
===============
-------------------------
beautifulsoup4的安装:
-pip install beautifulsoup4
BeautifulSoup测试:
-----------------------
import requests
r=requests.get('http://python123.io/ws/demo.html')
print(r.text)
demo=r.text
from bs import BeautifulSoup
soup = BeautifulSoup(demo, 'html.parser')
print(soup.prettify())
=======================
6. BeautifulSoup 库的理解
=======================
--解析,遍历,维护,"标签树"的功能库
==Beautiful Soup 类的基本元素
--Tag:标签, 最基本的信息组织单元, 分别用<>和</>标明开头和结尾
--Name:标签的名字,<p>……</p>的名字是'p', 格式:<tag>.name
--Attributes:标签的属性, 字典形式组织, 格式:<tag>.attrs
--NavigableString:标签内非常属性字符串,<>…</>中字符串吗格式:<tag>.string
--Comment:标签内字符串的注释部分, 一种特殊的Comment类型
==标签树的下行遍历
.content:子节点的列表, 将<tag>所有儿子节点存入列表
.children:子节点的迭代类型,与.content类似, 用于循环遍历儿子节点
.descendants:子孙节点的迭代类型,包含所有的子孙节点,用于循环遍历
==标签树的上行遍历
.parent:节点的父亲标签
.parents:节点先辈标签的迭代类型,用于循环遍历先辈节点
==标签树的平行遍历
.next_sibling:返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling:返回按照HTML文本顺序的上一个平行节点标签
.next_siblings:迭代类型, 返回按照HTML文本顺序的后续所有平行的节点
.previous_siblings:迭代类型,返回按照HTML文本顺序的前续所有平行节点标签
========
.prettify()
========
--信息标记的三种形式:
--信息的标记:
--标记后的信息可形成信息组织结构,增加信息维度
--标记后的信息可用于通信、存储或展示
--标记的结构与信息一样具有重要的价值,
--标记的信息更利于程序的理解胡运用
=====
HTML知识: …………
Xml 信息标记语言
json:有类型的键值对 (key:value)
YAML:无类型的键值对 (没有双引号"")
--"|" 表达整块数据 # 表注释
=====
信息提取的一般方法:
方法一:
完整解析信息的标记形式,在提取关键信息
XML JOSN YAML
需要标记解析器, 例如:bs4的标签树的遍历
方法二:
五十标记形式, 直接搜索关键信息
搜索
---对信息的文本查找函数即可,
优点:提取过程简洁,速度较快
缺点,提取结果准确性与信息内容相关
========
代码: =
========================================================
import requests
r=requests.get('http://python123.io/ws/demo.html')
print(r.text)
demo=r.text
from bs4 import BeautifulSoup
soup = BeautifulSoup(demo, "hrml.parser")
for link in soup.find_all('a'):
print(link.get('href'))
=========================================================
-- <>.find_all(name, attrs,recursive, string, **kwargs)
返回一个列表类型, 存储查找结果,
--name:对标签名称的检索字符串。
--attrs:对标签属性值的检索字符串,可标注属性检索。
--recursive:是否对子孙全部检索,默认True
--string:<>…</>中字符串区域的检索字符串
=========================================================
url:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html
功能描述:
-输入:大学的URL链接
-输出:大学排名信息的屏幕输出(排名, 大学名称, 总分)
-技术路线:requests-bs4
-定向爬虫:仅对输入url进行爬取, 不扩展爬取
程序的结构设计:
-步骤1:从网络上获取大学排名网页内容
-- getHTMLText()
-步骤2:提取网页内容中信息到合适的数据结构
-- fillUnivList()
-步骤3:利用数据结构战术输出结果
--:printUnivList()
代码:
=========================================================================
import requests
import bs4
from bs4 import BeautifulSoup
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist, html):
soup = BeautifulSoup(html, "html.parser")
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag):
tds = tr('td')
ulist.append([tds[0].string, tds[1].string, tds[3].string])
def printUnivList(ulist, num):
print("{:^10} {:^6} {:^10}".format("排名", "学校", "评分"))
for i in range(num):
u = ulist[i]
print("{:^10} {:^6} {:^10}".format(u[0], u[1], u[2]))
def main():
uinfo = []
url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
html = getHTMLText(url)
fillUnivList(uinfo, html)
printUnivList(uinfo, 20)
if __name__ == '__main__':
main()
=========================================================================
中文对齐问题的解决:
采用中文字符的空格填充 chr(12288)
========================================
def printUnivList(ulist, num):
tplt = "{0:^10} {1:{3}^10} {2:^10}"
print(tplt.format("排名", "学校", "总分", chr(12288)))
for i in range(num):
u = ulist[i]
print(tplt.format(u[0], u[1], u[2], chr(12288) ))
=========================================================
7.正则表达式:
regular expresson regex RE
正则表达式是用来简洁表达一组字符串的表达式
-通过的字符串表达框架
-简洁表达一组字符串的表达式
-针对字符串表达“简洁”和“特征”思想的工具
-判断某字符串的特征归属
正则表达式在文本处理中十分常用
-表达文本类型的特征(病毒、入侵等)
-同时查找或替换一组字符串
-匹配字符串的全部或部分
正则表达式的使用
-编译:将符合正则表达式语法的字符串转换成正则表达式特征
正则表达式的语法:
正则表达式语由字符和操作符构成
RE库的介绍:
RE库是Python的标准库, 主要用于字符串匹配。
调用方式: import re
正则表达式的表示类型
-raw string类型(原生字符串类型--- 不包含转义符的字符串)
* re库采用raw string类型表示正则表达式, 表示为“r.text”
* string 类型, 更繁琐
RE库主要的功能函数:
-re.search():在一个字符串中搜索匹配正则表达式的第一个位置, 返回match对象
*re.search(pattern, string, flags=0)
-pattern: 正则表达式的字符串或原生字符串表示
-string:待匹配的字符串
-flags:正则表达式使用时的控制标记
-re.match():从一个字符串的开始位置起匹配正则表达式, 返回match对象
*re.match(pattern, string, flags=0)
-pattern: 正则表达式的字符串或原生字符串表示
-string:待匹配的字符串
-flags:正则表达式使用时的控制标记
-re.findall():搜索字符串, 以列表类型返回全部能匹配的子串
*re.findall(pattern, string, flags=0)
-pattern: 正则表达式的字符串或原生字符串表示
-string:待匹配的字符串
-flags:正则表达式使用时的控制标记
-re.split():将一个字符串按照正则表达式匹配结果进行分割, 返回列表类型
*re.split(pattern, string,maxslplit=0, flags=0)
-pattern: 正则表达式的字符串或原生字符串表示
-string:待匹配的字符串
-maxslplit:最大分割数, 剩余部分作为最后一个元素输出
-flags:正则表达式使用时的控制标记
-re.finditer():搜索字符串, 返回一个匹配结果的迭代类型,每个迭代元素是match对象
*re.finditer(pattern, string, flags=0)
-pattern: 正则表达式的字符串或原生字符串表示
-string:待匹配的字符串
-flags:正则表达式使用时的控制标记
-re.sub():在一个字符串中替换所有匹配正则表达式的字串, 返回替换后的字符串
*re.sub(pattern, replstring, coount=0,flags=0)
-pattern: 正则表达式的字符串或原生字符串表示
-repl:替换匹配字符串的字符串
-string:待匹配的字符串
-count:匹配的最大替换次数
-flags:正则表达式使用时的控制标记
=================================================================
======淘宝商品比价定向爬虫 示例编写
=================================================================
功能描述:
*目标:获取淘宝搜索页面的信息,提取其中的商品名称和价格。
*理解:淘宝的搜索接口。
-翻页的处理:
*定向爬虫可行性
robots.txt
程序的结构设计
步骤1:提交商品搜索的请求,循环获取页面。
步骤2:对于每个页面, 提取商品名称和价格信息
步骤3:将信息输出到屏幕上