beautyfulsoup模块

爬虫最常见的是处理反扒措施:常见的反扒措施

user-agent :用户请求浏览器信息(需要要携带) 

refer:请求到来的路径 有时候需要携带

token:服务器发送的验证字符串,需要分析

cookies:可以使用session处理

requests属性

最常用的两个函数:get() post()

参数有:

params={"":""},可以指定请求路径中的参数,自动解析

headers={}:请求头信息,需要关键字参数:如:"user-agent"="","refer":"",等等

resp = requests.get(url=url,params=params,headers=headers)

resp.text:响应返回的文本信息

resp.content:响应返回的二进制数据(可以用来传输图片video等)

resp.status-code:相应的状态码(判定是否请求成功)

resp.url:请求的路径

resp.cookies:获取返回的cookies信息(是一个对象)

resp.cookies.get_dict():获取返回cookies信息的字典格式可以通过get获取

resp.json():将返回的json数据进行反序列化

resp.requests:请求的方法

resp.apparent_encoding:从文档中获取编码的方式

resp.encoding:默认的编码方式可指定

resp.headers:查看响应头(好像是可以获取浏览器中的信息)

resp.history:重定向历史  即前一次请求的地址

resp.url:当前的请求地址

可以在get方法中指定参数streamTrue

流流的方式获取数据,没有经过HTPP协议解析的数据

resp.raw.read(100)读取100字节(没什么用)

当文档的编码方式与response解码方式不同时,就需要手动指定

resp.encoding  = resp.apparent_encoding

对于返回值为json格式的处理

jsonresp = resp.get("http://v.juhe.cn/toutiao/inedx")

print(jsonresp.text)

print(jsonresp.json())

对于post请求,data和json都能传递参数

其中data方式拼接为 name=jerry&pwd=123

json直接序列化为字符串

超时时间 第一个参数为连接超时时间,第二个表示响应超时时间

requets.post(url,timeout=()10,10))

allow_redirects是否允许重定向

代理池:对于爬虫而言是一个相当重要的参数

Ps=,["""""""""""",,""""",,,",",""]

import random

使用代理服务器请求

resp = request.post(url,proxies={"HTTP":randoim.choice(Ps)})

verify证书验证,目前已基本不再使用,都换成了HTTPS请求

Import requests

response=  requests.get(url,cert=("qiwuedghqd./fwe"),verify=True)

上传文件:

f = open('路径名','rb)

接受一个字典,key是服务器用于提取文件的字段名,f是要上传的文件对象

resp = requests.post(url,files={"img":f})

beautifulSoup模块

在之前的爬虫程序中,使用了大量正则获取数据,效率非常低,beautifulSoup是一个第三方模块,专门用于解析XML文档,目前最稳定的是bs4版本

from bs4 import BeaustifulSoup

html_doc = """fvuiwbfuiwebfiwbfwib"""

第一个参数为要解析的文档数据,可以是字符串,也可以是一个文件对象

第二个参数表示要使用的解析器,每个解析器都有不同的特点,推荐是lxml,速度快

soup = BeautifulSoup(html_doc,"lxml")

一个标分为三部分:标签名字,标签属性,标签内容

tag = soup.body

tag.name tag.text tag.attrs

使用.语法来查找标签,注意查找范围是全文只能找第一个与名字匹配的标签

可以嵌套

获取子节点:

soup.p.children返回的是一个迭代器可以使用list转型

soup.head.contents:返回一个列表

获取父标签soup.p.parent

soup.p.parents获取所有的父辈标签

soup.p.descendants#获取所有子孙标签,不同之处在于,会把所有子孙标签全部拆出来,包括文本内容

获取兄弟标签,文本也被当做一个节点

下一个兄弟:soup.a.next_sibling.next_sibling

过滤器

fin_all查找所有匹配的标签

按照名字匹配,可以传一个名字,或一个列表

find_all("a"),find_all(["a","b"])

查找id为link1的a标签

soup.find_all("a",attrs={"id":"link1"})  soup.find_all(name="a",id="link1")

查找标签为a类名为sister的

soup.find_all("a",attrs={"class":"sister"})

注意如果按照条件为class来查找,需要使用class_,因为class是关键字

多个类名加空格即可

soup.gind_all(name="a",class_="sister.brother")

如果属性中带有特殊符号,可以把条件装在attrs中

可以指定按照文本内容查找:

soup.find_all(name="a",text="sb")

过滤器:

标签名称中带有b字母的标签

soup.find_all(name="b")

正则匹配

c = re.compile("b")

soup.find_all(name=c)

数组

soup.find_all(name=["body","a"])

True表示所有标签,soup.find_all(True) 

所有具备id属性的标签 soup.find_all(id=True)

方法匹配(可以写个函数匹配)

def Filter(tag):

　　return tag.name == "a" and tag.text != "sb" and tag.has_attr("id")

soup.find_all(name="a",limit=1)显示结果为一条

find方法等同于find_all

选择器

soup.select("a")

soup.select(".sister")

soup.select("#link1")

soup.select("p>ssss")