爬虫基础以及 re,BeatifulSoup,requests模块使用

爬虫基础以及BeatifulSoup模块使用

  爬虫的定义：向网站发起请求，获取资源后分析并提取有用数据的程序 

爬虫的流程

• 发送请求 ---> request
• 获取响应内容 ---> response
• 解析内容 ---> BeatifulSoup
• 保存数据 ---> mysql

#1、发起请求
使用http库向目标站点发起请求，即发送一个Request
Request包含：请求头、请求体等

#2、获取响应内容
如果服务器能正常响应，则会得到一个Response
Response包含：html，json，图片，视频等

#3、解析内容
解析html数据：正则表达式，第三方解析库如Beautifulsoup，pyquery等
解析json数据：json模块
解析二进制数据:以b的方式写入文件

#4、保存数据
数据库
文件

1.Request请求内容

1.1请求方式：

    常用的请求方式：GET，POST
    其他请求方式：HEAD，PUT，DELETE，OPTHONS

    ps：用浏览器演示get与post的区别，（用登录演示post）

    post与get请求最终都会拼接成这种形式：k1=xxx&k2=yyy&k3=zzz
    post请求的参数放在请求体内：
        可用浏览器查看，存放于form data内
    get请求的参数直接放在url后

1.2请求url

    url全称统一资源定位符，如一个网页文档，一张图片
    一个视频等都可以用url唯一来确定

    url编码
    https://www.baidu.com/s?wd=图片
    图片会被编码（看示例代码）


    网页的加载过程是：
    加载一个网页，通常都是先加载document文档，
    在解析document文档的时候，遇到链接，则针对超链接发起下载图片的请求

1.3请求头

User-agent：告诉它这是浏览器发过来的请求（请求头中如果没有user-agent客户端配置，服务端可能将你当做一个非法用户）务必加上
host：
cookies：cookie用来保存登录信息
Referer:上一次的跳转路径

1.4请求体

    如果是get方式，请求体没有内容
    如果是post方式，请求体是format data

    1、登录窗口，文件上传等，信息都会被附加到请求体内
    2、登录，输入错误的用户名密码，然后提交，就可以看到post，正确登录后页面通常会跳转，无法捕捉到post

2.响应Response内容

2.1响应状态

    200：代表成功
    301：代表跳转
    404：文件不存在
    403：权限
    502：服务器错误

2.2Respone header

    Location：跳转
    set-cookie：可能有多个，是来告诉浏览器，把cookie保存下来

2.3preview就是网页源代码.

    最主要的部分，包含了请求资源的内容
    如网页html，图片
    二进制数据等

BeatifulSoup模块和requests模块

    requests可以模拟浏览器的请求，BeatifulSoup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式；

安装 BeautifulSoup

1.安装beautifulsoup4

pip install beautifulsoup4

2.安装解析器

• lxml HTML 解析器：速度快，容错能力强 *****

    Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml
  

pip install lxml

• html5lib 依照浏览器方式解析文档

    另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:
  

pip install html5lib

使用

1.引用BeautifulSoup模块

from bs4 import BeautifulSoup

常用参数

requests模块：

• requests.get 请求内容
• response.encoding 解码方式
• response.text 页面内容

BeautifulSoup4模块：

• BeautifulSoup(response.text, "lxml") #处理容错格式： BeautifulSoup(页面内容, "lxml")

固定格式部分--获取页面内容

import requests
from bs4 import BeautifulSoup

# 请求内容
response = requests.get(
    # 指定 url 地址
    url='https://www.autohome.com.cn/news/',
    # URL 头部信息
    headers={
        # 伪装头部信息
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
        # 伪装从哪个页面来源
        "Referer": "https://www.autohome.com.cn/",
        # 主机地址
        "Host": "www.autohome.com.cn",
    }
)
# 解码方式
response.encoding = 'utf-8'

# 将HTML文本转换为一个对象
soup = BeautifulSoup(response.text, "lxml")

# 处理好缩进，结构化显示(易于查看)
# res = soup.prettify()                         

1.获取标签

1.获取标签(p标签，a标签)

print(soup.p)      # 存在多个相同的标签则只返回第一个
print(soup.a)      # 存在多个相同的标签则只返回第一个

2.获取标签的名称(p)

print(soup.p.name)

3.获取标签的属性

print(soup.div.attrs)

输出：

{'id': 'auto-header', 'class': ['topbar']}

4.获取标签的内容

print(soup.span.string)              # span下的文本只有一个时，取到，否则为None
print(soup.span.strings)             # 拿到一个生成器对象, 取到span下所有的文本内容
print(soup.span.text)                # 取到span下所有的文本内容

5.嵌套选择(取出 body 下的 a标签 第一个；)

print(soup.head.title.text)
print(soup.body.a.string)

6.子节点、子孙节点

print(soup.p.contents)            # p下所有子节点
print(soup.p.children)            # 得到一个迭代器,包含p下所有子节点

- 循环该节点，得到索引和值
for i,child in enumerate(soup.p.children):
    print(i,child)

7.父节点

print(soup.a.parent) #获取a标签的父节点

8.兄弟节点

print(soup.a.next_sibling)           # 下一个兄弟
print(soup.a.previous_sibling)       # 上一个兄弟
print(soup.a.next_siblings)          # 下面所有兄弟们=>生成器对象
print(soup.a.previous_siblings)      # 上面所有兄弟们=>生成器对象

2.过滤器

    将拿到的数据按照一定规则进行过滤，提取有用的信息；

2.1使用BeautifulSoup的find和find_all

• 查询find_all 列表时，需要指定标签后，才可继续使用find方法

2.2按照类class 进行查找

class的两种用法

# attrs={"class": "sister"}
# class_="sister"
# 两种查出class 类的方法
print(soup.find_all(name="div", attrs={"class": "sister"}))
print(soup.find_all(name="div", class_="sister"))              # 这两个是一样的

# 两种查出 id 的方法
print(soup.find_all(attrs={"id":"link3"}))                     # 这两个是一样的，只是表示方式不一样
print(soup.find_all(id="link3"))

---

1.找到文档中所有 ul标签 class 为 article 的标签

print(soup.find_all(name="ul", attrs={"class": "article"}))     # 找到标签名是ul,属性名是article,
或
print(soup.find_all('ul', class_='article'))     
               

2.找到文档中div标签，属性为advlist fn-clear标签，顺序错误也匹配不成功

print(soup.find_all(name="div", class_="advlist fn-clear"))

3.查找依照advl 开头的类

print(soup.find_all(name="div", class_=re.compile("^advl")))

2.3使用正则 re 模块进行匹配

1.找到b开头的的标签

import re
print(soup.find_all(name=re.compile("^b")))    

2.找到id包含link的标签

print(soup.find_all(attrs={"id":re.compile("link")})) 

3.找带有$价钱的文本

print(soup.find_all(text=re.compile(r"$")))                 # 找带有$价钱的文本

4.找到文本中包含 Money字符串 或 $符 的字符串

print(soup.find_all(text=["Money", re.compile(r"$")]))      # 找text 中有Money或 $符 的文本

5.获取 digg-logo 字符串

a = '<a class="digg-logo" href="/"></a>'
digg = re.findall('class="(.*)" href=', str(a))[0]

print(digg)

输出：

digg-logo

2.4列表中任一元素匹配的内容返回

1.找a标签或者b开头的所有的标签

print(soup.find_all(name=["a", re.compile("^b")]))          

2.5True：可以匹配任何值

1.找到所有标签的标签名属性的标签（所有）

print(soup.find_all(name=True))                              # 找到所有标签的标签名（所有）

2.找到只要有id属性的标签

print(soup.find_all(attrs={"id":True}))                      # 找到只要有id属性的

3.找到p标签，并且具有id 属性的

print(soup.find_all(name="p",attrs={"id":True})) 

2.6自定义过滤器；

1.只接受一个元素参数 ,如果这个方法返回 True 表示当前元素匹配并且被找到,如果不是则反回 False

def has_class_not_id(tag):
    # return tag.has_attr('class') and not tag.has_attr('id')                      # 找到包含class 标签，但是不包含id属性的标签（子标签中含id属性，会被忽略）
    # return tag.has_attr('id') and not tag.has_attr('class')                      # 只包含 id 不包含 class 属性
    return tag.name == "a" and tag.has_attr("class") and not tag.has_attr("id")    # a 标签，包含class 属性，不包含id属性
    
print(soup.find_all(has_class_not_id)) 

2.指定标签，是否深入查询recursive=False or True

• recursive = True # 从子子孙孙所有内部找到
• recursive = False # 如果只想搜索当前tag的直接子节点（就不往里面找了）,可以使用参数 recursive=False

print(soup.body.div.find_all(attrs={"class": "minitop"}, recursive=False))        # 只查询body标签里子节点包含 "class" = "sister" 的标签

3.CSS选择器:select

1.class为 ad-top-1111 下的 div 标签

print(soup.select('.ad-top-1111 div'))

2.查找id等于 auto-header-channel19 的标签

print(soup.select('#auto-header-channel19'))

3.获取class为 ad-top-1111 下的 div 标签 获取它的属性

print(soup.select('.ad-top-1111 div')[0].attrs)

4.获取class为 ad-top-1111 下的 div 标签,下的内容

print(soup.select('.ad-top-1111 div')[0].get_text)

获取a标签内部属性：

1.获取img标签中的url

img_url = "https:" + img.get("src")

2.获取a标签中的url

a_url = img_url = "https:" + a.get('href')