渗透利器-kali工具 (第四章-5) 爬虫入门

本文内容：

• 交换机制
• 网页解析
• 爬虫所需的模块和库
• 目录扫描工具原理实战

---

Python爬虫入门[spider]

1，交换机制：

　　服务器与本地的交换机制：

　　　　http协议：客户端与服务器一种会话的方式。

　　　　客户端-------[requests[请求]]------->服务器

　　　　客户端-------[response[响应]]------>服务器

　　HTTP请求：

　　　　向服务器请求的时候使用request请求，包含了很多的不同的方法：主要用到[GET、POST]

　　HTTP响应：

　　　　向服务器提出request之后，服务器会返回给我们一个Response[我们请求的这个网页]

　　　　RESPONST：

　　　　　　Status_code：[状态码]200 网页中的元素

　　　　　　Status_code：[状态码]403/404

　　　　可以打开谷歌，加载一个网站然后点击检查>>>nerwork>>>刷新

2，网页解析：

　　1.网页解析：需要使用到[bs4]

　　　　from bs4 import BeautifulSoup

　　　　import requests

　　　　#解析网页内容

　　　　url = "https://www.baidu.com"

　　　　wb_data = requests.get(url)

　　　　soup = BeautifulSoup(wb_data.text,'lxml')

　　　　print(soup)

　　2.描述要爬取的元素位置：

　　　　eg：标题[在网页中找到它在的位置] >>>右键复制selector

　　　　　　titles = soup.select('#sy_load > ul:nth-child(2) > li:nth-child(1) > div.syl_info > a')

　　　　　　print(titles)

　　　　　　解释：

　　　　　　　　#sy_load > ul:nth-child(2) > li:nth-child(1) > div.syl_info：标签的位置：selector

　　　　　　　　a：查找a标签

　　　　向上查找[上级标签]class名：

　　　　　　titles = soup.select('div.syl_info> a')

　　　　　　print(titles)

　　　　　　解释：

　　　　　　　　div.syl_info   标签的class名

　　　　　　　　a：查找a标签

　　3.bs4中具有一个BeautifulSoup安装方法：

　　　　1.安装：pip install beautifulsoup4

　　　　2.可选择安装解析器：

　　　　　　pip install lxml [一般安装这个即可]

　　　　　　pip install html5lib

　　　　3.使用：

　　　　　　from bs4 import BeautifulSoup

　　　　　　import requests

　　　　　　req_obj = requests.get('https://www.baidu.com')

　　　　　　soup = BeautifulSoup(req_boj.txt,'lxml')

　　　　　　不使用BeautifulSoup，只返回状态码

　　　　　　使用BeautifulSoup，会将站点，html代码返回。

　　　　4.经常使用到的一些方法：

　　　　　　from bs5 import BeautifulSoup

　　　　　　import  requests,re

　　　　　　a = requests.get('https://www.baidu.com')

　　　　　　b = BeautifulSoup(a.txt,'lxml')

　　　　　　print(b.title)　　　　　      输入title找标签只找一个

　　　　　　print(b.find('title'))　　　　输入title找标签只找一个

　　　　　　print(b.find_all('div'))　　  找所有div标签

　　　　　　c = soup.div　　　　 　　创建div的实例化

　　　　　　print(c['id'])　　　　   　　查看标签的id属性　　

　　　　　　print(c.attrs)　　　　 　　查看标签的所有属性

　　　　　　d = soup.title　　　　　　创建title的实例化

　　　　　　print(d.string)　　　　　　获取标签里的字符串

　　　　　　e = soup.head　　　  　　创建head的实例化

　　　　　　print(e.title)　　　　　　　获取标签，再获取子标签

　　　　　　f = soup.body　　　　　　创建body实例化

　　　　　　print(f.contents)　　　　　返回标签子节点，以列表的形式返回

　　　　　　g = soup.title　　　　 　　创建title实例化

　　　　　　print(g.parent)　　　　　　查找父标签

　　　　　　print(soup.find_all(id='link2'))

3，爬虫所需的模块和库：

　　库：requests.bs4

　　模块：BeautifulSoup

　　1.抓取：requests

　　2.分析：BeautifulSoup

　　3.存储：

4.目录扫描工具原理实战：

　　import requests

　　import sys

　　url = sys.argv[1]

　　dic = sys.argv[2]

　　with open(dic,'r') as f:

　　　　for i in f.readlines()　　　　一行读取

　　　　　　i = i.strip()　　　　　　去除空格

　　　　　　r = requests.get(url+i)

　　　　　　if r.stats_code == 200:

　　　　　　　　print('url:'+r.url)