爬虫介绍
-什么是互联网?
由一堆网络设备把一台台计算机互联到一起,这就是互联网
-互联网建立的目的
为了数据的共享以及数据的传递
-什么是数据
例如:京东,淘宝等商品信息
-爬虫的分类
-普通爬虫
把页面爬取下来,直接保存
-聚焦爬虫
把页面爬取下来,解析后再保存
-爬虫的应用
-搜索引擎
谷歌,百度....
-推荐引擎
今日头条
-数据分析样本
-机器学习样本
http 有一个robots协议
-请求url
https://www.baidu.com/
-请求方法
GET
-请求头
cookies
user-agent
referer
-响应头
Set-Cookie
Location
-请求体
form_data