zoukankan
html css js c++ java
爬虫基础总结1
html
爬虫基础
概念
模拟浏览器发送网络请求,获取响应
分类
通用爬虫
搜索引擎的爬虫,面对整个互联网上所有的网站
聚焦爬虫
针对特定网站的爬虫
分类标准:爬虫爬取的范围
流程
1.url
2.发送请求,获取响应 (提取url地址,发送下一次请求)
3.提取数据
保存
rebots协议
道德层面的约束
数据应用
展示数据
进行数据分析等后续工作
HTTPS和HTTP
概念
https: http+ssl
http: 超文本传输协议
https更安全,性能更低
浏览器发送请求的流程
1.url
2.dns服务器获取域名的ip地址
3.请求ip
url对应的响应+css+js+png
注意:浏览器渲染出来的内容(elements)和url地址对应的响应不一样
url
协议
瞄点加不加,返回的响应一样
http协议的内容
1.请求行
2.请求头
User-Agent
用户代理。告诉服务器当前发送请求的是什么样的程序
Cookies
1.获取登录后的页面
2.对方的服务器通过cookie判断程序是否为爬虫
3.请求体
Post请求才有请求体
请求方法
get
post
表单
发送的数据量比较大的时候 (参数较多)
状态码
200:成功
302,307:重定向
404:资源不存在
500:服务器内部错误
字符串处理
str bytes.decode()
bytes str.encode()
Ascii,gbk,unicode字符集
Ascii使用一个字节表示一个字符,unicode使用2个字节表示一个字符
utf-8是unicode的一种实现方式,可变长的编码方式
requests
发送请求
requests.get(url)
获取响应的html字符串
response.content
bytes
response.content.decode()
response.text
str
response.encoding来指定编码格式
解决requests中编码的问题
response.content.decode()
resopnse.content.decode('gbk')
response.text
gbk<gb2312<gb18030
查看全文
相关阅读:
Spark Locality Sensitive Hashing (LSH)局部哈希敏感
Spark ChiSqSelector 卡方选择器
图解开源协议
如何使用Hasu USB to USB Controller Converter刷写tmk固件交换Caps和Ctrl
使用PHP读取PHP文件并输出到屏幕上
Mac修改显示器使支持原生缩放
PHP中使用PDO的预处理功能避免SQL注入
如何做数据库分页查询
Chrome报错提示Unchecked runtime.lastError: The message port closed before a response was received.
Parallels Desktop虚拟机无法关机提示“虚拟机处理器已被操作系统重置”
原文地址:https://www.cnblogs.com/wsilj/p/12735281.html
最新文章
对于Linux平台下C语言开发中__sync_函数的认识(转)
Linux多线程的使用一:互斥锁
nanosleep()
Redis 集群部署
Redis 部署安装
Kafka 和 ZooKeeper 的分布式消息队列分析
sysctl 命令
Linux开机启动过程分析
rocketMQ安装部署详细解析
30 道linux运维题
热门文章
网络7层 4层 5层 协议
ssh连接远程主机执行脚本的环境变量问题
SpringBoot 拦截器WebMvcConfigurationSupport导致date-format时间格式失效
springboot mybatis注解方式批量insert和使用in语句查询
springboot mysql8.x时区设置
python 人脸识别(通过摄像头)
python 人脸识别 基于openCV
Spark CrossValidator
Spark Random Forest classifier 随机森林分类
Spark DecisionTreeClassifier 决策树分类
Copyright © 2011-2022 走看看