zoukankan      html  css  js  c++  java
  • Fiddler工具使用(一)

    1.什么是Fiddler

      Fiddler是一种常见的抓包分析软件,可以利用Fiddler对HTTP请求进行分,还可以模拟HTTP请求。

      常见的抓包软件:浏览器自带的调试工具,按F12;Wireshark。

    2.网络爬虫和Fiddler的关系

      网络爬虫是自动爬取网页的程序,在爬取时涉及客户端和服务器之间的通信,需要发送一些HTTP请求,并接收服务器返回的结果。而有些请求我们仅仅看网址变化并不能了解其中的规律,想要通过程序构造请求,就必须要先分析请求的规律,这个时候就需要用Fiddler来截获这些请求,对这些请求进行分析,这样的话,我们的工作就能进行的更加方便。当然了,在编写爬虫的时候,不一定都能用到Fiddler,但是对于一些比较复杂的网页来说,用Fiddler可以使我们更好、更快的分析网页,编写出对应的爬虫。

    3.Fiddler的基本原理

    本地客户端软件或浏览器与互联网服务器之间的通信,在有Fiddler加持的情况下,可以如下表示(画的有点简陋,理解就好理解就好~)

    从图中可以看出,在没有Fiddler时,本地应用在与服务器通信时,是直接发送Request请求到服务器,在服务器处理后将结果返回本地,本地接收响应Response;而有了Fiddler之后,本地应用和服务器之间的请求响应都会经过Fiddler,由Fiddler进行转发,这样所有的网络数据都经过Fiddler,Fiddler就能截获这些数据,实现网络数据的抓包。

    Fiddler下载安装:https://www.telerik.com/fiddler

    Fiddler基本界面如下

    4.Fiddler使用

      Fiddler的使用呢,一般不需要什么配置,但是我们必须要了解一下,会话刘表里面每列都代表什么

    #:顺序号,按照抓包的顺序从1递增

    Result:HTTP状态码      

    Protocol:请求使用的协议

    HOST:请求地址的主机名或域名

    URL:请求资源的位置

    Body:请求大小

    Caching:请求的缓存过期时间或者缓存控制值

    Content-Type:请求响应的类型

    Process:发送此请求的进程ID

    Comments:备注 

    Custom:自定义值

    Fiddler抓到的每个数据包都是可以查看的,选择请求的数据包后,点击右侧列表中的Inspectors(此标签心啊是的是一些嗅探信息,还包含一些字子标签),可以查看详细的请求、响应等数据信息。(Statistics标签显示的是一些页面统计信息)

  • 相关阅读:
    [读书笔记]SQLSERVER企业级平台管理实践读书笔记--从等待事件判断性能瓶颈
    Docker machine学习
    不同数据库连接字符串的网站
    Windows 可以操纵linux内文件,与本地一致的工具
    OpenSSH 安全漏洞(CVE-2021-28041)修复(升级OpenSSH至最新版本(8.6p1))
    PostgreSQL
    firewalld添加/删除服务service,端口port
    PostgreSQL 序列操作
    PostgreSQL/pgsql 为表添加列/ 判断列存不存在再添加列
    Windows10中Power Shell(x64)出现“无法加载 PSReadline 模块。控制台在未使用 PSReadline 的情况下运行。”的解决办法
  • 原文地址:https://www.cnblogs.com/cczyx/p/8541393.html
Copyright © 2011-2022 走看看