爬虫Request Header请求头各参数含义

爬虫请求头各参数含义

• Host

  指定的请求资源的域名

• User-Agant

  浏览器代理

• Accept
  指定客户端可以接受哪些类型的信息

• Cookie

  Cookie其实就是由服务器发给客户端的特殊信息，而这些信息以文本文件的方式存放在客户端，然后客户端每次向服务器发送请求的时候都会带上这些特殊的信息。 服务器在接收到Cookie以后，会验证Cookie的信息，以此来辨别用户的身份。类似于通行证的东西

• Cache-Control

  指定请求和响应遵循的缓存机制。在请求消息或响应消息中设置Cache-Control并不会修改另一个消息消息处理过程中的缓存处理过程。请求时的缓存指令包括no-cache、no-store、man-age、max-stake、min-fresh、only-if-cached；响应消息中的指令包括 public、privete、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age。

• Referer

  页面跳转处，表明产生请求的网页来自于哪个URL，用户是从该 Referer页面访问到当前请求的页面。这个属性可以用来跟踪Web请求来自哪个页面，是从什么网站来的。

• Content-Length

  内容长度。

• Content-Range

  响应的资源范围。可以在每次请求中标记请求的资源范围，在连接断开重连时，客户端只请求该资源未下载的部分，而不是重新请求整个资源，实现断点续传。迅雷就是基于这个原，使用多线程分段读取网络上的资源，最后再合并。

• Accept-Encoding

  指定客户端可以接受的内容编码

• Accept-Language

  指定客户点可以接受的语言类型

• Connection

  客户端与服务器链接类型，keep-alive:保持链接，close:关闭链接。

• Upgrade-Insecure-Requests:1

  该参数能使https请求调用http的资源; 如果没有该参数,在访问https的页面时如果带有http的资源,会报错

  • • 链接转自：https://blog.csdn.net/gklcsdn/article/details/101522169