zoukankan      html  css  js  c++  java
  • 请求头转换为字典

     
     

    我们在写爬虫的时候经常需要拷贝浏览器的请求头来使用,但是拷贝过来的并不是字典不能直接使用,怎么能一键转换其为字典形式呢,下面介绍几种方式:

    方法一,不够优雅:

     
     

    方法二

     
     

    可以发现复制请求头很简单了,只要把请求头全部copy下来,然后用headers_raw_to_dict 转一下,就直接变成了dict了.

    推荐方法

    方法三

    借助IDE的正则替换(PyCharm为例)
    PyCharm中替换的快捷键是Ctrl+R,选中Regex正则模式

     
    源匹配为 (.*): (.*)$
    替换匹配为 "$1": "$2",

    方法四:Chrome插件Postman

    Postman是很强大的调试工具,但是目前Google已经放弃了Chrome App,目前在商店里只能直接搜索到插件。

     
     

    你可以安装插件以后点击链接获取Postman App:

     
     
     
     

    开启Postman Interceptor,访问的任意请求都会被Postman截获。
    在Postman点击请求-Code-选择Python-选择相应方式即可。

     
     

    可以看到Postman支持非常多种语言的导出。
    可以看到Postman的确是个非常强大的工具,甚至可以直接帮我们生成requests代码了,而不仅仅是把headers转化为字典…
    但是呢,我个人感觉使用Postman来干这件事有种杀鸡焉用牛刀的感觉。这款工具太重了…大家需要衡量学习成本,只做爬虫而不做Web开发的话估计用的会少一些。另一方面就是可能依然有人有人没办法访问Google…

    方法五:使用curlconverter

    curl.trillworks.com/
    使用这个方法前我们需要知道什么是curl。
    curl是Linux命令行下的文件传输工具,可以直接访问URL,支持多种协议和参数设置甚至cookie设置。简单来说,就是可以模拟一个请求。
    Chorme浏览器的开发工具支持直接copy as curl,所以我们只需要这么做:
    在开发工具中选中请求copy as curl,然后粘贴到网站表单中,获得Python代码。

     
     

    这个网站只支持Python、NodeJS和PHP。这种轻量级的方法应该是最方便的一种了…

  • 相关阅读:
    poj1179多边形——区间DP
    poj1742硬币——多重背包可行性
    tyvj1061移动服务——DP
    poj1015陪审团——DP+路径记录
    poj3666序列对应——DP
    poj2279排队——杨氏矩阵与钩子公式(DP爆内存)
    tracert
    4 系统的 CPU 使用率很高,但为啥却找不到高 CPU的应用?
    3 当某个应用的CPU使用达到100%,该怎么办?
    2.2 CPU 上下文切换是什么意思?(下)
  • 原文地址:https://www.cnblogs.com/hankleo/p/10494606.html
Copyright © 2011-2022 走看看