zoukankan      html  css  js  c++  java
  • 反爬机制

    robots        防君子不防小人

    UA伪装      request 设置headers参数

    ajax           动态数据json

    图片懒加载  src2/origin

    数据加密    js代码里面一些function 加密算法

    验证码       云打码/超级鹰12306

    cookie       session会话

    哈希值       xpath element 里面搜索

    # 抓包工具
    fiddler
    青花瓷
    anyproxy
    #安卓手机连接fiddler 请看 https://www.cnblogs.com/bobo-zhang/p/10068994.html
    网络配置/fiddler证书
    基于手机数据一般就是json
    https://www.bilibili.com/video/av46090991/?p=10
    https://www.jianshu.com/p/7f2be7eed247  爬虫的增量式抓取和数据更新
    # requests 的UA
    import requests
    res = requests.get('https://www.baidu.com')
    print(res.request.headers)
    #{'User-Agent': 'python-requests/2.21.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
  • 相关阅读:
    selectHelper
    Windows Server 2003 下实现网络负载均衡(2) (转)
    顺序栈
    线性表链式存储
    线性表顺序存储
    Swift
    组件化
    swift
    Swift
    Swift
  • 原文地址:https://www.cnblogs.com/zhangchen-sx/p/10853251.html
Copyright © 2011-2022 走看看