zoukankan      html  css  js  c++  java
  • 爬虫基础一

    目标:自动登陆爬虫
    重要:
            1、需要具备web知识,根据原理来做爬虫
            2、一开始可能出现找不到入口,爬虫就是模拟浏览器的方式来跟网站交互,只要爬虫代码模拟的跟访问浏览器一样100%可以成功

    必备知识:
            1爬虫本质,通过代码伪造浏览器发送请求
            2像不像:
                - HTTP请求头:
                              - user-agent:代指用户使用的什么设备
                              - cookie:在用户浏览器上保存的标记
               - HTTP请求体:
                             - name = alex&age=8
                             - {}
             3 分析http请求:
                            - chrome :web


    示例:
    某网站在请求头加上了自定义头:
    X-Anit-Forge-Code: 45899846
    X-Anit-Forge-Token: f0ad22f5-f333-4ae7-9ac7-4cf129b54fad
    X-Requested-With: XMLHttpRequest

  • 相关阅读:
    [SDOI2008]递归数列
    [SCOI2008]奖励关
    [SCOI2010]幸运数字
    [ZJOI2007]矩阵游戏
    [HAOI2006]旅行
    [ZJOI2008]泡泡堂
    [BZOJ1800][Ahoi2009]fly 飞行棋
    [POJ2288]Islands and Bridges
    [LUOGU] 3959 宝藏
    [BZOJ]1029: [JSOI2007]建筑抢修
  • 原文地址:https://www.cnblogs.com/menkeyi/p/9270315.html
Copyright © 2011-2022 走看看