zoukankan      html  css  js  c++  java
  • Python爬虫基本原理

    看崔庆才爬虫教程视频做的笔记。

    1.什么是爬虫?

    请求网站并提取数据的自动化程序。

    2.爬虫的基本流程

    • 发送请求:通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。
    • 获取响应内容:如果服务器能正常响应,会得到一个Response, Response的内容便是所要获取的页面内容,类型可能有HTML,Json字符串,二进制数据(如图片视频)等类型。
    • 解析内容:得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析。可能是Json,可以直接转为Json对象解析,可能是二进制数据,可以做保存或者进一步的处理。
    • 保存数据:保存形式多样,可以存为文本,也可以保存至数据库,或者保存特定格式的文件。

    3.什么是Request和Response?

    4.Request中包含什么?

    5.Response中包含什么?

    6.能抓怎样的数据?

    7.怎样来解析?

    8.怎样解决JavaScript渲染的问题?

    9.可以怎样保存数据?

  • 相关阅读:
    CVPR顶会热词统计
    @Annotation学习
    把一张表已有的数据对另一张表数据进行修改
    两张表数据不一致进行对比
    学习借鉴
    借鉴tcp
    借鉴tcp
    osi七层
    http学习
    Json学习
  • 原文地址:https://www.cnblogs.com/duxie/p/10016902.html
Copyright © 2011-2022 走看看