zoukankan      html  css  js  c++  java
  • 爬虫工作原理

    什么是爬虫?

    请求网站并提取数据的自动化程序

    爬虫的基本流程

    发起请求

    通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。

    获取响应内容

    如果服务器能正常响应,会得到一个response,Response的内容便是所要获取的页面内容,类型可能有HTML,Json字符串,二进制数据等类型。

    解析内容

    得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析。可能是json,可以直接转为json对象解析,可能是二进制数据,可以做保存或者进一步处理

    保存数据

    保存形式多样,可以存为文本,也可以保存至数据库,或者特定格式的文件。

    什么是Request和Response?

    1. 浏览器就发送消息给该网址所在的服务器,这个过程叫做HTTP Request.
    2. 服务器收到浏览器发送的消息后,能够根据浏览器发送消息的内容,做相应处理,然后把消息回传给浏览器。这个过程叫做HTTP Response。
    3. 浏览器收到服务器的Response信息后,会对信息进行相应处理,然后展示

    Request

    请求方式

    主要有GET、POST两种类型,另外还有HEAD、PUT、DELETE、OPIONS等。

    请求URL

    URL全称统一资源定位符,如一个网页文档、一张图片、一个视频等都可以用URL唯一来确定。

    请求头

    包含请求时的头部信息,如User-Agent、Cookies等信息。

    请求体

    请求时额外携带的数据
    如表单提交时的表单数据

    Response包含了什么?

    响应状态

    有多种响应状态,如200代表成功、301跳转、404找不到页面、502服务器错误

    响应头

    如内容类型、内容长度、服务器信息、设置Cookie等等

    响应体

    最主要的部分,包含了请求资源的内容,如网页HTML、图片二进制数据等。

    能抓怎样的数据?

    网页文本

    如HTML文档、Json格式文本等

    图片

    获取到的是二进制文件,保存为图片格式

    视频

    同为二进制文件,保存为视频格式即可。

    怎样来解析?

    直接处理
    Json解析
    正则表达式
    BeautifulSoup
    PyQuery
    XPath

    为什么抓到的数据和浏览器看到的不一样?

    怎样解决Javascript渲染的问题?

    • 分析Ajax请求
    • Selenium/WebDriver
    • Splash
    • PyV8\Ghost.py

    怎样保存数据?

    文本

    纯文本、Json、Xml等

    关系型数据库

    如MySQL、Oracle、SQL Server等具有结构化表结构形式存储。

    非关系型数据库

    如MongoDB、Redis等Key-Value形式存储

    二进制文件

    如图片、视频、音频等直接保存成特定格式即可。

    大道理谁都懂,鸡汤也听过,可我们为什么还是过不好这一生。
  • 相关阅读:
    酒美网宣布获8000万风险投资 年底销售额达1.5亿元
    [置顶]做足这5点,老板立马会对你另眼相看
    企鹅快跑——腾讯敏捷历程揭秘
    Gmail Mobile 不可忽视的七个细节
    网上爆出ATM取款机存漏洞 黑客可获最高权限
    中国的土壤真的不适合软件生长!
    淘宝商城开放的B2C平台战略
    不是GC打酱油,是人打酱油
    腾讯离职元老的内部邮件:马化腾的趣事
    JAVA课程设计个人博客链接
  • 原文地址:https://www.cnblogs.com/puqunzhu/p/9800040.html
Copyright © 2011-2022 走看看