zoukankan      html  css  js  c++  java
  • 爬虫的基本原理

    爬虫就是获取网页并提取和保存信息的自动化程序

    1.获取网页

      爬虫首先要做的就是获取网页,这里就是获取网页的源代码。源代码里包含了网页的部分有用信息。只要把源代码获取到,就可以从提取信息了。

      向网站服务器发送一个请求,返回的响应体就是网页的源码。

    2.提取信息

      获取网页源码后,提取信息就是分析网页源码,从中提取想要的数据。通用的方法是使用正则表达式。这个方法时万能的,但构造正则表达式比较复杂。

      我们利用网页的结构化特点,可以使用一些根据网页节点属性、CSS选择器或XPath来获取网页信息的库,如:BeautifulSoup、pyquery、lxml。这些可以快速获取网页中的信息。如节点的属性,文本等。

    3.保存数据

      提取信息后,我们需要对数据进行持久化。如保存为t本地ext文件,json文件,或者保存到数据库中(Mysql,MongoDB等),也可以保存到远程的服务器(如:借助SFTP进行操作)。

    4.自动化程序

      当数据量特别大或者获取大量的数据时,需要借助程序。爬虫就是代替人来完成爬取信息的自动化程序。它可以在抓取信息过程中进行各种异常处理、错误重试等操作,确保爬取持续高效进行。

  • 相关阅读:
    20160813上午训练记录
    [bzoj 2159]Crash的文明世界
    【娱乐】高端小游戏Manufactoria
    【教程】如何正确的写一个Lemon/Cena的SPJ(special judge)
    [CF]codeforces round#366(div2)滚粗记
    洛谷 [P3265] 装备购买
    POJ 1830 开关问题
    洛谷 [P4035] 球形空间生成器
    BZOJ 2973 入门OJ4798 石头游戏
    洛谷 [P1939] 矩阵加速数列
  • 原文地址:https://www.cnblogs.com/doitjust/p/9276130.html
Copyright © 2011-2022 走看看