zoukankan      html  css  js  c++  java
  • 网络爬虫入门系列(一) (纯定义,可跳过不看)

          网络爬虫入门系列(一)
        
        1.什么是网络爬虫
        百度百科的说法是  是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本  
        通俗的说法是 :将网络中的信息下载下来,然后进行一定的处理以得到你想要的信息。
        
        2.网络爬虫的爬行策略
        1) 深度优先策略:其基本方法是按照深度由低到高的顺序,依次访问下一级网页链接,直到不能再深入为止。 爬虫在完成一个爬行分支后返回到上一链接节点进一步搜索其它链接。 当所有链接遍历完后,爬行任务结束。 这种策略比较适合垂直搜索或站内搜索, 但爬行页面内容层次较深的站点时会造成资源的巨大浪费。
        2) 广度优先策略:此策略按照网页内容目录层次深浅来爬行页面,处于较浅目录层次的页面首先被爬行。 当同一层次中的页面爬行完毕后,爬虫再深入下一层继续爬行。 这种策略能够有效控制页面的爬行深度,避免遇到一个无穷深层分支时无法结束爬行的问题,实现方便,无需存储大量中间节点,不足之处在于需较长时间才能爬行到目录层次较深的页面
        
        
        3.java 中的网络爬虫基本手段
            请看下一篇

  • 相关阅读:
    python文件处理
    pycharm基础
    lvs集群DR模式,负载均衡
    JSP动作元素<jsp:include>和<jsp:param>的搭配使用
    Mybatis的动态SQL讲解
    hibernate多对多查询
    Hibernate配置文件与映射文件详解
    maven的不同版本下载及环境配置
    二级联动,例:根据省份选择市区
    关于JSP页面的静态包含和动态包含
  • 原文地址:https://www.cnblogs.com/szw-blog/p/8565944.html
Copyright © 2011-2022 走看看