zoukankan      html  css  js  c++  java
  • 「工具神器」推荐一个扒网页的神器

    前言

    前不久写了一篇关于爬虫把网站的帖子,主要是介绍了一些。工具方面的东西,一个是八爪鱼,还有一个是webcopy。还有其他的一些常见的工具,像国外的IDM,IDM也是非常流行的操作建议是非常方便的,不过这几年在爬虫方面,大部分崛起,让导致IDM的软件使用需求变少。也新增了像八爪鱼和Webcopy这样的软件。

    使用方法

    有网友推荐我做一下Webcopy这样软件的使用方式。他主要的方式主要是分为几个点,一个是可以深度去爬虫爬取一些网页,第二个是可以浏览网页。
    在这里插入图片描述

    第一个功能是扫描网页,有哪些结构是可以扫出来,是可以直接一目了然地通过八爪鱼的一个图形显示出来。

    点击扫描SCAN这个按钮可以等一段时间就可以看到网站全部内容。通过弹出框的左上角可以发现。如果没有加密的网页是80端口,加密的网址是显示的是443。
    在这里插入图片描述

    一个非常出名的网址,不说多了,直接上图。在扫描设置的时候可以设置网易最大深度和网页最大数。。左边绿色的是结构图,右边的是深度,右下是选择是否下载js、css、图片、视频等静态文件。
    在这里插入图片描述

    • 正在爬虫的内容
      在这里插入图片描述
      点击Copy之后,弹出一个对话框。选择是就可以了。新建一个目录。
      在这里插入图片描述
    • 接下来就开始慢慢的抓取
      在这里插入图片描述
      抓取的时间,取决于你的要抓取的网站大小和网速等有关。基本上教程到这里就完了。
      还要说的就是最后一步,抓取完了之后保存的页面打开html或htm的文件即可。

    小结

    可以学习下网站的结构图,以及css、js的运用和学习。工具只是一种辅助,最重要的还是自己掌握自己需要的东西。

    最后安利下,在微信公众号「Chasays」里面回复「webcopy」即可获得英文和中文2个版本。

  • 相关阅读:
    nyoj 69 数的长度
    hdu 1437 天气情况【概率DP】
    hdu 2058 The sum problem
    hdu 1491 Octorber 21st
    Aras学习笔记(16)- Aras官方项目Tree Grid View Sample原理介绍
    Aras学习笔记 (15)
    Aras学习笔记 (14) DotNet操作Aras常用代码代码汇总(陆续更新中)
    Aras学习笔记 (13) Javascript端常用代码代码汇总(陆续更新中)
    Aras学习笔记 (12) C#代码读取域用户列表(转,翻译)
    Aras学习笔记 (11) Aras集成AD账号
  • 原文地址:https://www.cnblogs.com/ievjai/p/14382708.html
Copyright © 2011-2022 走看看