识别网站所用技术

构建网站 所使用的技术 类型 也会对我们如何爬取产生 影响 。 有 一 个十 分有用的 工具可以 检查网站 构建的技术 类型  builtwith模块

该模 块的安装方法如下 。

pip install builtwith

该模块将URL作 为 参 数 ， 下载该 URL并对其进行分析 ， 然后返回该网站使用的技术。

下 面 是使用该模块的 一个例子。

 import builtwith
 builtwith.parse（’ http://example.webscraping.com ’｝

结果如下：

从上面的返回 结果中可以 看出 ， 示例网站 使用了Python的Web 2 py 框架 ，
另 外还使用了一些通用的JavaScript 库 ， 因此该网站 的内容 很 有可能是嵌 入 在
HTML中的 ，相对而言比 较 容易抓 取 。 而如果改用Angul arJS构建该网站
， 此
时的网站 内容就 很可能是动 态 加载的 。
另 外， 如果网站 使用了ASP.NET ，那
么在爬取网页时 ， 就必须要用到会 话管理和表单提交了。 对于这些更加复杂
的情况 ， 我们会在第 5 章 和第 6 章中进行 介
绍。