zoukankan      html  css  js  c++  java
  • 软件工程阅读笔记(一)之Python网络爬虫

      在王老师给我们发布作业之后,我看到Python爬虫,但是Python基础语法我还不会。所以我在图书馆里借了一本Python网络爬虫教程。

    所谓网页解析器,简单地说就是用来解析HTML网页的工具,它主要用于从HTML网页信息中提取需要的、有价值的数据和链接。在Python中解析网页主要用到正则表达式、Lxml库、Beautiful Soup这三种工具。

    一是正则表达式。正则表达式描述了一种字符串匹配的模式。可以用来检查一个串是否含有某种子串,将匹配的子串替换或者从某个串中取出符合某个条件的子串等。正则表达式的优点是基本能用正则表达式来提取想要的所有信息,效率比较高,但缺点也很明显——正则表达式不是很直观,写起来比较复杂。

    二是Lxml库。这个库使用的是XPath语法,同样是效率比较高的解析库。Xpath是一门在XML文档中查找信息的语言。XPath可用来在XML文档中对元素和属性进行遍历。XPath比较直观易懂,配合Chrome浏览器或Firefox浏览器,写起来非常简单,它的代码速度运行快且健壮,一般来说是解析数据的最佳选择。

    三是Beautiful Soup。Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。它能够通过我们喜欢的转换器实现惯用的文档导航、查找。Beautiful Soup编写效率高,能帮程序员节省数小时甚至数天的工作时间。Beautiful Soup比较简单易学,但相比Lxml和正则表达式,解析速度慢很多。

  • 相关阅读:
    Java内存模型之重排序
    JAVA虚拟机:对象的创建过程
    单链表——基本操作
    new File()
    JVM回收方法区内存
    强软弱虚---强引用、软引用、弱引用、虚引用
    线性表(二)——链式存储
    JVM中判断对象是否存活的方法
    GC算法 垃圾收集器
    线性表(一)——顺序结构
  • 原文地址:https://www.cnblogs.com/jccjcc/p/12128726.html
Copyright © 2011-2022 走看看