zoukankan      html  css  js  c++  java
  • Python天气预报采集器(网页爬虫)

      python是一门很强大的语言,在实现爬虫方面也十分方便。

      这个天气预报采集是从中国天气网提取广东省内主要城市的天气并回显。本来是打算采集腾讯天气的,但是貌似它的数据是用js写上去还是什么的,得到的html文本中不包含数据,所以就算了。

      爬虫简单说来包括两个步骤:获得网页文本、过滤得到数据。

      1、获得html文本。

      python在获取html方面十分方便,寥寥数行代码就可以实现我们需要的功能。

    1 def getHtml(url):
    2     page = urllib.urlopen(url)
    3     html = page.read()
    4     page.close()
    5     return html

      这么几行代码相信不用注释都能大概知道它的意思。


      2、根据正则表达式等获得需要的内容。

      使用正则表达式时需要仔细观察该网页信息的结构,并写出正确的正则表达式。

      python正则表达式的使用也很简洁。我的上一篇文章《Python的一些用法》介绍了一点正则的用法。这里需要一个新的用法:

    1 def getWeather(html):
    2     reg = '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
    3     weatherList = re.compile(reg).findall(html)
    4     return weatherList

      其中reg是正则表达式,html是第一步获得的文本。findall()的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。

      这里的正则表达式reg有两个地方要注意。

      一个是“(.*?)”。只要是“()”中的内容都是我们将要获得的内容,如果有多个括号,那么findall的每个结果就都包含这几个括号中的内容。上面有三个括号,分别对应城市、最低温和最高温。

      另一个是“.*?”。python的正则匹配默认是贪婪的,即默认尽可能多地匹配字符串。如果在末尾加上问号,则表示非贪婪模式,即尽可能少地匹配字符串。在这里,由于有多个城市的信息需要匹配,所以需要使用非贪婪模式,否则匹配结果只剩下一个,且是不正确的。

      补充上爬虫结果的截图:

      

      python的使用确实十分方便:)



    作者:coltfoal
    出处:http://www.cnblogs.com/coltfoal/
    欢迎转载,转载请注明出处。


  • 相关阅读:
    使用window.postMessage实现跨域通信
    关于angularJS绑定数据时自动转义html标签
    细小知识点
    理解Java多态
    Java自定义类加载器与双亲委派模型详解
    python之5种数据类型7种运算符
    Innodb中的事务隔离级别实现原理
    Redis分布式锁
    leetcode series:Two Sum
    设计模式六大原则(转)
  • 原文地址:https://www.cnblogs.com/coltfoal/p/2713348.html
Copyright © 2011-2022 走看看