zoukankan      html  css  js  c++  java
  • Learning Scrapy笔记(六)- Scrapy处理JSON API和AJAX页面

    摘要:介绍了使用Scrapy处理JSON API和AJAX页面的方法

    有时候,你会发现你要爬取的页面并不存在HTML源码,譬如,在浏览器打开http://localhost:9312/static/,然后右击空白处,选择“查看网页源代码”,如下所示:

    Image 107

    就会发现一片空白

    Image 108

    留意到红线处指定了一个名为api.json的文件,于是打开浏览器的调试器中的Network面板,找到名为api.json的标签

    Image 109

    在上图的红色框里就找到了原网页中的内容,这是一个简单的JSON API,有些复杂的API会要求你先登录,发送POST请求,或者返回一些更加有趣的数据结构。Python提供了一个用于解析JSON的库,可以通过语句json.loads(response.body)将JSON数据转变成Python对象

    api.py文件的源代码地址:

    https://github.com/Kylinlin/scrapybook/blob/master/ch05%2Fproperties%2Fproperties%2Fspiders%2Fapi.py

    复制manual.py文件,重命名为api.py,做以下改动:

    • 将spider名修改为api

    • 将start_urls修改为JSON API的URL,如下

    start_urls = (
    'http://web:9312/properties/api.json',
    )

    如果在获取这个json的api之前,需要登录,就使用start_request()函数(参考《Learning Scrapy笔记(五)- Scrapy登录网站》)

    • 修改parse函数
    def parse(self, response):
        base_url = "http://web:9312/properties/"
        js = json.loads(response.body)  
    for item in js:
            id = item["id"]
            url = base_url + "property_%06d.html" % id # 构建一个每个条目的完整url
            yield Request(url, callback=self.parse_item)

    上面的js变量是一个列表,每个元素都代表了一个条目,可以使用scrapy shell工具来验证:

    scrapy shell http://web:9312/properties/api.json

    Image 110

    运行该spider:scrapy crawl api

    Image 111

    可以看到总共发送了31个request,获取了30个item

    再观察上图中使用scrapy shell工具检查js变量的图,其实除了id字段外,还可以获取title字段,所以可以在parse函数中同时获取title字段,并将该字段的值传送到parse_item函数中填充到item里(省去了在parse_item函数中使用xpath来提取title的步骤),修改parse函数如下:

    title = item["title"]
    yield Request(url, meta={"title": title},callback=self.parse_item) #meta变量是一个字典,用于向回调函数传递数据

    在parse_item函数中,可以在response中提取这个字段

    l.add_value('title', response.meta['title'], 
           MapCompose(unicode.strip, unicode.title))
  • 相关阅读:
    算法初探
    OIer数学相关
    算法初探
    MySQL事务
    MySQL多表查询
    数据库的设计
    winform选择文件夹
    获取上次打开目录
    C#拆分中文和数字字符串
    uCharts如何设置双Y轴,左侧一个右侧一个,数据源与对应的Y轴绑定
  • 原文地址:https://www.cnblogs.com/kylinlin/p/5401359.html
Copyright © 2011-2022 走看看