PySpider框架学习

——利用Phantomjs和PySpider就可以抓取通过JavaScript渲染的网页啦

先来解释一下框架中的代码结构：

　　定义一个Handler类，它继承于父类BaseHandler，里面包含三个函数：on_start()进入目标网站，返回索引页html代码并传给index_page()；index_page()对索引页html代码进行解析，返回解析结果并传给detail_page()；detail_page()对详情页进行解析便返回详细信息。 　　

from pyspider.libs.base_handler import *

class Handler(BaseHandler):
    crawl_config = {
    }
    
    @every(minutes=24*60)    # 表示on_start()每24h执行一次，就能抓取到最新网页
    def on_start(self):
        # __start_url__为要爬取的目标网址，callback指定解析response的方法，即调用index_page()函数
        self.crawl('__start_url__', callback=self.index_page)
    
    @config(age=10*24*60*60)    # 表示on_start()爬取的页面十天内有效，不会再次进行爬取
    def index_page(self, response):
        # 内置封装了PyQuery对response进行解析
        for each in response.doc('a[href^="http"]').items():
            self.crawl(each.attr.href, callback=self.detail_page)
            
            
    def detail_page(self, response):  
        return{
            'url': response.url,
            'title': response.doc('title').text()
        }

注意：

　　当@every和age同时被设置时，请求会每天被触发一次，但是在有效周期（age）内，请求会被丢弃，只有过期才能重新启动。