Pyspider抓取静态页面

近期，我想爬一批新闻资讯的内容。新闻类型的网址很多，我想看看有没有一个网页上能包罗尽可能多的新闻网站呢，于是就发现了下面这个网页

http://news.hao123.com/wangzhi

 这个页面的下边还有地方新闻的分类

1、爬取目标

按类型分的网址列表

按地方分的网址列表

2、按类型

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2018-01-02 15:44:54
# Project: financeNews

from pyspider.libs.base_handler import *


class Handler(BaseHandler):
    crawl_config = {
    }

    def __init__(self):
        self.url = 'http://news.hao123.com/wangzhi'
    
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl(self.url,callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
            
        return [{
            "group" : x('.content-title').text(),
            "websites" : [a.text() for a in x('li a').items()]
        } for x in response.doc('.mod-content').items()]

运行结果

3、按地方

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2018-01-02 15:44:54
# Project: financeNews

from pyspider.libs.base_handler import *


class Handler(BaseHandler):
    crawl_config = {
    }

    def __init__(self):
        self.url = 'http://news.hao123.com/wangzhi'
    
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl(self.url,callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
            
        return [{
            "city" : x.attr('id')[5:],
            "websites" : [a.text() for a in x('li a').items()]
        } for x in response.doc('.page').items()]

运行结果

4、知识点小结

4.1 __init__()方法为对象创建完成后的初始化方法，自动执行，可以自定义一些全局属性

4.2 "city" : x.attr('id')[5:]

取属性id的值，并从第6个字符截取

4.3 可以在return中多级遍历，数组套数组

4.4 pyspider提供了元素选择帮助功能，可以快捷选取元素，但不是非常精确