Spider实例详解

# -*- coding: utf-8 -*-

import scrapy
from scrapy import Spider, Request, log
from scrapy.selector import Selector
import sys
sys.path.append('/home/administrator/Scrapy_Develop/tkdata')
from tkspider import TKdataSpider
from tkitems import TotalItem, InvestItem, TenderItem, RepaymentItem
from dict import *
from method import *

class JJJCSpider(TKdataSpider):
    name = 'jiajiajucai'
    allowed_domains = ['jiajiajucai.com']
    start_urls = ['http://www.jiajiajucai.com']

    # 标的列表页数
    page = 0
    # 标的列表url
    list_url = 'http://www.jiajiajucai.com/invest/index.html?p=%d'

    # 解析函数
    def parse(self, response):
        # 解析平台总数据
        item = self.parse_total(response)

        # 爬取标的列表
        yield Request(self.list_url % self.page, callback=self.parse_list)


    # 解析平台总数据
    def parse_total(self, response):
        # 解析数据
        sel = Selector(response)
        item = TotalItem()
        item = self.total(sel, xpaths_total)

        # 处理解析到的数据
        item['total'] = total(item['total'])
        item['dueln'] = dueln(item['dueln'])
        item['lncome'] = lncome(item['lncome'])
        item['rate'] = rate(item['rate'])
        item['person'] = person(item['person'])
        return item
    

    # 解析标的列表
    def parse_list(self, response):
        # 解析标的列表
        sel = Selector(response)
    xpath_str = '//div[@id="con"]/div/table/tr/td/a[@class="BL_name"]/@href'
        sel_list = sel.xpath(xpath_str)
        url_list = self.list(sel_list)

        # 请求标的
        for url in url_list[0:2]:
            self.log(u'请求标的页：%s' % url)
            yield Request(url, callback=self.parse_page)
            
        # 递归获取所有标的列表
        """
        if len(url_list) > 0:
            self.page += 1
            yield Request(self.list_url % self.page, callback=self.parse_list)
        """

    # 解析标的网页
    def parse_page(self, response):
        # 标的信息
        item = self.parse_invest(response)

        # 投资人列表
        item = self.parse_tender(response)
        
        # 还记录列表
        item = self.parse_repayment(response)
        self.log('')
        self.log('')


    # 解析标的信息
    def parse_invest(self, response):
        # 解析数据
        sel = Selector(response)
        item = InvestItem()
        item = self.invest(sel, xpaths_invest)

        # 处理解析到的数据
        item['num'] = i_num(item['num'])
    item['title'] = i_title(item['title'])
        item['type'] = i_type(item['type'])
        item['balance'] = i_balance(item['balance'])
        item['rate'] = i_rate(item['rate'])
        item['award_rate'] = i_award_rate(item['award_rate'])
        item['dead'] = i_dead(item['dead'])
        item['r_type'] = i_r_type(item['r_type'])
        item['man'] = i_man(item['man'])
        return item


    # 解析投标记录信息
    def parse_tender(self, response):
        # 解析数据
        sel = Selector(response)
        sel_tender = sel.xpath('//div[@class="wrap"]/table[5]/tr/td/table/tr[3]/td/table/tbody/tr')
        item_list = self.tender(sel_tender, xpaths_tender)

        # 处理解析到的数据
        tender_list = []
        for item in item_list:
            item['man'] = t_man(item['man'])
            item['balance'] = t_balance(item['balance'])
            item['type'] = t_type(item['type'])
            item['time'] = t_time(item['time'])
            tender_list.append(item)
        return tender_list


    # 解析还款记录
    def parse_repayment(self, response):
        # 解析数据
        sel = Selector(response)
        sel_repayment = sel.xpath('//dl[@class="repay"]/dt')[1:]
        item_list = self.repayment(sel_repayment, xpaths_repayment)

        # 处理解析到的数据
        repayment_list = []
        for item in item_list:
            item['date'] = r_date(item['date'])
            item['status'] = r_status(item['status'])
            item['done'] = r_done(item['done'])
            item['undone'] = r_undone(item['undone'])
            item['day'] = r_day(item['day'])
            repayment_list.append(item)
        return repayment_list

name	命名Spider的名称
allowed_domains	搜索的域名范围，即爬虫的约束区域，规定爬虫只爬取这个域名下的网页
start_urls	爬虫抓取网页的起始点，可包含多个url
parse	parse方法是spider抓到一个网页以后默认调用的callback，避免使用这个名字来定义自己的方法。 当spider拿到url的内容以后，会调用parse方法，并且传递一个response参数给它，response包含了抓到的网页的内容，在parse方法里，可以从抓到的网页里面解析数据。 此 实例中它返回了一个Request列表，scrapy自动的根据这个列表抓取网页，每当抓到一个网页，就会调用 parse_list，parse_list也会返回一个Request列表，scrapy又会根据这个列表去抓网页，并且抓到后调用 parse_page，实现对页面内容的解析
item	管道对象