3:url无规律的多页面爬取

试例网站：豆瓣电影TOP250：http://movie.douban.com/top250

关键点：在审查元素下查看后页即可以看到跳转的url。而且最后一页就此属性就没有了。

由于关键是实现分页，所以只爬取title：

目录：

items.py：

只需要加一个title就行

dbmspider.py：

# -*- coding: utf-8 -*-
from dbmovie.items import DbmovieItem
from scrapy.contrib.spiders import CrawlSpider
from scrapy.http import Request


class TopMovie(CrawlSpider):
    name = "dbmovie"
    allowed_domains = ["movie.douban.com"]
    start_urls=['http://movie.douban.com/top250']
    url = 'http://movie.douban.com/top250'
    def parse(self,response):
        item = DbmovieItem()
        Movie = response.xpath('//div[@class="info"]')
        for eachMovie in Movie:
            title = eachMovie.xpath('//a[contains(@href,"http://movie.douban.com/subject/")]/span[1]/text()').extract()
            item['title'] = title
        # print item
        yield item

        nextLink = response.xpath('//span[@class="next"]/link/@href').extract()
        if nextLink:
            nextLink = nextLink[0]
            print nextLink
            yield Request(self.url+nextLink,callback = self.parse)

*todo:用start_request（）方法以及callback函数双向循环实现。