31、当当图书榜单爬虫

练习介绍

要求：

    请使用Scrapy，爬取当当网2018年图书销售榜单前3页的数据（图书名、作者和书的价格）。  

 

    当当网2018年图书销售榜单链接：

    http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1  

 

目的：

    练习定义item

    练习编写spiders文件

    练习修改settings文件

 

1、创建当当爬虫的项目

 

D:USERDATApython>scrapy startproject dangdang
New Scrapy project 'dangdang', using template directory 'c:userswww1707appdatalocalprogramspythonpython37libsite-packagesscrapy	emplatesproject', created in:
    D:USERDATApythondangdang

You can start your first spider with:
    cd dangdang
    scrapy genspider example example.com

D:USERDATApython>

 

2、新建爬虫文件 D:USERDATApythondangdangdangdangspidersdangdang.py

 

import scrapy
import bs4
from ..items import DangdangItem

class DangdangSpider(scrapy.Spider):
    name = 'dangdang'
    allowed_domains = ['http://bang.dangdang.com']
    start_urls = []
    for x in range(1,4):
        url = 'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-' + str(x)
        start_urls.append(url)

    def parse(self,response):
        bs = bs4.BeautifulSoup(response.text,'html.parser')
        datas = bs.find('ul',class_='bang_list_mode').find_all('li')
        for data in datas:
            item = DangdangItem()
            item['bang_num'] = data.find('div',class_='list_num').text
            item['book_name'] = data.find('div',class_='name').text
            item['book_author'] = data.find('div',class_='publisher_info').text
            item['price'] = data.find('span',class_='price_n').text
            yield item

3、编辑 D:USERDATApythondangdangdangdangitems.py

 

import scrapy

class DangdangItem(scrapy.Item):
    bang_num = scrapy.Field()
    book_name = scrapy.Field()
    book_author = scrapy.Field()
    price = scrapy.Field()

4、编辑 D:USERDATApythondangdangdangdangsettings.py

 

BOT_NAME = 'dangdang'
SPIDER_MODULES = ['dangdang.spiders']
NEWSPIDER_MODULE = 'dangdang.spiders'
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
ROBOTSTXT_OBEY = True

5、在D:USERDATApythondangdang 下执行命令 scrapy crawl dangdang

 

D:USERDATApythondangdang>scrapy crawl dangdang
2019-05-08 17:00:28 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: dangdang)
2019-05-08 17:00:28 [scrapy.utils.log] INFO: Versions: lxml 4.3.3.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.20.0, Twisted 19.2.0, Python 3.7.3 (v3.7.3:ef4ec6ed12, Mar 25 2019, 22:22:05) [MSC v.1916 64 bit (AMD64)], pyOpenSSL 19.0.0 (OpenSSL 1.1.1b  26 Feb 2019), cryptography 2.6.1, Platform Windows-10-10.0.17134-SP0
2019-05-08 17:00:28 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'dangdang', 'NEWSPIDER_MODULE': 'dangdang.spiders', 'SPIDER_MODULES': ['dangdang.spiders'], 'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}
2019-05-08 17:00:28 [scrapy.extensions.telnet] INFO: Telnet Password: f05741387a33a05e
2019-05-08 17:00:28 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
'scrapy.extensions.telnet.TelnetConsole',
'scrapy.extensions.logstats.LogStats']
2019-05-08 17:00:28 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
'scrapy.downloadermiddlewares.retry.RetryMiddleware',
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
'scrapy.downloadermiddlewares.stats.DownloaderStats']
2019-05-08 17:00:28 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
'scrapy.spidermiddlewares.referer.RefererMiddleware',
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
'scrapy.spidermiddlewares.depth.DepthMiddleware']
2019-05-08 17:00:28 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2019-05-08 17:00:28 [scrapy.core.engine] INFO: Spider opened
2019-05-08 17:00:28 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-05-08 17:00:28 [py.warnings] WARNING: c:userswww1707appdatalocalprogramspythonpython37libsite-packagesscrapyspidermiddlewaresoffsite.py:61: URLWarning: allowed_domains accepts only domains, not URLs. Ignoring URL entry http://bang.dangdang.com in allowed_domains.
  warnings.warn(message, URLWarning)


2019-05-08 17:00:28 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2019-05-08 17:00:28 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2> (referer: None)
2019-05-08 17:00:28 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3> (referer: None)
2019-05-08 17:00:28 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1> (referer: None)
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '21.',
'book_author': '[日]东野圭吾 著，新经典 出品',
'book_name': '东野圭吾：白夜行（2017版，易烊千玺、韩雪推荐，东野圭吾无冕之...',
'price': '¥41.10'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '22.',
'book_author': '(法)安托万·德·圣埃克苏佩里 著，李继宏 译，果麦文化 出品',
'book_name': '小王子（畅销300万册，作者基金会官方认证简体中文版）【果麦经典...',
'price': '¥17.60'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '23.',
'book_author': '刘慈欣',
'book_name': '三体：全三册 刘慈欣代表作，亚洲首部“雨果奖”获奖作品！',
'price': '¥55.80'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '24.',
'book_author': '钱钟书u3000著',
'book_name': '围城',
'price': '¥24.90'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '25.',
'book_author': '黄仁宇',
'book_name': '万历十五年 一本好书 腾讯视频栏目推荐',
'price': '¥24.70'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '41.',
'book_author': '海明威 罗曼·罗兰 塞尔玛·拉格洛夫 等，张荣梅 策划，小当当童书馆 出品',
'book_name': '诺奖少年版（全套30册）2018当当童书畅销书，日销售ZUI高达50000...',
'price': '¥248.10'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '1.',
'book_author': '余华',
'book_name': '活着（2017年新版）',
'price': '¥28.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '26.',
'book_author': '（美）加·泽文 Gabrielle Zevin 著；孙仲旭、李玉瑶 译；读客文化 出品',
'book_name': '岛上书店（每个人的生命中，都有无比艰难的那一年，将人生变得美...',
'price': '¥29.80'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '27.',
'book_author': '贾平凹 著 时代华语 出品',
'book_name': '自在独行     贾平凹的独行世界',
'price': '¥28.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '28.',
'book_author': '姜自霞',
'book_name': '魔法拼音国（套装 共7册）',
'price': '¥49.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '29.',
'book_author': '张嘉佳 著,博集天卷 出品',
'book_name': '云边有个小卖部',
'price': '¥21.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '30.',
'book_author': '路遥 著，新经典 出品',
'book_name': '平凡的世界：全三册（朱一龙推荐，八年级下册自主阅读推荐）',
'price': '¥74.50'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '31.',
'book_author': '戴尔·卡耐基 著，陶曚 译，果麦文化 出品',
'book_name': '人性的弱点（薛之谦推荐，畅销100万册）【果麦经典】',
'price': '¥28.50'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '32.',
'book_author': '大冰 著，博集天卷 出品',
'book_name': '我不（大冰作品。十个月狂销200万册，不容错过的奇书！）',
'price': '¥21.50'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '33.',
'book_author': '〔英〕毛姆 著  苏福忠 译',
'book_name': '月亮和六便士（全新导读无删节详注版！ 半年创当当110000名读者五...',
'price': '¥24.30'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '34.',
'book_author': '陈磊（二混子） 著；读客文化 出品',
'book_name': '半小时漫画中国史（修订版）（看半小时漫画，通五千年历史！《半...',
'price': '¥35.90'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '35.',
'book_author': '（美）怀特u3000著，任溶溶u3000译',
'book_name': '夏洛的网（新）',
'price': '¥19.50'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '36.',
'book_author': '克莱儿·麦克福尔，白马时光 出品',
'book_name': '摆渡人2：重返荒原（系列畅销千万册。每一个镌刻着爱与善意的灵魂...',
'price': '¥38.80'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '37.',
'book_author': '东野圭吾 著，娄美莲 译，新经典 出品',
'book_name': '东野圭吾：恶意（2016版，东野圭吾四大杰作之一）',
'price': '¥27.30'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '38.',
'book_author': '（哥伦）马尔克斯u3000 著，杨玲 译，新经典 出品',
'book_name': '霍乱时期的爱情（2015版）  一本好书 腾讯视频栏目推荐',
'price': '¥34.20'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '39.',
'book_author': '埃德加·斯诺 著；董乐山 译',
'book_name': '红星照耀中国（青少版）人民文学出版社',
'price': '¥20.50'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-2>
{'bang_num': '40.',
'book_author': '蔡崇达 著，果麦文化 出品',
'book_name': '皮囊（畅销300万册的国民读本，刘德华、李敬泽作序。繁体版面世即...',
'price': '¥21.80'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '42.',
'book_author': '(日)山下英子',
'book_name': '断舍离',
'price': '¥27.10'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '43.', 'book_author': '杨绛', 'book_name': '我们仨', 'price': '¥23.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '44.',
'book_author': '老杨的猫头鹰',
'book_name': '好看的皮囊千篇一律，有趣的灵魂万里挑一（老杨的猫头鹰最新作品...',
'price': '¥31.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '45.',
'book_author': '（美）玛兹丽施u3000著，安燕玲u3000译',
'book_name': '如何说孩子才会听 怎么听孩子才肯说（全新修订版）',
'price': '¥36.80'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '46.',
'book_author': '王小波 著，新经典 出品',
'book_name': '一只特立独行的猪',
'price': '¥22.80'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '47.',
'book_author': '(美）莱曼·弗兰克·鲍姆，（德）格林兄弟，（丹）安徒生等著，张荣梅 策划，小当当童书馆 出品',
'book_name': '百年童话绘本·典藏版（全套30册）当当2018年度常青藤畅销书奖，...',
'price': '¥208.60'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '48.',
'book_author': '杨绛',
'book_name': '我们仨（新版）',
'price': '¥15.80'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '49.',
'book_author': '著 （日）莳田晋至，译 吴佳芬，绘 （日）长谷川知子',
'book_name': '在教室说错了没关系',
'price': '¥18.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '50.',
'book_author': '高春香，邵敏 著，许明振，李婧 绘',
'book_name': '这就是二十四节气（中国二十四节气彩绘版，文津图书奖获奖绘本，...',
'price': '¥50.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '51.',
'book_author': '慕颜歌  著，文通天下  出品',
'book_name': '你的善良必须有点锋芒',
'price': '¥29.20'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '52.',
'book_author': '余华',
'book_name': '许三观卖血记（新版）',
'price': '¥32.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '53.',
'book_author': '陈磊（笔名：二混子） 著；读客文化 出品',
'book_name': '半小时漫画世界史（看半小时漫画，通五千年历史！其实是一本严谨...',
'price': '¥35.90'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '54.',
'book_author': '高铭 著，磨铁图书 出品',
'book_name': '天才在左 疯子在右(2018全新完整版)',
'price': '¥44.10'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '55.',
'book_author': '[日]稻盛和夫 著，曹岫云 译',
'book_name': '阿米巴经营——畅销十周年纪念版，当当全国独家（团购，请致电40...',
'price': '¥27.30'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '56.',
'book_author': '东野圭吾 著，刘子倩 译，新经典 出品',
'book_name': '东野圭吾：嫌疑人X的献身（王凯、张鲁一推荐，至为纯粹的爱情，绝...',
'price': '¥26.30'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '57.',
'book_author': '曹文轩   著',
'book_name': '曹文轩文集典藏版（全7册）',
'price': '¥84.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '58.',
'book_author': '史蒂芬·霍金',
'book_name': '时间简史（插图本）（央视《朗读者》推荐）',
'price': '¥32.60'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '2.',
'book_author': '周国平',
'book_name': '我喜欢生命本来的样子(周国平经典散文作品集)',
'price': '¥40.50'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '3.',
'book_author': '乔安娜柯尔u3000著 布鲁斯迪根 图u3000施芳u3000译',
'book_name': '神奇校车·桥梁书版（全20册）',
'price': '¥75.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '4.',
'book_author': '郑利强 段虹(绘) 步印童书 出品',
'book_name': '我的第一本地理启蒙书',
'price': '¥24.90'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '59.',
'book_author': '〔英〕安东尼·布朗',
'book_name': '我爸爸+我妈妈（全2册）',
'price': '¥46.50'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-3>
{'bang_num': '60.',
'book_author': '陈卫平、陈雨岚等 步印童书 出品',
'book_name': '写给儿童的中国地理（全14册）',
'price': '¥196.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '5.',
'book_author': '（日）太宰治u3000著，杨伟u3000译',
'book_name': '人间失格（日本小说家太宰治的自传体小说）',
'price': '¥22.50'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '6.',
'book_author': '（荷）丹姆  著，漆仰平，爱桐  译',
'book_name': '小熊和最好的爸爸（全7册）',
'price': '¥17.50'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '7.',
'book_author': '戴维·伽特森',
'book_name': '雪落香杉树 (福克纳奖得主，全球畅销500万册)',
'price': '¥46.80'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '8.',
'book_author': '张嘉骅',
'book_name': '少年读史记（套装全5册）',
'price': '¥50.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '9.',
'book_author': '(美)乔安娜柯尔 著 ,(美)布鲁斯·迪根 图',
'book_name': '神奇校车·图画书版（全12册，新增《科学博览会》1册）',
'price': '¥99.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '10.',
'book_author': '大冰 著,博集天卷 出品',
'book_name': '你坏（大冰2018作品！预售10分钟8.6万册+，30分钟突破11.8万册，...',
'price': '¥27.30'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '11.',
'book_author': '(日)东野圭吾 著，新经典 出品',
'book_name': '东野圭吾：解忧杂货店（王俊凯、迪丽热巴主演，这家店帮你找回内...',
'price': '¥27.30'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '12.',
'book_author': '沈复 著 ， 张佳玮 译，果麦文化 出品',
'book_name': '浮生六记（汪涵、胡歌推荐，畅销250万册。沈复给芸娘的绝美情书）...',
'price': '¥15.20'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '13.',
'book_author': '[美] 简·尼尔森',
'book_name': '《正面管教》修订版',
'price': '¥18.90'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '14.',
'book_author': '陈卫平著 步印童书 出品',
'book_name': '写给儿童的中国历史（全14册）',
'price': '¥177.50'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '15.',
'book_author': '毛姆 著，徐淳刚 译，大星文化 出品，作家榜经典文库，高更 绘',
'book_name': '月亮与六便士（新版未删节！当当名著销量桂冠！豆瓣阅读桂冠！上...',
'price': '¥29.90'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '16.',
'book_author': '[英]克莱儿·麦克福尔，白马时光 出品',
'book_name': '摆渡人（系列畅销千万册。如果命运是一条孤独的河流，谁会是你灵...',
'price': '¥32.60'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '17.',
'book_author': '加西亚·马尔克斯 著，新经典 出品',
'book_name': '马尔克斯：百年孤独（50周年纪念版）',
'price': '¥41.30'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '18.',
'book_author': '[美]卡勒德·胡赛尼（Khaled Hosseini） 著，李继宏 译',
'book_name': '追风筝的人（2018年新版）',
'price': '¥18.00'}
2019-05-08 17:00:28 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '19.',
'book_author': '佐佐木圭一 著 程亮 译 时代华语 出品',
'book_name': '所谓情商高，就是会说话',
'price': '¥23.00'}
2019-05-08 17:00:29 [scrapy.core.scraper] DEBUG: Scraped from <200 http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1>
{'bang_num': '20.',
'book_author': '李思圆 著，文通天下 出品',
'book_name': '生活需要仪式感 （把温暖和感动带给你在乎的人）',
'price': '¥32.10'}
2019-05-08 17:00:29 [scrapy.core.engine] INFO: Closing spider (finished)
2019-05-08 17:00:29 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 1044,
'downloader/request_count': 3,
'downloader/request_method_count/GET': 3,
'downloader/response_bytes': 354134,
'downloader/response_count': 3,
'downloader/response_status_count/200': 3,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2019, 5, 8, 9, 0, 29, 1579),
'item_scraped_count': 60,
'log_count/DEBUG': 63,
'log_count/INFO': 9,
'log_count/WARNING': 1,
'response_received_count': 3,
'scheduler/dequeued': 3,
'scheduler/dequeued/memory': 3,
'scheduler/enqueued': 3,
'scheduler/enqueued/memory': 3,
'start_time': datetime.datetime(2019, 5, 8, 9, 0, 28, 449885)}
2019-05-08 17:00:29 [scrapy.core.engine] INFO: Spider closed (finished)