scrapy实验1 爬取中国人寿官网新闻，保存为xml

一、scrapy 实验  爬中国人寿新闻，保存为xml

如需转发，请注明出处：小婷儿的python  https://www.cnblogs.com/xxtalhr/p/10517297.html

链接：https://pan.baidu.com/s/1HeIbBuAWjk8uNRl7ZIXh-A
提取码：z3hh

1.1 代码结构

scrapy框架具体内容，请参考

1、scrapy（一）scrapy 安装问题   https://www.cnblogs.com/xxtalhr/p/9170437.html

2、Scrapy 框架（二）数据的持久化   https://www.cnblogs.com/xxtalhr/p/9164186.html

3、scrapy (三）各部分意义及框架示意图详解   https://www.cnblogs.com/xxtalhr/p/9170343.html

4、scrapy （四）基本配置   https://www.cnblogs.com/xxtalhr/p/9169484.html

5、scrapy shell   https://www.cnblogs.com/xxtalhr/p/9158651.html

1.2 书写 spiders

# -*- coding: utf-8 -*-
import scrapy
import json


class RrSpider(scrapy.Spider):
    name = 'rr'
    allowed_domains = ['www.chinalife.com.cn']
    start_urls = ['https://www.chinalife.com.cn/chinalife/xwzx/gsxw/7934bcc5-%d.html' % (i) for i in range(1, 12)]

    def parse(self, response):
        news = response.xpath('//div[@class="easysite-article-content"]/ul/li')
        print('========================================', len(news))
        items = []
        fp = open('./xml-4.xml', 'a', encoding='utf-8')#打开文件，不用手动创建
        for new in news:
            new_date = new.xpath('./span/text()').extract()[0]
            new_title = new.xpath('.//div/span/a/@title').extract_first()
            new_info = new.xpath('.//div/a/span/text()').extract_first()
            new_link = 'https://www.chinalife.com.cn/' + new.xpath('.//div/span/a/@href').extract_first()
            item = {}
            item['date'] = new_date
            item['title'] = new_title
            item['info'] = new_info
            item['link'] = new_link



            fp.write(json.dumps(item))#写入文件
           
            items.append(item)
            print('+++++++++++++++++++++++++++++++', new_date, new_info, new_link, new_title,)
        fp.close()
        return items

二、修改 setting中 USER_AGENT 和 ROBOTSTXT_OBEY

三、   终端  执行命令 

 scrapy crawl rr -o renshou.xml                                 

 # ('json', 'jsonlines', 'jl', 'csv', 'xml', 'marshal', 'pickle')

欢迎关注小婷儿的博客：

　　csdn：https://blog.csdn.net/u010986753

　　博客园：http://www.cnblogs.com/xxtalhr/

　　有问题请在博客下留言或加作者微信：tinghai87605025 或 QQ ：87605025

　　python QQ交流群：py_data 483766429

　　OCP培训说明连接：https://mp.weixin.qq.com/s/2cymJ4xiBPtTaHu16HkiuA

　　OCM培训说明连接：https://mp.weixin.qq.com/s/7-R6Cz8RcJKduVv6YlAxJA

　　小婷儿的python正在成长中，其中还有很多不足之处，随着学习和工作的深入，会对以往的博客内容逐步改进和完善哒。

重要的事多做几遍。。。。。。