Python爬虫Scrapy框架(2) -- 爬取优酷电影进阶

爬取更多的items，例如名字，主演，播放次数，电影海报，并进行多页爬取。

items.py

import scrapy

class YoukumoiveItem(scrapy.Item):
    # define the fields for your item here like:
    moiveName = scrapy.Field()
    actors=scrapy.Field()
    views=scrapy.Field()
    img=scrapy.Field()

youkuMoiveSpider.py

# -*- coding: utf-8 -*-
import scrapy
from youkuMoive.items import YoukumoiveItem

class YoukumoivespiderSpider(scrapy.Spider):
    name = 'youkuMoiveSpider'
    allowed_domains = ['list.youku.com']
    pages=list(range(1,11))
    start_urls = []
    for page in pages:
        start_urls.append('http://list.youku.com/category/show/c_96_s_1_d_1_p_'+str(page)+'.html?spm=a2h1n.8251845.0.0')
  
    def parse(self, response):
        subSelector=response.css('li.yk-col4')
        items=[]
        for sub in subSelector:
            item=YoukumoiveItem()
            item['moiveName']=sub.css("ul.info-list li.title a::attr(title)").extract()[0]
            item['actors']=sub.css("ul.info-list li.actor a::attr(title)").extract()
            if len(item['actors'])>1:
                item['actors']=str(",".join(item['actors']))
            item['views']=sub.css("ul.info-list li.actor+li ::text").extract()[0]
            item['img']=sub.css("img.quic::attr(src)").extract()[0]
            items.append(item)
        return items

pipelines.py

import time
import os.path
import urllib.request

class YoukumoivePipeline(object):
    def process_item(self, item, spider):
        today=time.strftime('%Y%m%d',time.localtime())
        filename=today+'.txt'
        with open(filename,'a') as fp:
            fp.write(str(item['moiveName'])+'	')
            fp.write(str(item['actors'])+'	')
            fp.write(str(item['views'])+'	')
            imgName=os.path.basename(str(item['img'])+".jpg")
            fp.write(imgName+'
')
            if os.path.exists(imgName):
                pass
            else:
                with open(imgName,'wb') as fp:
                    response=urllib.request.urlopen(str(item['img']))
                    fp.write(response.read())          
        
        return item

setting.py

BOT_NAME = 'youkuMoive'

SPIDER_MODULES = ['youkuMoive.spiders']
NEWSPIDER_MODULE = 'youkuMoive.spiders'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

ITEM_PIPELINES={'youkuMoive.pipelines.YoukumoivePipeline':1}

当然，过程中还是出了不少bug，一部分是不同文件间的类名拼写错误（哎呀，细心细心啊）

一部分是因为python的语法不熟悉，以致于出现某些类型错误。下面挑选几个典型报错：

• 报错1：

将 fp.write(item['moiveName']+' ') 改写成 fp.write(str(item['moiveName'][0])+' ') 即可

• 报错2：

依然是字符串的问题，将 imgName=os.path.basename(item['img']) 改为 imgName=os.path.basename(str(item['img'][0])) ，又因为优酷网站上的图片没有JPG后缀，所以加上 ".jpg" ，这样就可以用图片软件直接打开了。当然，没加时也是可以打开的，但是可能需要自己选择打开方式啦

• 报错3：

惭愧，这个说到底依然是字符串问题，因为 item['img'] 返回的是数组，所以将其转成字符串就可以顺利打开啦。

将爬取结果保存为json文件

添加pipelines2json.py文件，内容如下：

import time
import json
import codecs

class YoukumoivePipeline(object):
    def process_item(self, item, spider):
        today=time.strftime('%Y%m%d',time.localtime())
        filename=today+'.json'
        with codecs.open(filename,'a') as fp:
            line=json.dumps(dict(item),ensure_ascii=False)+'
'
            fp.write(line)
        
        return item

同时，在setting.py文件中的ITEM_PIPELINES字典修改如下：

ITEM_PIPELINES={'youkuMoive.pipelines.YoukumoivePipeline':1,
                'youkuMoive.pipelines2json.YoukumoivePipeline':2}

再次执行，就可以得到json文件啦！

将爬取结果保存为到MySQL数据库中

首先，在数据库中创建表。在CMD执行以下代码

create database scrapyDB character set 'utf8' collate 'utf8_general_Ci';
use scrapyDB;
create table moive(
    id INT AUTO_INCREMENT,
    moiveName char(20),
    actors char(20),
    views char(20),
    img char(80),
    primary key(id))
engine=InnoDB default charset=utf8;

查看创建的表 show columns from moive; 

然后，安装MySQLdb模块

 本来要安装MySQL-python的，然后报错

running build_ext

building "_mysql" extension

error: microsoft visual C++ 14.0 is required

 去https://www.lfd.uci.edu/~gohlke/pythonlibs/这个网站找对应的whl安装文件，然而都是python2.7的，而我是3.6！！！

于是寻找MySQL-python的替代品，找到了PyMySQL，安装一下 pip install PyMySQL 

PyMySQL的用法跟MySQL-python基本上是一样的。更详细的PyMySQL用法见 https://www.cnblogs.com/hank-chen/p/6624299.html

最后，便是编写导入MySQL的文件pipelines2mysql.py咯

import pymysql.cursors
import os.path

class YoukumoivePipeline(object):
    def process_item(self, item, spider):
        moiveName=item['moiveName']
        actors=item['actors']
        views=item['views']
        img=os.path.basename(item['img'])

        conn=pymysql.Connect(
            host='localhost',
            port=3306,
            user='crawlUSER',
            password='123123',
            db='scrapyDB',
            charset='utf8')
        cur=conn.cursor()
        cur.execute("insert into moive(moiveName,actors,views,img) values(%s,%s,%s,%s)",(moiveName,actors,views,img))
        cur.close()
        conn.commit()
        conn.close()
        
        return item

记得在setting.py添加相应的字典条目。执行爬虫脚本，再次刷新数据库，便可看到数据啦！

如此，便是本次爬虫的全部内容啦。

补充：

后来发现，如果在youkuMoiveSpider文件中，将item在extract之后用[0]提取出来，则此时的item['moiveName']便是字符串了。也许就不会有后面的如此多的bug啦。

So,建议以后在为item赋值时用以下形式： item['moiveName']=sub.css("ul.info-list li.title a::attr(title)").extract()[0] ，应该对大部分情况很适用。