抓取猫眼电影排行

抓取猫眼电影排行

1. 抓取分析

需要抓取的目标URL为：http://maoyan.com/board/4，打开之后便可以查看到电影的排行，如下图：

（注：如果图片看不清楚请右键点击图片通过新的标签打开）

排名第一的是霸王别姬，页面中显示的有效信息有影片名称、主演、上映时间、上映地区、评分以及图片等信息。将该页面滚动到最下方，可以发现还有分页的列表，观察点击下一页时，URL发生了怎样的变化并记录这个变化规律：

可以发现第二页的URL为http://maoyan.com/board/4?offset=10，第三页的URL为http://maoyan.com/board/4?offset=20，以此类推。

2. 抓取第一页

定义一个函数用于抓取一个页面，函数的参数就是url，将我们要抓取页面的url传给函数，返回的结果就是服务器端的响应。

import requests

def get_one_page(url):
    headers = {
         'User-Agent':'Mozilla/5.0(Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36(KHTML,like Gecko)  Chrome/65.0.3325.162 Safari/537.36'   
}
response = requests.get(url,headers=headers)
if response.status_code == 200:
    return response.text
return None

发送请求的函数很快就定义了，剩下的问题就是调用这个函数去发请求了，这里我们通过main方法来调用：

def main():
    url = 'http://maoyan.com/board/4'
    html = get_one_page(url)
    print(html)


if __name__ == '__main__':
    main()

可以发现上面拿到的html就是第一页的源码了，接下来要做的就是从源码里面将我们需要的信息抽取出来（这里通过正则表达式实现）：

从源码分析，一部电影的信息就用一个dd标签存着。首先，需要提取电影的排名信息，而这个信息正好在calss为board-index的i节点内，这里使用非贪婪匹配来提取i节点内的信息，正则表达式为：'<dd>.*?board-index.*?>(.*?)</i>'；

随后需要提取电影的图片，可以看到，后面有a节点，其内部有两个img标签，经过测试，第二个img标签的data-src属性就是图片的连接，所以这里提取的就是这个属性的值：'<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)"' ；

再往后，需要抓取电影的名称，它在后面的p标签内，class为name，所以，可以用name做一个标志位，然后进一步提取到其内a节点的标签体：'<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>' ；

最后提取主演、上映时间、评分等内容：

'<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>'

通过这样的一个正则表达式就可以将我们需要的数据都提取出来了，然后这里也是通过一个函数去解析一个网页：

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
    items = re.findall(pattern,html)
    for item in items:
        yield {
              'index':item[0],
              'image':item[1],
              'title':item[2].strip(),
              'actor':item[3].strip()[3:] if len(item[3]) > 3 else '',
              'time':item[4].strip()[5:] if len(item[4]) > 5 else '',
              'score':item[5].strip() + item[6].strip()               
} 

这样就可以将我们需要的数据封装成一个对象返回，接下来就是数据的存储了，这里先使用文本直接存储：

def write_to_file(content):
    with open('result.txt','a',encoding='utf-8') as f :
        f.write(json.dumps(content,ensure_ascii=False) + '
')

这里只是抓取并解析了一个网页，然而我们需要将整个排行榜抓取下来也很简单，只需要循环去执行这些函数就行了：

def main(offset):
    url = 'http://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        write_to_file(item)

if __name__ == '__main__':
    for i in range(10):
        main(offset=i*10)

3. 完整代码

import requests
from requests.exceptions import RequestException
import re
import json
import time

def get_one_page(url):
    try:
        headers = {
            'User-Agent':'Mozilla/5.0(Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36(KHTML,like Gecko) '
                         'Chrome/65.0.3325.162 Safari/537.36'
        }
        response = requests.get(url,headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    # 定义正则表达式，获取电影的排名，名称，主演，上映时间，评分
    pattern = re.compile(
        '<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime'
        + '.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S
    )
    items = re.findall(pattern,html)
    print(items)
    for item in items:
        yield {
            'index':item[0],
            'image':item[1],
            'title':item[2].strip(),
            'actor':item[3].strip()[3:] if len(item[3]) > 3 else '',
            'time':item[4].strip()[5:] if len(item[4]) > 5 else '',
            'score':item[5].strip() + item[6].strip()
        }

def write_to_file(content):
    with open('result.txt','a',encoding='utf-8') as f:
        f.write(json.dumps(content,ensure_ascii=False) + '
')

def main(offset):
    url = 'http://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        write_to_file(item)


if __name__ == '__main__':
    for i in range(10):
        main(offset=i*10)
        # 防止反爬虫机制
        time.sleep(2)