python爬虫4猫眼电影的Top100

1 查看网页结构

(1)确定需要抓取的字段

电影名称

电影主演

电影上映时间

电影评分

(2) 分析页面结构

按住f12------->点击右上角(如下图2)---->鼠标点击需要观察的字段

(3)BeautifulSoup解析源代码并设置过滤属性

soup = BeautifulSoup(htmll, 'lxml')

Movie_name = soup.find_all('div',class_='movie-item-info')

Movie_Score1=soup.find_all('p',class_='score')

(4)调试查看过滤属性是否正确

(5)提取对应字段

 for cate,score in zip(Movie_name,Movie_Score1):
        data={}
        movie_name1 = cate.find('a').text.strip('
')
        data['title']=movie_name1
        movie_actor = cate.find_all("p")[1].text.replace("
"," ").strip()
        data['actors']=movie_actor
        movie_time=cate.find_all("p")[2].text.strip('
').strip()
        data['data']=movie_time
        movie_score1=score.find_all("i")[0].string
        movie_score2=score.find_all("i")[1].string
        movie_score=movie_score1+movie_score2
        data['score'] = movie_score
        name = movie_name1 + "	"+movie_actor+"	" + movie_time+"	"+movie_score
        DATA.append(name)
        with open('Movie1.txt', 'a+') as f:
            f.write("
{}".format(name))

(6)翻页爬取

如下图，按照1 2 3步骤，发现页数是有这样子的规律。比如offset=0 offset=10......

2 存储excel

  for datas in DATA:
        datas=datas.split('	')#因为我之前解析字段拼接的时候就是采用	分割
        print(len(datas))
        print(datas)
        for j in range(len(datas)):#列表中的每一项都包含按照	分割的字段
            print(j)
            sheet1.write(i, j, datas[j])
        i = i + 1
    f.save("d.xls")  # 保存文件

3 结果