zoukankan      html  css  js  c++  java
  • Forward团队-爬虫豆瓣top250项目-开发文档

    项目地址:https://github.com/xyhcq/top250

    我在本次项目中负责写爬虫中对数据分析的一部分,根据马壮分析过的html,我来进一步写代码获取数据,具体的功能及实现方法我已经写在了注释里:

    首先,通过访问要爬的网站,并将网站保存在变量里,为下一步数据分析做准备

    def getData(html):
        # 分析代码信息,提取数据
        soup = BeautifulSoup(html, "html.parser")

    这时,如果我们print soup,是会在窗口上显示出网站的源代码的。

    先把第一部电影信息的源代码放这,便于理解

    首先,我们要爬取电影名字,我们经过分析(网页代码层次还是比较清晰的) 

    然后就可以写出爬取名字的部分了,

        # 找到第一个class属性值为grid_view的ol标签
        movieList=soup.find('ol',attrs={'class':'grid_view'})
    
        # 找到所有的li标签
        for movieLi in movieList.find_all('li'):    
            # 找到第一个class属性值为hd的div标签
            movieHd=movieLi.find('div',attrs={'class':'hd'})
            # 找到第一个class属性值为title的span标签
    
            # 获取电影名字
            movieName=movieHd.find('span',attrs={'class':'title'}).getText()
            print movieName

    经过运行,名字也确实能爬去并显示了,然后我们还是按照这种找标签的方法,以此类推,就能抓取其他的信息了:

            # 获取电影链接
            movieUrl=movieHd.find('a class="" href="')
            print movieUrl
    
    
            # 获取电影导演/演员
            movieBd = movieLi.find('div', attrs={'class': 'bd'})
            movieSF=movieBd.find('p',attrs={'class':''}).getText()
            print movieSF
    
    
            # 获取电影的评分
            movieScore=movieLi.find('span',attrs={'class':'rating_num'}).getText()
            print movieScore
    
            #获取电影的评论数
            movieEval=movieLi.find('div',attrs={'class':'star'})
            movieEvalNum=re.findall(r'd+',str(movieEval))[-1]
            print movieEvalNum

    这里要说一下,如果找不到标签,有时候程序会卡住不动,排查发现问题出在简评上,所以;

            # 获取电影短评
            movieQuote = movieLi.find('span', attrs={'class': 'inq'})
            # 有的电影没有短评,为防止报错,加次
            if(movieQuote):
                print movieQuote.getText()
            else:
                print ('没有短评!')

  • 相关阅读:
    Maven插件
    Maven 构建生命周期
    Maven POM
    JMeter录制登录测试
    IntelliJ IDEA官方下载地址
    Eplise快捷键
    Eclipse-maven相关配置
    vs2019添加引用出错:对COM组件的调用返回了错误HRESULT E_FAIL
    Java学习--多线程(1)
    SQL Server查询重复数据
  • 原文地址:https://www.cnblogs.com/xingyunqi/p/7780368.html
Copyright © 2011-2022 走看看