zoukankan      html  css  js  c++  java
  • 爬取校园新闻首页的新闻

    1. 爬取校园新闻首页新闻的标题、链接、正文。

    import requests
    from bs4 import BeautifulSoup
     
    for news in soup.select('li'):
        if len(news.select('.news-list-title')) > 0:
            t = news.select('.news-list-title')[0].text
            dt = news.select('.news-list-info')[0].contents[0].text
            a = news.select('a')[0].attrs['href']
            c = news.select('.news-list-description')[0].contents[0]
            print(dt,t,a,c)
    

     2  分析字符串,获取每篇新闻的发布时间,作者,来源,摄影等信息

    for news in soup.select('li'):
        if len(news.select('.news-list-title')) > 0:
            t = news.select('.news-list-title')[0].text #标题
            a = news.select('a')[0].attrs['href']    #链接
    
            resd = requests.get(a)
            resd.encoding = 'utf-8'
            soupd = BeautifulSoup(resd.text, 'html.parser')
            print(soupd.select('.show-info')[0].text)   #正文
    
            info =soupd.select('.show-info')[0].text
    
            dt =info.lstrip('发布时间:')[:19] #发布时间
    
            i =info.find('来源')
            if i>0:
                s = info[info.find('来源:')].split()[0].lstrip('来源:')  #来源:
             break
    

      3. 将其中的发布时间由str转换成datetime类型。

    from datetime import datetime
            str = '2018-03-30 17:10:12 '
            dt=datetime.strptime('str,%Y-%a-%d %H:%M:%S')
            now = datetime.now()
            type(now)
            now.strptime('%Y-%a-%d %H:%M:%S')
    

      

  • 相关阅读:
    适配器模式
    快排变种
    美团面试问题
    gulp前端自动化构建工具新手入门篇
    javascript继承
    .call()和.apply()相同点与不同点
    JavaScript原型,原型链 !
    锚点链接和hash属性
    构造函数与普通函数的比较
    JS的作用域和作用域链
  • 原文地址:https://www.cnblogs.com/linbolinbo/p/8692030.html
Copyright © 2011-2022 走看看