zoukankan      html  css  js  c++  java
  • 爬取校园新闻首页的新闻

    1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。

    import requests
    from bs4 import BeautifulSoup
    
    url = 'http://news.gzcc.cn/html/xiaoyuanxinwen/'
    res = requests.get(url)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    
    news = soup.select('li')
    for new in news:
        if len(new.select('.news-list-title')) > 0:
            title = new.select('.news-list-title')[0].text
            href = new.select('a')[0].attrs['href']
            text = new.select('.news-list-description')[0].text
            print(title)
            print(href)
            print(text+'
    ')

     图片只展示部分

    2. 分析字符串,获取每篇新闻的发布时间,作者,来源,摄影等信息。

    import requests
    from bs4 import BeautifulSoup
    
    url = 'http://news.gzcc.cn/html/xiaoyuanxinwen/'
    res = requests.get(url)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    
    news = soup.select('li')
    for new in news:
        if len(new.select('.news-list-title')) > 0:
            title = new.select('.news-list-title')[0].text
            href = new.select('a')[0].attrs['href']
            text = new.select('.news-list-description')[0].text
            res = requests.get(href)
            res.encoding = 'utf-8'
            soup = BeautifulSoup(res.text, 'html.parser')
            info = soup.select('.show-info')[0].text
            content = info.split()
            time = content[0].lstrip('发布时间:') + " " + content[1]
            author = content[2].lstrip('作者:')
            check = content[3].lstrip('审核:')
            source = content[4].lstrip("来源:")
            print(time, author, check, source)

    3. 将其中的发布时间由str转换成datetime类型。

    from datetime import datetime
    time = '2018-04-04 05:20:34'
    a = datetime.strptime(time, '%Y-%m-%d %H:%M:%S')
    print(type(a))
    print(a, a.strftime('%Y/%m/%d'))

    4. 将完整的代码及运行结果截图发布在作业上。

  • 相关阅读:
    【排序】SelectSort
    Linux下程序的Profile工具
    Ubuntu adb devices :???????????? no permissions 解决方法
    利用宏控制打印
    关于错误 Resource temporarily unavailable
    如何不使用pthread_cancel而杀死线程
    【排序】BubbleSort
    使用 autotools 生成包含多文件的 Makefile
    source命令使用
    2010 成都预选赛 Binary Number
  • 原文地址:https://www.cnblogs.com/REGzjm85/p/8719276.html
Copyright © 2011-2022 走看看