zoukankan      html  css  js  c++  java
  • 爬取校园新闻首页的新闻

    1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。

    import requests
    from bs4 import BeautifulSoup
    
    url = 'http://news.gzcc.cn/html/xiaoyuanxinwen/'
    res = requests.get(url)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    
    news = soup.select('li')
    for new in news:
        if len(new.select('.news-list-title')) > 0:
            title = new.select('.news-list-title')[0].text
            href = new.select('a')[0].attrs['href']
            text = new.select('.news-list-description')[0].text
            print(title)
            print(href)
            print(text+'
    ')

     图片只展示部分

    2. 分析字符串,获取每篇新闻的发布时间,作者,来源,摄影等信息。

    import requests
    from bs4 import BeautifulSoup
    
    url = 'http://news.gzcc.cn/html/xiaoyuanxinwen/'
    res = requests.get(url)
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    
    news = soup.select('li')
    for new in news:
        if len(new.select('.news-list-title')) > 0:
            title = new.select('.news-list-title')[0].text
            href = new.select('a')[0].attrs['href']
            text = new.select('.news-list-description')[0].text
            res = requests.get(href)
            res.encoding = 'utf-8'
            soup = BeautifulSoup(res.text, 'html.parser')
            info = soup.select('.show-info')[0].text
            content = info.split()
            time = content[0].lstrip('发布时间:') + " " + content[1]
            author = content[2].lstrip('作者:')
            check = content[3].lstrip('审核:')
            source = content[4].lstrip("来源:")
            print(time, author, check, source)

    3. 将其中的发布时间由str转换成datetime类型。

    from datetime import datetime
    time = '2018-04-04 05:20:34'
    a = datetime.strptime(time, '%Y-%m-%d %H:%M:%S')
    print(type(a))
    print(a, a.strftime('%Y/%m/%d'))

    4. 将完整的代码及运行结果截图发布在作业上。

  • 相关阅读:
    网络分析(二)定向与非定向
    Flex 找不到html文件,不能自动生成html问题解决
    常用的功能点记录
    git常规操作命令整理
    语境驱动测试7原则
    探索式测试的问与答
    测试建模:Google ACC
    探索式测试:基于测程的测试管理(SessionBased Test Management)
    用Excel展示SQL Server中的数据 (III): IronPython与自动化
    在Ajax中使用Flash实现跨域数据读取
  • 原文地址:https://www.cnblogs.com/REGzjm85/p/8719276.html
Copyright © 2011-2022 走看看