zoukankan      html  css  js  c++  java
  • 爬取校园新闻首页的新闻

    1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。

    2. 分析字符串,获取每篇新闻的发布时间,作者,来源,摄影。

    3. 将其中的发布时间由str转换成datetime类型。

    import requests
    from bs4 import BeautifulSoup
    from datetime import datetime
    utl = 'http://news.gzcc.cn/html/xiaoyuanxinwen/'
    res = requests.get(utl)
    res.encoding= 'utf-8'
    soup = BeautifulSoup(res.text,'html.parser')
    for i in soup.select('li'):
        if len(i.select('.news-list-title')) > 0:
            f = i.select('.news-list-info')[0].contents[1].text
            t = i.select('.news-list-title')[0].text
            h = i.select('a')[0].attrs['href']
            resd = requests.get(h)
            resd.encoding = 'utf-8'
            soupd = BeautifulSoup(resd.text, 'html.parser')
            zw = soupd.select('#content')[0].text
            info = soupd.select('.show-info')[0].text
            dt = info.lstrip('发布时间:')[0:19]
            p = datetime.strptime(dt, '%Y-%m-%d %H:%M:%S ')
            print(f,t,h,zw,p)
  • 相关阅读:
    第 6 章 Cinder
    第 6 章 Cinder
    第 6 章 Cinder
    第 6 章 Cinder
    第 6 章 Cinder
    第 6 章 Cinder
    第 6 章 Cinder
    第 6 章 Cinder
    第 6 章 Cinder
    第 6 章 Cinder
  • 原文地址:https://www.cnblogs.com/w092/p/8692228.html
Copyright © 2011-2022 走看看