zoukankan      html  css  js  c++  java
  • 爬取校园新闻首页的新闻

    import requests
    from bs4 import BeautifulSoup
    from datetime import datetime

    res=requests.get('http://news.gzcc.cn/html/xiaoyuanxinwen/')
    res.encoding='utf-8'
    soup=BeautifulSoup(res.text,'html.parser')

    for news in soup.select('li'):
    if len(news.select('.news-list-title'))>0:
    d = news.select('.news-list-info')[0].contents[0].text#日期
    t = news.select('.news-list-title')[0].text#标题
    a = news.select('a')[0].attrs['href']#链接

    resd = requests.get(a)
    resd.encoding='utf-8'
    soupd = BeautifulSoup(resd.text,'html.parser')#新闻详情页

    c = soupd.select('#content')[0].text#正文
    info=soupd.select('.show-info')[0].text
    dt = info.lstrip('发布时间:')[:19]#发布时间
    dati = datetime.strptime(dt,':%Y-%m-%d %H:%M:%S')
    sh = info[info.find('作者:'):].split()[0].lstrip('作者:')#作者

    print(dati,t,a,sh,c)
    break



      

     

  • 相关阅读:
    Ajax基础
    css基础
    响应式容器布局
    PHP基础
    Unity 3d 刚体
    ASP.NET 大文件下载的实现思路及代码
    2015年第一篇 自律守则以及年度目标
    ItextSharp代码示例
    HTML5 新增通用属性
    c# 委托实例
  • 原文地址:https://www.cnblogs.com/Runka/p/8708966.html
Copyright © 2011-2022 走看看