2018/04/03爬取校园新闻

1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。

import requests
from bs4 import BeautifulSoup

url="http://news.gzcc.cn/html/xiaoyuanxinwen/"
res=requests.get(url)
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')


for new in soup.select('li'):#输出带有‘li’标签的，并且带有news-list-title的
    if len(new.select('.news-list-title'))>0:#表明news-list-title列表有东西
        d=(new.select('.news-list-info')[0].contents[0].text)#输出时间
        t=new.select('.news-list-title')[0].text#输出标题的文本内容
        a=new.select('a')[0].attrs['href']
        resd=requests.get(a)
        resd.encoding='utf-8'
        soupd=BeautifulSoup(resd.text,'html.parser')#打开新闻详情页
        c=soupd.select('#content')[0].text#正文
        info=soupd.select('.show-info')[0].text
        print(info)
        print(d,t,a)#输出时间、标题、链接



2. 分析字符串，获取每篇新闻的发布时间，作者，来源，摄影等信息。

c=soupd.select('#content')[0].text#正文
        info=soupd.select('.show-info')[0].text
        print(info)
        break#输出一条

        info='发布时间:2018-04-01 11:57:00      作者：陈流芳  审核：权麟春  来源：马克思主义学院      点击：次'
        dt=info.lstrip('发布时间：')[:19]
        sh=info[info.find('审核：'):].split()[0].lstrip('审核：')

3. 将其中的发布时间由str转换成datetime类型。

   from datatime import datatime

   info=soupd.select('.show-info')[0].text
        print(info)
        # info='发布时间:2018-04-01 11:57:00      作者：陈流芳  审核：权麟春  来源：马克思主义学院      点击：次'
        dt=info.lstrip('发布时间：')[:19]#发布时间
        dati=datatime.strptime(dt,'%Y-%m-%d %H:%M:%S')
        sh=info[info.find('作者:'):].split()[0].lstrip('审核:')

        print(type(dt))
        break


4. 将完整的代码及运行结果截图发布在作业上。