zoukankan      html  css  js  c++  java
  • 爬取新闻列表

    1. 获取单条新闻的#标题#链接#时间#来源#内容 #点击次数,并包装成一个函数。
    2. 获取一个新闻列表页的所有新闻的上述详情,并包装成一个函数。
    3. 获取所有新闻列表页的网址,调用上述函数。
    4. 完成所有校园新闻的爬取工作。
      import requests
      import re
      from bs4 import BeautifulSoup
      url='http://news.gzcc.cn/html/xiaoyuanxinwen/'
      res=requests.get(url)
      res.encoding='utf-8'
      soup=BeautifulSoup(res.text,'html.parser')
      li=soup.select('li')
      
      def get(gzcc):
          dj=re.search('_.*/(.*).html',gzcc).groups(0)[0]
          djcs=int(requests.get('http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80'.format(dj)).text.split('.')[-1].lstrip("html('").rstrip("');"))
          return djcs
      
      def sss(label):
          for news in label:
              if len(news.select('.news-list-title'))>0:
                  title=news.select('.news-list-title')[0].text #标题
                  time=news.select('.news-list-info')[0].contents[0].text#时间
                  url1=news.select('a')[0]['href']#url
                  bumen=news.select('.news-list-info')[0].contents[1].text#部门
                  description=news.select('.news-list-description')[0].text #描述
                  cs=get(url1)
                  print(time,title,url,cs)
      sss(li)
      
      pages=int(soup.select('.a1')[0].text.rstrip(''))//10+1        
      for list in range(2,pages+1):
          pageurl="http://news.gzcc.cn/html/xiaoyuanxinwen/{}.html".format(list)
          pageres=requests.get(pageurl)
          pageres.encoding='utf-8'
          pagesoup=BeautifulSoup(pageres.text,'html.parser')
          pagelist=pagesoup.select('li')
          sss(pagelist)
          break

       

    5. 完成自己所选其他主题相应数据的爬取工作。 
      import requests
      import re
      from bs4 import BeautifulSoup
      url='http://news.szu.edu.cn/xyxw/sdyw.htm'
      res=requests.get(url)
      res.encoding='utf-8'
      soup=BeautifulSoup(res.text,'html.parser')
      li=soup.select('li')
      
      def get(shenda):
          dj=re.search('_.*/(.*).htm',shenda).groups(0)[0]
          djcs=int(requests.get('http://news.szu.edu.cn/info/1003/{}.htm'.format(dj)).text.split('.')[-1].lstrip("html('").rstrip("');"))
          return djcs
      
      def sd(label):
          for news in label:
              if len(news.select('._blank'))>0:
                  title=news.select('._blank')[0].text
                  time=news.select('._blank').contents[0].text
                  url1=news.select('a')
      
                  cs=get(url1)
                  print(time,title,url,cs)
      sd(li)
      
      pages=int(soup.select('.left')[0].text.rstrip(''))//10+1
      for list in range(2,pages+1):
          pageurl="http://news.szu.edu.cn/xyxw/sdyw/{}.htm".format(list)
          pageres=requests.get(pageurl)
          pageres.encoding='utf-8'
          pagesoup=BeautifulSoup(pageres.text,'html.parser')
          pagelist=pagesoup.select('li')
          sd(pagelist)
          break
  • 相关阅读:
    Java语言编码规范(Java Code Conventions) 转载
    Flex 彻底屏蔽右键 (转载)
    JAVA 读取文件(收集)
    可以运行SWT的精简版JRE 1.4.2_04, 压缩后仅1.3MB[整理]
    转载:多核平台下的JAVA优化
    森林消防智慧预警:火灾监测 Web GIS 可视化平台
    绿色数字园区运维:一屏群集 3D 可视化智慧楼宇
    js删除json key
    学习、应用Web标准一路走来——《重构之美》原创系列文章快速入口。
    中国互联网的鱼死网破新时代。
  • 原文地址:https://www.cnblogs.com/bb437601841/p/7649549.html
Copyright © 2011-2022 走看看