zoukankan      html  css  js  c++  java
  • 数据分析第一站!

    数据分析在现在大数据时代里,已经成为了不可或缺的一部分。以下介绍对《世界计算机科学技术专业排名前五的大学在顶尖期刊论文数》的简单的数据分析

    (数据来源:最好大学网)

    要先获得数据有两种方式:1.是直接从网站上下载下来,保存为一种文件,对文件进行读取分析,2.是使用爬虫在网络上爬取数据。在这里我使用的是第二种。

    引入爬虫和可视化的第三方库 

     获取近三年的数据的URL,建立两个空列表,分别存储大学名称和所占比例,cols为确定可视化的颜色,后面会用到!

    建立好爬虫的框架,这里不多解释,都做过爬虫大作业!

    检查网页的元素

     

     找到其标签的特殊点:class和style、id

    对网页的元素进行提取:

    将数据存储到分别建立的两个空列表中(只需要提取前5个)

    各个部分已经编写完毕,下面编写主函数 

     我采用数据可视化的方法是绘制饼状图

    startangle=90的意思是从90度的地方开始画第一条线

    shadow=True的意思是保留阴影

    explode的意思是控制某一块“饼”是否弹出,这里我不弹出,弹出来不太好看

    autopct的意思是建立化成百分数

    最后成果是(以2019年为例):

     反思:

    1.在完成这个大作业的时候,最难的部分在于寻找数据,找到了很多统计网站上面的数据,上面很多的数据并不是直接用HTML或者是CSS直接写在网页上的,有很多是直接已经可视化好了的,很不方便提取(也可能是自己水平不够),只好选择了一个简单一点的网站进行爬取和分析。

    2.这个分别分析了年份、大学排名和发表的论文数。

    3.在这个统计过程中我只统计了前五名大学的统计数据,可是这样是否可以反映出什么情况还有待商榷

    还有哪些提高:

    还可以形成如同地图一样的图表,并且各个国家的优秀大学数量(可惜我不会,流下没有技术的泪水o(╥﹏╥)o)

  • 相关阅读:
    【译文】不是所有的 bug 都值得修复的
    11月第5周业务风控关注|重磅!瓜子二手车“遥遥领先”被罚天价1250万
    AutoCAD .NET二次开发(四)
    AutoCAD .NET二次开发(三)
    ArcGIS10.2下调试10.1的程序
    再遇1402,注册表权限问题
    ArcGIS Add-in——自动保存编辑
    只打开一个子窗体
    获取编辑器两种方法
    Adobe Acrobat Pro 11安装激活
  • 原文地址:https://www.cnblogs.com/AhugeCat/p/12840064.html
Copyright © 2011-2022 走看看