Data

原文链接

数据分析

数据分析是一个大的概念，理论上任何对数据进行计算、处理从而得出一些有意义的结论的过程，都叫数据分析。
从数据本身的复杂程度、以及对数据进行处理的复杂度和深度来看，可以把数据分析分为以下4个层次：数据统计，OLAP，数据挖掘，大数据。

• 数据统计
  数据统计是最基本、最传统的数据分析，自古有之。是指通过统计学方法对数据进行排序、筛选、运算、统计等处理，从而得出一些有意义的结论。
  举例，对全年级学生按照平均成绩从高到低排序，前10%的学生可以获得申请研究生免试资格。

• OLAP
  联机分析处理(On-Line Analytical Processing，OLAP)是指基于数据仓库的在线多维统计分析。它允许用户在线地从多个维度观察某个度量值，从而为决策提供支持。
  举例，学校招生时要决定今年在江苏的招生指标，不能简单地参照去年的计划，而是要参考多个维度的数据积累。学校要在这些数据的支持下做出合理的决策。

• 数据挖掘
  数据挖掘是指从海量数据中找到人们未知的、可能有用的、隐藏的规则，可以通过关联分析、聚类分析、时序分析等各种算法发现一些无法通过观察图表得出的深层次原因。
  举例，学校发现高等数学等主干课的不及格率有逐年上升的趋势，一般认为是学习不认真所致，但做了很多工作效果并不明县，这时通过数据挖掘……

• 大数据
  大数据是指用现有的计算机软硬件设施难以采集、存储、管理、分析和使用的超大规模的数据集。
  大数据具有规模大、种类杂、快速化、价值密度低等特点(4V特性)。大数据的“大”是一个相对概念，没有具体标准，如果一定要给一个标准，那么10-100TB通常称为大数据的门槛。

大数据、人工智能与数据科学