Evernote Export
【数据分析师 Level 1 】2.描述性统计分析
描述性统计分析
数据的计量尺度和具体的统计方法息息相关，大致分为3类，分别是名义测量、次序测量和连续变量测量。这三类测量分别对应三种变量类型，即分类变量，顺序变量和数值变量。连续变量测量可以进一步细分为间距测量和比率测量。间距测量和比率测量这两种测量，统计软件通常不做区分，大部分的模型都适用
- 名义测量（nominal measurement）是最低的一种测量等级，也称定名测度。其数值仅代表某些分类或属性。比如，用来表示性别（1或2）和民族（1、2、3）等。这类变量一般不做高低、大小区分。
- 次序测量（ordinal measurement）的量化水平高于名义测量，用于测量的数值代表了一些有序分类。比如，用来表示受教育程度高低的数字（1、2、3..）具有一定的顺序性
- 间距测量（interval measurement）的量化程度更高一些，它的数值不再是类的编码，而是采用一定单位的实际测量值。可以进行加减运算，但是不能进行乘除运算，因为测量等级变量所取得“0”值，不是物理上的绝对“0”。比如，考试成绩的零分，不能说这个学生一点英语能力没有
- 比率测量（ratio measurement）是最高级的测量等级，它除了具有间距测度等级的所有性质外，其0值具有物理上的绝对意义，而且可以进行加减乘除运算，例如增长率、收入等。
数据描述
分类变量
对于分类变量，通常可以检查变量的众数、分类取值的百分比间的差别大小，有无太小的比例（异常值），主要的统计量如下：
- 频次/频数：每个水平出现的次数；
- 百分比：每个水平出现的频数除以总数；
- 累积频次与累积百分比：仅对于次序型变量有意义，分别计算累积频次和百分比
顺序变量
对于顺序变量，通常检查数据的众数、频次、百分比、累积频次与累积百分比、四分位差等。
连续变量
对于连续变量，通常检查中心水平、离散程度、偏度和峰度4个方面
值得注意的是分类变量、顺序变量、连续变量的量化水平是由低到高的，低水平变量的统计量可以用于高水平，但是高水平变量的统计量不一定能用于低水平。例如分类变量的统计量可以用于连续变量，但反之则不一定成立。
连续变量——中心水平
能代表集中趋势，代表“中心”概念的可选统计量有均值、中位数和众数
众数：用于测量分类数据（顺序、数值型数据）的集中趋势,出现次数最多的变量值，一组数据可能没有众数或有几个众数。例如：数据 [23,4,4,5,5,7,8,23,78]，其中4和5出现了两次，则4和5都是众数
中位数：排序后处于中间位置上的值，这里需要注意的是，一定要先排序
M={x2
n+1,2
1{x2n+x(2n+1)},n为奇数n为偶数
这里的n表示数据数量
Error occurred on encoding katex: KaTeX parse error: KaTeX parse error: Expected 'EOF', got '例' at position 1: 例̲如，数据1，2，6，5，4，3…
**四分位数：**是另外一套表达变量位置信息的手段，其定义方式类似于中位数。中位数本身就是变量从大到小排序后，50%对应的变量取值，如图
这里的Q1称为下四分位数，Q3称为上四分位数，Q2就是中位数
连续变量——中心水平（算数平均数）
样本平均数
x=nx1+x2+...+xn=n∑i=1nXi
总体平均数
μ=Nx1+x2+...+xN=N∑i=1Nxi
Error occurred on encoding katex: KaTeX parse error: KaTeX parse error: Expected 'EOF', got '这' at position 1: 这̲里的是样本数据量，N是总体数据…
连续变量——中心水平（加权平均数）
样本加权平均
x=f1+f2+...+fkx1f1+x2f2+...+xkfk=n∑i=1k
总体加权平均
μ=f1+f2+...+fkx1f1+x2f2+...+xkfk=N∑i=1kxifi
Error occurred on encoding katex: KaTeX parse error: KaTeX parse error: Expected 'EOF', got '这' at position 1: 这̲里的x_1 x_2 ...x_…
连续变量——中心水平（几何平均数）
适用于计算比率数据的平均，主要用于计算平均增长率
G=nx1×x2×...×xn
=ni=1∏nxi
各个中心水平度量的比较
众数和中位数不易受到极端值得影响，平均数容易受到极端值得影响。众数和中位数适合在非对称情况下使用，众数不是唯一的。
在统计整体样本数据或者趋势的时候，要让数据达到真实状态，对于评估指标，众数和中位数不会参与极端值影响，平均数容易受到极端值影响，如果分布是对称的，平均数就比较有意义
连续变量——离散程度
知道一个变量的“中心”水平统计量之后，还想知道这个指标到底有多大的代表性。如果这个变量的变化范围非常小，甚至是常数，那么这个水平变量就非常有代表意义；如果这个变量的变化范围非常大，那么水平指标的代表性就相对下降。如下表所示，列出了5个常用的离散程度度量指标。
| 离散程度度量指标 | 定义 |
|---|---|
| 异众比率 | 非众数组的频数占总频数的比例 |
| 极差 | 最大值减最小值 |
| 四分位差 | 上分位数减下分位数 |
| 方差 | 测量变量取值偏离自身均值的程度 |
| 标准差 | 方差开根号（和变量原有取值具有同样的量纲） |
Error occurred on encoding katex: KaTeX parse error: KaTeX parse error: Expected 'EOF', got '异' at position 1: 异̲众比率公式：r=frac{…
方差在统计学中也称为二阶中心距，实际是该变量每个取值到均值之间的距离均值。方差在很多参数统计的推导公式中出现，但是实际描述性统计中使用的不多，主要是方差的单位比较特殊，不容易理解。标准差是描述分析中使用最多的，因为标准差的单位和原始变量相同。
总体方差是使用最广的判断离散程度的，自由度指附加给独立观测值的一种约束条件，或者是限制个数，自由度是一组数据中科院自由取数的个数
样本方差分母使用n-1的原因：
Error occurred on encoding katex: KaTeX parse error: KaTeX parse error: Expected 'EOF', got '我' at position 1: 我̲们计算离差平方和时，必须要求出…
当我们用样本方差去估计总体方差的时候，我们说是总体方差的无偏估计量
连续变量——偏度
偏度用来刻画偏态的程度。偏态有两种情况：一种是如下图所示（左边）的左偏，该变量在负的方向部分严重拖尾，另一种是如下图所示（右边）的右偏，在正的方向部分严重拖尾。在实际经济和商业数据分析中，右偏是比较普遍的状态。比如，地区的居民收入、客户购买产品的数量、金额和保险理赔额。
连续变量——峰度
峰度反应的是变量向两边拖尾的情况，相比正态分布而言，如果一个变量是尖峰的，则必然会导致两边拖尾情况更严重，反映到统计学中就会出现超过2倍标准差数值的概率会大于5%，超过3倍标准差数值的概率会大于1%，这表明出现较大偏离值的可能性就提高了。资产收益率的峰度在金融研究中是比较受到关注的，这表明了该资产的风险分布情况，尾越厚，风险越大。
正态分布的峰度系数是为0的，大于0的时候就是尖峰分布，小于0的就是扁平分布
统计图形
条形图
条形图是一个很好展现变量分布情况的方式，但是连续变量不可能做出条形图，因为连续变量如果精度足够大的话，每个取值出现的频数应该只有一次。但是可以采用将连续变量分箱的方法做直方图。这样，每个柱代表一个分箱，柱高为在这个分箱中的取值出现的次数或百分比，分箱的数量和间隔可以自定义，如下图所示：
盒须图
盒须图（又称为箱线图）相对于直方图而言，提供的信息更精炼。它提供了中位数、均值、上下分位点的信息，这不但可以了解变量的中心水平，还可以了解变量的变化范围。其中需要说明的是最大值和最小值，它们不是变量的最大值和最小值。如图，以盒须图中的最小值为例，从上分位点加上1.5倍的内分位距（IQR），该变量在这个范围内的最大值被称为最大值，超过1.5倍的内分位距的取值被称为离群值（异常值）。
玫瑰图
玫瑰图又称为南丁格尔玫瑰图。南丁格尔（Floarence Nightinggale），英国护士和统计学家，1883年，南丁格尔撰写影响英国军队健康，效率和医院管理的资料中，她创造了一个非凡的原创图形展示方式（如下图所示），这张图显示了人们在1854年7月至次年年底期间死亡的情况
南丁格尔玫瑰图类似于饼图的变形，它可以用转角、扇形面积、以及颜色展现数据的不同维度。
例题精讲
1.在相同或近似相同的时间点上收集的数据称为（）
A.观测数据
B.实验数据
C.时间序列数据
D.截面数据
截面就是数据中某一个时间的截断的数据，称为时间截面
答案：D
解析：A项观测数据指通过调查或观测而收集到的数据；B项实验数据是通过实验中控制实验对象以及所处的实验环境不同而收集的数据；C项时间序列数据指在不同时间点上收集到的数据
2.只能归于某一有序类别的非数字型数据称为（）
A.数值型数据
B.数值型变量
C.顺序数据
D.分类数据
答案：C
解析：AB项都属于数字型的数据；D项数据代表一些无序类别；所以答案应该选择C
3.下列哪一个变量属于分类变量？
A.年龄
B.工资
C.成绩等级（优、良、中、差）
D.购买商品时的支付方式（现金、信用卡、支票）
答案：D
解析：AB项属于数值型变量；C项容易混淆，成绩本身属于数值型变量，划分为等级后就代表了某一类别，但此时由于成绩等级有优劣关系，所以其属于顺序变量，而非分类变量。
4.落在某一特定类别或组中的数据个数称为（）
A.频数
B.频率
C.频数分布表
D.累积频数
答案：A
解析：B项频率由某一类的频数除以总频数得到；C项频数分布表是将各组的观测值个数形成的表格形式；D项累积频数是将各有序类别或组的频数逐级累加起来得到的频数
5.将比例乘以100得到的数值称为（）
A.频数
B.百分数
C.比率
D.比例
答案：B
6.作为电商企业，以下哪个图可以有效的提供不同商品的销售和趋势情况？
A.饼图
B.分组直方图
C.气泡图
D.条形图和线图的组合图
答案：D
解析：不同商品的销售状况，一般是通过数量或金额的排名获得，条形图的计数和百分比可以表达这个信息，而趋势通常看折线图，所以选D。饼图适合描述结构性问题，直方图用于观测字段分布，气泡图用于观测字段间的相关。
7.非众数组的频数占总频数的比例称为（）
A.异众比率
B.离散程度
C.方差
D.极差
答案：A
解析：B项是个概念统称，用来衡量指标的代表性程度；C项方差指各变量值与其平均数离差平方的平均数；D项极差指一组数据的最大值和最小值之差
8.如果一个数据的标准分数是-3，表明该数据（）
A.比平均数高出3个标准差
B.比平均数低3个标准差
C.等于3倍的平均数
D.等于3倍的标准差
答案：B
解析：标准分数用公式表示为 z=σ(x−μ) ,其中z为标准分数，x为某一原始具体分数，μ 为平均数, σ为标准差。z代表着原始分数和平均值之间的距离，是以标准差为单位计算得到。在原始数据的分数丢平均值时为负数，反之为正数。
9.由经验法则，当一组数据成对称分布时，在平均数加减2个标准差的范围内大约有（）
A.68%的数据
B.95%的数据
C.99%的数据
D.100%的数据
答案：B
解析：当一组数据对称分布时，经验法则表明：约有95%的数据在平均数±2个标准差的范围之内，±1是68%，±3个标准差是99%
10.峰态通常是与标准正态分布相比较而言的，如果一组数据服从正态分布，则峰态系数的值（）
A.等于0
B.大于0
C.小于0
D.等于1
答案：A
解析：峰态系数即“峰度”。正态分布的峰度为0，其他分布的峰度是以正态分布为标准描述该分布密度形状为陡峭或平坦的数字特征，对于偏度来说也是一样的，偏度为0也是正态分布
11.关于方差下列理解正确的是（）
A.一组身高数据中，方差越大说明高个和矮个身高相差越大
B.一组身高数据中，方差越大说明高个距离均值与矮个距离均值的距离一样远
C.一组身高数据中，方差越大说明均值提供的信息就越多
D.一组身高数据中，方差越大说明均值被虚高的可能就越大
答案：A
解析：BCD都错在没有很好理解均值与方差的关系。方差大有三种情况，左偏、右偏（D项说明此项）和分布对称并峰度平缓（BC项说明此项），其中C项说法错误的原因是均值在此刻已经是虚假的统计量了，所以只有A项中的说法在三种情况中成立
12.对于一个右偏的频数分布，一般情况下（）的值最大
A.中位数
B.众数
C.算数平均数
D.无法判断
答案：C
解析：右偏--右拖尾--positive Direction 众数 <中位数 <均值
左偏--左拖尾--Negative Direction 均值 <中位数 <众数
13.现有甲、乙两组数据，如果甲的方差大于乙的方差，那么我们可以认为（）
A.甲的离散程度高于乙的离散程度
B.乙的离散程度高于甲的离散程度
C.甲乙的离散程度没有区别
D.无法比较甲乙的离散程度
答案：D
解析：方差只能度量离散程度，不能用于比较两组不同数据的离散程度
14.下列哪些数字特征容易受到极端值影响（）
A.算数平均数
B.中位数
C.极差
D.四分位差
答案：AC
15.某集团旗下拥有10家子公司，现正进行第一季度的数据分析工作，某一季度利润额（单位：万元）分别为 30,29.60，20,55,43.7,72,27,23,54.54,24.6，现计算该组数据的中位数为（）
A.38.84
B.57.85
C.31.00
D.28.12
答案：C
16.某公司对新员工进行计算机水平测试，新员工的测试结果平均得分是80分，标准差是5分，假设新员工得分的分布是未知的，则得分在65~95分的新员工至少占（）
A.75%
B.89%
C.94%
D.95%
答案：B
解析：当一组数据不是对称分布，经验法则就不再适用，这时可使用切比雪夫不等式，它对任何分布形状的数据都适用，根据不等式定义，至少有(1−k21)
的数据落在±k个标准差之内。其中k是大于1的任意值，但不一定是整数，由题可知，65~95分落在3个标准差区间，此时k=3，则不等式含义是：至少有89%的数据在平均数±3个标准差的范围内
17.某公司对新员工进行计算机水平测试，新员工的测试结果平均得分是80分，标准差是5分，中位数是85分，则新员工得分的分布形状是（）
A.对称的
B.左偏的
C.右偏的
D.无法判断
答案：B
解析：改组数据中由于中位数大于平均数，所以可以确定分布情况是左偏分布
18.在比较两组数据的离散程度时，不能直接比较它们的标准差，因为两组数据的（）
A.方差差不同
B.标准差不同
C.数据个数不同
D.计量单位不同
答案：D
解析：由于计量单位不同，两组数据不在同一个维度之下，数据分布也会因单位而异，所以无法直接比较
19.对于时间序列数据，用于描述其变化趋势的图形通常是（）
A.条形图
B.直方图
C.箱线图
D.折线图
答案：D
20.气泡图主要用于描述（）
A.两个变量之间的相关关系
B.三个变量之间的相关关系
C.两个变量的对比关系
D.三个变量的对比关系
答案：B
解析：气泡图（bubble chart）可用于描述三个变量之间的相关关系，它与散点图类似，绘制时将一个变量放在横轴，另一个变量放在纵轴，而第三个变量则用气泡的大小来表示