【统计学】3.数据的图表展示
学习目标
1.了解数据预处理的内容和目的
2.掌握分类和顺序数据的整理与显示方法
3.掌握数值型数据的整理与显示方法
4.用数据分析软件作频数分布表和图形（实验课）
5.合理使用图表
3.1 数据的预处理
数据的预处理是对数据分类或分组之前所做的必要处理
3.1.1 数据审核
检查数据中的错误
数据审核——原始数据（raw data）
1.完整性审核
- 应调查的单位或个体是否有遗漏
- 所有的调查项目或变量是否填写齐全
2.准确性审核
- 数据是否真实反映实际情况，内容是否符合实际
- 数据是否有错误，计算是否正确，是否有明显异常值等
数据审核——二手数据（second hand data）
1.适用性审核
- 弄清楚数据的来源，数据的口径以及有关的背景材料
- 确定数据是否符合自己分析研究的需要
2.时效性审核
- 尽可能使用最新的数据
3.确认是否有必要做进一步的加工整理
3.1.2 数据筛选
找出符合条件的数据
数据筛选（data filter）
根据需要找出符合特定条件或目的的某类数据
数据筛选的内容
- 将某些不符合要求的数据或有明显错误的数据予以剔除
- 将符合某种特定条件的数据筛选出来，而不符合特定条件的数据予以剔除
3.1.3 数据排序
升序和降序
寻找数据的基本特征
数据排序（data rank）
数据排序指的是按一定顺序将数据排列，以发现一些明显的特征或趋势，找到解决问题的线索
- 1.排序有助于对数据检查纠错，以及为重新归类或分组等提供依据
- 2.在某些场合，排序本身就是分析的目的之一
- 3.排序可借助于计算机完成
数据排序（方法）
1.分类数据的排序
- 字母型数据，排序有升序降序之分，但习惯上用升序
- 汉字型数据，可按汉字的首位拼音字母排列，也可按笔画排序，其中也有笔画多少的升序降序之分
2.数值型数据的排序
-
递增排序，设一组数据为
-
[x_1,x_2,...x_n ]
递增排序后可表示为
[x_{(1)}<x_{(2)}<...<x_{(n)} ] -
递减排序，可表示为
-
[x_{(1)}>x_{(2)}>...>x_{(n)} ]
3.1.4 数据透视表
按需要汇总
数据透视表
1.可以从负责的数据中提取有用的信息
2.可以对数据表的重要信息按使用者的习惯或分析要求进行汇总和作图
3.形成一个符合需要的交叉表（列联表）
4.在利用数据透视表时，数据源中的首行必须有列标题
3.2 品质数据的整理与展示
数据的整理与显示（基本问题）
1.要弄清所面对的数据类型
- 不同类型的数据，采取不同的处理方式和方法
2.对分类数据和顺序数据主要是作分类整理
3.对数值型数据则主要是作分组整理
3.2.1 分类数据的整理与图示
分类数据的整理（基本过程）
1.列出个类别
2.计算各类别的频数
3.制作频数分布表
4.用图形显示数据
分类数据的整理（可计算的统计量）
1.频数（frequency）：落在各类别中的数据个数
2.比例（proportion）：某一类别数据个数占全部数据个数的比值
3.百分比（percentage）：将对比的基数作为100而计算的比值
4.比率（ration）：不同类别数值个数的比值
分类数据的图示——条形图（bar chart）
用宽度相同的条形的高度或长短来表示各类别数据的图形
1.有单式条形图、复式条形图等形式
2.主要用于反映分类数据的频数分布
3.绘制时，各类别可以放在纵轴，称为条形图，也可以放在横轴，称为柱形图（column chart）
分类数据的图示——帕累托图（pareto chart）
1.按各类数据出现的频数多少排序后绘制的柱形图
2.主要用于展示分类数据的分布
分类数据的图示——饼图（pie chart）
1.也称圆形图，是用圆形及圆内扇形的角度来表示数值大小的图形
2.主要用于表示样本或总体中各组成部分所占比例，用于研究结构性问题
3.绘制圆形图时，样本或总体中各部分所占的百分比用圆内的各个扇形角度表示，这些扇形的中心角度，按各部分数据百分比乘以360确定
环形图（doughnut chart）
1.环形图中间有一个“空洞”，样本或总体中的每一部分数据用环中的一段表示
2.与饼图类似，但又有区别
- 饼图只能显示一个总体各部分所占的比例
- 环形图可以同时绘制多个样本或总体的数据系列，每一个样本或总体的数据系列为一个环
3.用于结构比较研究
4.用于展示分类和顺序数据
3.2.2 顺序数据的整理与图示
顺序数据的整理（可计算的统计量）
1.累积频数（cumulative frequencies）：各类别频数的逐级累加
2.累积频率（cumulative percentages）：各类别频率（百分比）的逐级累加
3.3 数值型数据的整理与显示
3.3.1 数据分组
组距分组
1.将变量值的一个区间作为一组
2.适合于连续变量
3.适合于变量值较多的情况
4.需要遵循“不重不漏”的原则
5.可采用等距分组，也可采用不等距分组
组距分组（步骤）
1.确定组数：组数的确定应以能够显示数据的分布特征和规律为目的。在实际分组时，组数一般为5~15
2.确定组距：组距（Class Width）是一个组的上限和下限之差，可根据全部数据的最大值和最小值及所分的组数来确定，即
组距=（最大值-最小值）/组数
3.统计出各组的频数并整理成频数分布表
组距分组（几个概念）
1.下限（lower limit）：一个组的最小值
2.上限（upper limit）：一个组的最大值
3.组距（class width）：上限与下限之差
4.组中值（class midpoint）：下限与上限之间的中点值
3.3.2 数值型数据的图示
分组数据——直方图和折线图
分组数据——直方图（histogram）
1.用于展示分组数据分布的一种图形
2.用矩形的宽度和高度来表示频数分布
- 本质上是用矩形的面积来表示频数分布
3.在直角坐标系中，用横轴表示数据分组，纵轴表示频数或频率，各组与相应的频数就形成了一个矩形，即直方图
分组数据——直方图
1.条形图是用条形的长度（横置时）表示各类别频数的多少，其宽度（表示类别）则是固定的
2.直方图是用面积表示各组频数的多少，矩形的高度表示每一组的频数或百分比，宽度则表示各组的组距，其高度与宽度均有意义
3.直方图的各矩形通常是连续排列，条形图则是分开排列
4.条形图主要用于展示分类数据，直方图则主要用于展示数值型数据
未分组数据——茎叶图和箱线图
未分组数据——茎叶图（stem-and-leaf display）
1.用于显示未分组的原始数据的分布
2.由“茎”和“叶”两部分构成，其图形是由数字组成的
3.以该组数据的高位数值作为树茎，低位数字作为树叶
4.树叶上只保留最后一位数字
5.茎叶图类似于横置的直方图，但又有区别
- 直方图可观察一组数据的分布状况，但没有给出具体的数值
- 茎叶图既能给出数据的分布状况，又能给出每一个原始数值，保留了原始数据的信息
- 直方图适用于大批量数据，茎叶图适用于小批量数据
