数据科学家之路——数据预处理技术基础
2018-10-24 16:06:52 洪远 阅读数 108451更多
分类专栏： 数据科学家之路
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hy592070616/article/details/83344817
分类目录：《数据科学家之路》总目录
现实世界中数据大多都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量，我们一般会在对数据建模前对数据进行预处理。数据预处理的过程主要包括：数据质量分析、数据审计、数据清洗、数据集成、数据变换、数据脱敏、数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。本文将介绍数据预处理技术的一些基本步骤，让读者对数据预处理技术有个大体的了解，后文会分别详细介绍数据预处理不同阶段的各个技术。
数据质量分析
数据质量分析处于数据预处理的前期，属于数据探索性分析阶段。数据质量分析主要从数据的正确性、完整性、一致性等方面进行考察
数据审计
原始数据应主要从完整性和准确性两个方面去审核。完整性审核主要是检查应调查的单位或个体是否有遗漏，所有的调查项目或指标是否填写齐全。准确性审核主要是检查数据资料是否真实地反映了客观实际情况，内容是否符合实际，并且检查数据是否有错误，计算是否正确等。审核数据准确性的方法主要有逻辑检查和计算检查。
逻辑检查主要是审核数据是否符合逻辑，内容是否合理，各项目或数字之间有无相互矛盾的现象，此方法主要适合对定性数据的审核。
计算检查是检查调查表中的各项数据在计算结果和计算方法上有无错误，主要用于对定量数据的审核。 比如，在对房地产售价数据进行数据审计时，往往会出现【建筑面积 * 单价 ≠ 总价】的情况，其原因是房地产公司在实际销售时往往会有面积赠送、半价面积区域等情况，我们在做数据审计时找到这些问题，探寻其原因，为接下来的数据清洗等步骤打好基础。
对于通过其他渠道取得的二手资料，除了对其完整性和准确性进行审核外，还应该着重审核数据的适用性和时效性。二手资料可以来自多种渠道，有些数据可能是为特定目的通过专门调查而获得的，或者是已经按照特定目的需要做了加工处理。对于使用者来说，首先应该弄清楚数据的来源、数据的口径以及有关的背景资料，以便确定这些资料是否符合自己分析研究的需要，是否需要重新加工整理等，不能盲目生搬硬套。此外，还要对数据的时效性进行审核，对于有些时效性较强的问题，如果取得的数据过于滞后，可能失去了研究的意义。一般来说，应尽可能使用最新的统计数据。数据经审核后，确认适合于实际需要，才有必要做进一步的加工整理。综上所述，数据审核的内容主要包括以下四个方面：
- 准确性审核：主要是从数据的真实性与精确性角度检查资料，其审核的重点是检查调查过程中所发生的误差。
- 适用性审核：主要是根据数据的用途，检查数据解释说明问题的程度。具体包括数据与调查主题、与目标总体的界定、与调查项目的解释等是否匹配。
- 及时性审核：主要是检查数据是否按照规定时间报送，如未按规定时间报送，就需要检查未及时报送的原因。
- 一致性审核。主要是检查数据在不同地区或国家、在不同的时间段是否具有可比性。
对审核过程中发现的错误应尽可能予以纠正。调查结束后，当数据发现的错误不能予以纠正，或者有些数据不符合调查的要求而又无法弥补时，就需要对数据进行筛选。数据筛选包括两方面的内容：
- 将某些不符合要求的数据或有明显错误地数据予以剔除
- 将符合某种特定条件的数据筛选出来，对不符合特定条件的数据予以剔除。
数据的筛选在市场调查、经济分析、管理决策中是十分重要的。
数据排序是按照一定顺序将数据排列，以便于研究者通过浏览数据发现一些明显的特征或趋势，找到解决问题的线索。除此之外，排序还有助于对数据检查纠错，为重新归类或分组等提供依据。在某些场合，排序本身就是分析的目的之一。排序可借助于计算机很容易的完成。
数据清洗
数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清洗”数据。主要是达到如下目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。
数据集成
数据集成例程将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。
数据变换
通过平滑聚集，数据概化，规范化等方式将数据转换成适用于数据挖掘的形式。
数据归约
数据挖掘时往往数据量非常大，在少量数据上进行挖掘分析需要很长的时间，数据归约技术可以用来得到数据集的归约表示，它小得多，但仍然接近于保持原数据的完整性，并结果与归约前结果相同或几乎相同。