zoukankan      html  css  js  c++  java
  • 数据的标准化处理及实际应用

    转:http://www.datasoldier.net/post/standard.html#6751916-tsina-1-56599-e0502dfbeb854be61cee4792d7b07761

    数据标准化处理是 数据挖掘 的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标即处于同一数量级,适合进行综合对比评价。

    极差法

    极差法是对原始数据的线性变换,首先计算指标值得最小值、最大值,计算极差,通过极差法将指标值映射到[0-1]之间。公式为:

     新数据=(原数据-极小值)/(极大值-极小值)

    image

    Z-score 标准化法

    SPSS默认的数据标准化方法即是Z得分法,这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1。公式为:

    image

    其中μ为所有样本数据的均值,σ为所有样本数据的标准差。

    数据标准化的另外一个实用之处

    在实际应用中,数据标准化不只是用于指标的可比性处理,还有一些非常实用的用处,利用标准化方法将指标归到最适于我们观测的范围,更加直观。且看案例:

    有一组数据,是学生参加某次社会公益活动的数据,其中有一指标为:在校综合评价指数,反映学生在校综合表现水平。

    image

    image

    可以看出这个指标的范围为[0-140],但这个范围不太符合我们在学校里的习惯,在学校里经常用[0-100]的百分制,60分以上基本认可为及格,现在这个范围不能直观的反映学生在校表现水平。此时,极差法是一个非常好的选择,我们可以将[0-140]数值,映射到[0-100],便于直观对比学生的表现。

    公式为:(原数据-极小值)/(极大值-极小值)*100

    我们再来看看结果:

    image

    此时,[0-100]的范围非常符合我们日常的比较标准,能直观的反映学生的在校综合表现,已经达到目的。

  • 相关阅读:
    数据清洗
    JAVA多线程三种实现方式
    QT-4.8.6 编译配置过程
    qt 编译问题总结
    [转载]tslib1.4与Qt4.8.6的交叉编译与移植
    STC12C5A60S2 @ 22.0184Mhz 精确延时
    STC12C5A60S2 双串口通信
    C# Bitmap 复制
    TextMate2 最新版下载及源码编译过程
    mac系统 PHP Nginx环境变量修改
  • 原文地址:https://www.cnblogs.com/guolei/p/3374689.html
Copyright © 2011-2022 走看看