zoukankan      html  css  js  c++  java
  • MATLAB 大数据剔除坏值

    在用MATLAB进行数据分析的时候,坏点对正确结果的影响比较大,

    因此,我么需要剔除野点,对于坏值的剔除,我们

    利用  3σ准则 剔除无效数据;

    3σ准则又称为拉依达准则,它是先假设一组检测数据只含有随机误差,对其进行计算处理得到标准偏差,按一定概率确定一个区间,

    认为凡超过这个区间的误差,就不属于随机误差而是粗大误差,含有该误差的数据应予以剔除。且3σ适用于有较多组数据的时候。

    这种判别处理原理及方法仅局限于对正态或近似正态分布的样本数据处理,它是以测量次数充分大为前提的,
    当测量次数较少的情形用准则剔除粗大误差是不够可靠的。因此,在测量次数较少的情况下,最好不要选用准则,而用其他准则。
    在正态分布中σ代表标准差,μ代表均值。x=μ即为图像的对称轴
    3σ原则为
    数值分布在(μ-σ,μ+σ)中的概率为0.6826
    数值分布在(μ-2σ,μ+2σ)中的概率为0.9544
    数值分布在(μ-3σ,μ+3σ)中的概率为0.9974
    可以认为,Y 的取值几乎全部集中在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性仅占不到0.3%.
     
    下面是对一组元素进行坏值剔除的方法:
    >> ave = mean(P);%mean 求解平均值
    >> u = std(P);%求解标准差
    >> for i = 1:6349
    if(abs(P(i)-ave)>3*u)%不符合 3σ准则 , 剔除这个元素
         P(i) = 0;
    else
       continue;
     end
    end
    >> P_ans = P(P~=0);%获取所有非 0 元素 ,是剔除元素 的完整过程
    >> len = length(P_ans);
    >> len
    
    len =
    
            6342

      如果是有多变量作用于一个因变量,那么需要他们几个变量的值都满足    3σ准则;

    运用逻辑运算符号 && 且 , 如果几个变量都满足法则 , 继续向下遍历 ,否则,就让这些变量全都赋值一个合理的剔除标志数 X。

    遍历结束后 , 对于 所有变量进行剔除 X 操作 Ans = a(a~=X); Ans 就是 a 里面所有不为 X 的数重新组成的新数列 , 正确处理后, 几个变量数列剔除元素后长度相同 , 并且相对应的关系没有改变。

  • 相关阅读:
    笔记33 Spring MVC的高级技术——Spring MVC配置的替代方案
    笔记32 SpringMVC中使用静态资源、处理中文乱码
    笔记31——注解
    笔记30 视图解析 ——TilesViewResolver
    笔记29 视图解析 ——InternalResourceViewResolver
    笔记28 接受请求的输入 ——处理表单
    笔记27 接受请求的输入 ——通过路径参数接受输入
    笔记26 接受请求的输入 ——处理查询参数
    笔记25 传递模型数据到视图中
    笔记24 定义类级别的请求处理
  • 原文地址:https://www.cnblogs.com/masterchd/p/7894706.html
Copyright © 2011-2022 走看看