zoukankan      html  css  js  c++  java
  • 时间序列数据如何插补缺失值?

     当然第一步仍然是判断是Missing at Random 还是Missing Not at Random,一般前者删除,后者插补。但是插补不一定能带来更好结果,要先自己根据缺失比例,和原因判断。

    1、就近插补:前推法LOCF, 替换为缺失之前的最后一次观测值,与后推法NOCB, 使用缺失值后面的观测值进行填补。这个是时序当中最基本的方法,当然还有用Baseline Observaton, 或者啥Worst observation,目前生科实验好像有用。

    2、线性插值:这个也是历史悠久方法, 假定时序之间变动有很强的趋势。早期天文学缺失数据都用这个方法。

    3、季节性+线性插值: 经济数据或者季节波动数据,采用这样的方法。同时具备季节性和总体趋势性,很多季节、气候变动相关数据都可以。

    4、均值中位数众数,没有考虑时序因素。但是假如你认为时序数据里面基本没有很强趋势,也是可以的。当然里面也还有 比如Conditional Mean这样改进方法。

    5、多值插补/机器学习: Multiple Imputation , Expectation-Maximization , Nearest Neighbor ,和 Hot Deck 方法,这些方法都依赖于缺失数据不同属性间关系,寻找最类似样本。如果使用R的话,mice, VIM, AMELIA等都可以用来插补,但是这个必须是多变量时序。如果单变量时序,无法找不同属性关联,用ImputeTS, 然后zoo, 或者forecast。

    6、当然还要区别分类还是数值,如果类别变量,NA直接可以划分新分类。

    除了这些统计方法, 我想每个领域里面缺失值都肯定还要借鉴专业知识来判断。比如以国家军费缺失数据为例,如果你知道因为战乱带来的缺失。那么战时数据比和平年代数据就更合适,很简单就近填补。

    然后插补不同学科可能都有默认或者建议的方法,比如社会学或者人口学无应答问卷数据,大量采用hotdeck,就是假定类似用户类似行为,US Census Bureau也在用。

    气候数据,看到有的文章在研究气候变化时采用Expectation-Maximization algorithm,R里面mtsdi见这篇文章 Imputation of missing data in time series for air pollutants。当然python的话里面也有很多。

    最后,插补数据方法上如果你对数据生成机制很熟悉的情况下,可能一些简单方法就可以。对于本身纯粹依赖算法,不能给出解释机制的插补有疑虑。为什么说要增加专业知识判断,因为缺失本身表明这些样本信息不足, 专业知识判断就相当于额外增补信息。

    链接:

    https://www.zhihu.com/question/355799116/answer/1574303138

     

    https://github.com/xinychen/transdim

     

     

  • 相关阅读:
    HTTP协议
    javascript常用数组排序及二分查找
    垃圾回收与内存管理
    js的数据存储机制和数据类型
    js中的深复制与浅复制
    斐波那契数列的实现
    认识python中的浅复制与深复制
    微信浏览器中弹窗高度适配
    “ 时,分,秒” 活动倒计时
    互联网协议
  • 原文地址:https://www.cnblogs.com/emanlee/p/14369858.html
Copyright © 2011-2022 走看看