zoukankan      html  css  js  c++  java
  • 《异常检测》

    一、基本原理

    1. 异常检测(Anomaly Detection或Outlier Detection)指的是通过数据挖掘手段识别数据中的“异常点”,如网络通信领域发现异常信息流。

    二、可用方法

    1. 常见的算法:

      • 概率与极值分析(假设数据分布并找到超过中心特定范围的数据)
      • 线性模型(如PCA计算重构误差或者分析协方差矩阵的)
      • 相似度模型(如ABOD,LOF、LOCI、LOOP和kNN等)
      • 决策树集成(Isolation Forest、Feature Bagging)
      • 基于SVM的方法如One-class SVM
      • 基于神经网络的算法(用auto-encoder计算重构误差)
    2. 基于统计学的方法

      • 3σ准则
      • Grubb's test
    3. 基于距离的检测

      • KNN
      • 夹角(余弦)
      • LOF
      • COF
    4. 线性模型

      • PCA
    5. 非线性模式

      • RNNs(Replicator Neural Networks)
    6. iForest 算法

    三、可用的工具,调研试验中:

    1. Stats&Bots:https://blog.statsbot.co/time-series-anomaly-detection-algorithms-1cef5519aef2
    2. 时序DB Prometheus: https://prometheus.io/
      搭配 Grafana框架: https://grafana.com/
    3. weka工具,自带机器学习算法实现

    参考链接:https://www.zhihu.com/question/280696035

  • 相关阅读:
    Mac brew命令踩坑
    Git 使用总结
    idea debug的使用技巧和快捷键
    pv、uv、ip,tps、qps、rps术语
    MySQL进阶(八)MySQL表设计原则
    反射机制
    Gradle 依赖关系中 compile和 implementation的区别
    HashMap的最大容量为什么是2的30次方?
    深入理解SELECT ... LOCK IN SHARE MODE和SELECT ... FOR UPDATE
    $.query.get()
  • 原文地址:https://www.cnblogs.com/cx2016/p/13211335.html
Copyright © 2011-2022 走看看