论文笔记 无监督与混合IDS

介绍

• 本文关注无监督混合IDS技术

• 讨论了特征提取，构造选择技术在学习过程中的重要作用

• 我们发现了有关当前IDS的未解决问题，并讨论了这种系统如何从简单的检测演变为关联和归属，以便能够有效应对APT，定向攻击，数据泄露等威胁

• 为了揭露攻击者身份，讨论了据我们所知，我们是第一个讨论从入侵检测阶段产生的指标相关性的概念，最终目的是揭示攻击者的身份

• 确定了不属于四种已知IDS攻击类别中的任何一种的现代攻击

入侵检测背景

入侵检测系统的一般分类：

入侵检测实现方法

​ 通过实现方法的不同，IDS分为两类

• 基于主机的IDS（HIDS）：在主机上布置本地代理，其检测恶意程序的来源是应用程序的日志。其优点是可以处理通常非常有用的高质量数据。 但是，在本地处理数据时，处理审计跟踪可能会对主机的性能产生重大影响。且仅限于单个主机。

• 基于网络的IDS (NIDS) ： 与HIDS相比，他具有以下优点

  （1）由于不像HIDS一样基于日志，更能抵抗攻击

  (2) 操作系统和平台无关，这意味着相同的NIDS可以在任何平台上运行而无需进行任何修改

  (3) 它不会影响网络的性能，因为它不会通过简单地监视和处理来增加网络流量的开销

  ​ IDS的理想特性之一就是实时性，而由于暗网以及VPN等技术的应用，当IDS执行“深度数据包检查”（DPI）时，费时费力且实现可能性很低，对此，基于流的NIDS仅检查数据包头，可提高性能，适合此情况。NIDS并非没有缺点，主要缺点是网络可伸缩性，即NIDS随着网络大小和复杂性而调整的能力。

检测机制

​ 检测机制可分为三类：

• 基于误用或签名

• 基于异常行为

  异常检测是指在数据集中识别不符合“正常”行为的实例的问题。 如果与“正常”行为的偏差超过预定或动态计算的阈值，则该行为被视为异常或异常值。 异常不一定对应于攻击，而是可疑。 基于异常的IDS不依赖于先前定义的模式，而是旨在对正常的行为/流量建模以检测异常，因此它们能够检测已知和未知的攻击。 这样做的代价是它们产生的高误报率。

• 基于滥用或签名：这种方法会维持一个与已知攻击相对应的预定义签名模式数据库，将其与审核数据比较来执行检测，其误报率低，成为按行业首选。这种方法的检测性能与数据库质量呈正相关，无法检测未知攻击。且需要人类专家手动更新，因此其成本会随着尺寸的增加而增加。

基于异常的入侵检测系统

​ 基于异常的IDS可以根据其使用的方法分为以下几类：统计的，有监督的（分类），无监督的（聚类和异常检测），软计算，本文将重点介绍无监督和基于混合的系统，同时简要介绍受监督的技术。

​ 聚类算法即在没有任何先验知识的情况下，将给定的数据划分为相似度较高的各个簇，其前提条件是数据集中正常实例数量远超异常数量。在此算法下，恶意流量将形成较小的集群或离群值，基于此可确定哪些流量时恶意的。

体系结构

​ 就体系结构的不同，IDS分为以下三类：

• 集中式：集中式IDS由跨网络的多个传感器组成，这些传感器监视数据并将数据发送到中央处理器（CPU），在该处理器中对收集的数据进行分析并进行检测。 这种架构有两个主要缺点。 首先，它不提供网络可伸缩性，这意味着随着网络的扩展，CPU过载，在某些时候可能无法跟上工作量。 其次，一个CPU构成系统的单点故障（SPoF）。
• 分散式：在此架构中，多个传感器和多个处理单元遵循分层结构分散在整个网络中。 所收集的数据将发送到最近的处理单元，在对它们进行处理之前将其最终处理到主处理单元。 这样，可以避免SPoF和可伸缩性问题。 由于进行了预处理，因此系统的性能也得到了提高。
• 分布式：同时充当传感器和处理单元的多个自治代理。 数据由代理收集和处理，代理通过对等（P2P）体系结构相互通信。 在这种体系结构中，没有主处理器或CPU，并且处理工作量分布在所有代理之间，从而提高了系统的性能和可伸缩性

评估方法

• 混淆矩阵，也称为误差矩阵，是一种可视化实际结果与预测结果之间关系的方法。 它主要用于监督学习中以评估分类器的预测准确性。 该表的每一行对应于分类器预测的结果，而每一列则对应于实际结果。
• 准确度考虑了真实的正面和负面因素，并定义为正确分类的样本与实例总数的比率
• 灵敏度，也称为真实阳性率（TPR），是正确分类为阳性样品的比例。 相反，专一性或真实负利率（TNR）衡量正确分类为负面的实例的比例。 同样，误报率（FPR）代表被错误识别为异常的样本比例。
• 接收器工作特性（ROC）是最初在信号处理理论中使用的一种技术，用于针对不同的参数设置将TPR与FPR进行可视化。 它描述了收益（真实肯定）与成本（错误肯定）之间的相对权衡。

主要的攻击类别

• 拒绝服务（DoS）：在DoS攻击中，目标系统被大量来自单个连接的请求所淹没，直到目标的所有资源都被用尽，从而不再能够处理合法请求。 以Dos为掩护，攻击者还可以进行其他攻击。
• 扫描，探针：这种类型的攻击（例如端口扫描）用于探索目标网络并收集有关主机的信息，例如开放的端口，运行中的服务等。
• 提权（U2R）：在这种情况下，攻击者已经可以对目标系统进行本地访问，并且旨在利用系统漏洞将其特权从简单用户的特权升级为超级用户/管理员。 U2R最常见的一种类型是缓冲区溢出，攻击者试图以root权限填充缓冲区并执行恶意代码。
• 远程到本地（R2L）：在此攻击类别中，攻击者在目标计算机上没有帐户，并尝试获取本地访问权限。 远程到本地攻击通常与U2R攻击结合在一起。 R2L攻击的一个示例是SSH蛮力攻击。

不同的无监督和混合入侵检测方法以及特征选择技术的比较

特征选择

特征选择分为以下两类：

• 过滤器：基于信息论，是一种简单快速的方法

• 包装器：根据使用的检测算法使用预测模型评估候选子集，其示意图如下：

各种算法比较结论

• 特征选择至关重要
• 能够检测任意形状的聚类的聚类算法（例如DBSCAN）比只能检测圆形聚类的聚类算法表现更好
• 检测方法的并行化可以减少计算时间并实现实时检测。 因此，可以利用高性能的云计算技术来实现更好的时间性能并分配处理工作量
• 使用主机数据可以提高检测率，但是必须考虑从大规模网络中实时提取这些数据是否可行
• 初始化和调整系统参数的需要是使这些技术无法在工业中应用的主要缺点之一。 因此，需要较少参数设置的基于密度的方法（例如DBSCAN）似乎最适合在实际网络中部署
• 无监督技术和有监督技术的结合可能会拥有较高的检测率和较低的假阳性率
• U2R和R2L攻击类似于正常流量，因此最难检测到。 子群集，功能选择以及使用不同的网络分辨率似乎可以提高这些攻击类别的检测率。 而且，神经网络和无监督方法的组合，在这两种低频攻击中表现良好

相关的工作

确定不同攻击之间的关系

Hutchins等人提出：防御者可利用攻击者的“持久性”并将其用于攻击者。 根据其性质，APT参与者尝试多次入侵，这些入侵很可能会随时间分散，并使用这些尝试的反馈（成功或失败）来调整其策略。 即使对于资源丰富的攻击者而言，完全改变其作案手法的想法也不可行的。 作者还提出了一个案例研究，以证明比较多个攻击的不同阶段可以确定它们是否来自同一攻击者

IDS未解决的问题

• 入侵检测系统将攻击划分为上述4类。 根据Akamai和OWASP TOP 10的说法，三种最常见的Web应用程序攻击是SQL注入，本地文件包含和XSS。 它们全部属于U2R和R2L类，它们是当前检测最少的攻击类。 这一事实支持了我们先前的论点，即有必要通过使用特征选择，提取和转换技术以及手动选择的特征来增强IDS检测这些类的能力
• 通过数据过滤进行网络间谍活动是每个企业最担心的问题之一。 在这种攻击中，目标数据向攻击者的传输是在主机感染了恶意软件之后发生的，并且在大多数情况下使用加密的流量。 这种恶意网络活动不属于文献中使用的传统四个攻击类别，因为它是成功入侵之后采取的行动。 尽管如此，即使未检测到感染，为该恶意网络流量创建指标仍可以识别入侵并揭示受感染的主机
• 自2011年以来，新的勒索软件系列的数量一直稳定增长，2016年，几乎43％的勒索软件受害者是组织的雇员。 此攻击属于恶意软件感染类别，它不一定需要网络通信（例如，用USB驱动器感染）。 但是，它具有一个独特的特征：第一次执行后，恶意软件必须与C＆C服务器通信才能接收加密密钥。 通过选择适当的特征子集，即使感染成功，我们也可以为这种类型的通信创建指示符并停止攻击
• 僵尸网络感染在最近几年有所增加，大型高速网络（例如公司或大学网络）是主要目标。 同样，僵尸网络感染和通信不属于四种已知的攻击类别。 与其他任何恶意软件感染实例一样，检测感染阶段可能主要基于与主机相关的功能。 相反，检测僵尸网络通信可以基于以下网络特征：a）通信类型：HTTP，IRC，P2P或社交网络通信方法； b）隐藏和逃避技术。 最后，可以结合产生的指标，通过空间和时间相关性将感染的主机识别为僵尸网络的成员。 例如，如果观察到一组主机响应于来自同一服务器的相似消息而正在执行相似的活动，则它们可能是同一僵尸网络的一部分

未来工作的方向