绪论
什么是数据挖掘
数据挖掘是再大型数据存储库中,自动地发现有用信息的过程。(发现先前未知的有用模式,还可以预测未来观测结果)
并非所有的信息发现都视为数据挖掘,例使用数据库查找个别的记录或通过因特网查找特定的Web页面,则是信息检索。尽管如此,人们也在利用数据挖掘技术增强信息检索系统的能力。
数据挖掘是数据库中知识发现(KDD)不可缺少的一部分。而KDD是将未加工的数据转换为有用信息的整个过程。
KDD过程:
数据挖掘要解决的问题:
1.可伸缩——如果数据挖掘算法要处理这些海量数据集,则算法必须是可伸缩的。为了实现可伸缩可能还需要实现新的数据结构,才能以有效的方式访问每个记录。例如,当要处理的数据不能放进内存时,可能需要非内存算法。使用抽样技术或开发并行和分布算法也可以提高可伸缩成都
2.高维性——常常遇到具有成百上千属性的数据集,随着维度(特征数)的增加,计算复杂性迅速增加。
3.异种数据和复杂数据——随着数据挖掘作用越来越大,越来越需要能够处理异种属性的技术。此外,为挖掘复杂对象而开发的技术应当考虑数据中的联系。
4.数据的所有权与分布——有时,需要分析的数据并非存放在一个站点,或归属一个机构,而是地理上分布在属于多个机构的资源中。这就需要开发分布式数据挖掘技术。
5.非传统的分析——传统的统计方法基于一种假设-检验模式,即提出一种假设,设计实验来收集数据,然后针对假设分析数据。现在的一些数据集常常涉及非传统的数据类型的数据分布。
数据挖掘的起源
数据挖掘任务
数据挖掘任务分为下面两大类:
1.预测任务
2.描述任务:其目标是导出概括数据中潜在联系的模式(相关、趋势、聚类、轨迹和异常)。本质上,描述性数据挖掘任务通常是探查性的,并且常常需要后处理技术验证和解释结果。
四种主要数据挖掘任务:
(1)预测建模:涉及以说明变量函数的方式为目标变量建立模型。有两类预测建模任务:分类,用于预测离散的目标变量;回归,用于预测连续的目标变量。
(2)关联分析:用来发现描述数据中强关联特征的模式,所发现的模式通常用蕴涵规则或特征子集的形式表示。由于搜索空间是指数规模的,关联分析的目标是以有效的方式提取最有趣的模式。关联分析的应用包括找出具有相关功能的基因组、识别用户一起访问的Web页面、理解地球气候系统不同元素之间的联系等。
(3)聚类分析:旨在发现紧密相关的观测值组群,使得与属于不同簇的观测值相比,属于同一簇的观测值相互之间尽可能类似。
(4)异常检测:识别其特征显著不同于其他数据的观测值。这样的观测值称为异常点或离群点。异常检测算法的目标是发现真正的异常点。而避免错误地将正常的对象标注为异常点