zoukankan      html  css  js  c++  java
  • 数据挖掘简述

    1.TASKS

          PREDICTION and DESCRIPTION 

    2.COMMON METHODS

          CLASSIFACATION ; CLUSTEERING ; SEQUENTIAL PATTERN DISCOVERY ; REGRESSION ; ASSOCIATION RULE DISCOVERY ; DEVIATION DETECTION

    【分类;聚类;相关性;

    序列分析:用随机过程理论和数理统计学方法,研究随机数据序列所遵从的统计规律,以用于解决实际问题。由于在多数问题中,随机数据是依时间先后排成序列的,故称为时间序列分析;  

    回归;异常值检测】

    3.A GENERAL PROCEDURE

    specify the problems to deal with——input——pre-processing——other treating process(feature-based) like sampling and grouping——modling——output——assessment(ex:处理过拟合,training set)

    【1.明确问题:明确是分类or聚类问题(有training set则是分类问题)

    2.搜集数据

    3.预处理:包括可信度、数据集成、冗余删除、处理冲突值、数据采样、数据清理、缺失值处理、噪声处理

    (工具:pig,hive,spark  ; 可用编程语言:python,sas,matlab,scala,java)

    4.特征分析,比如是否进行分组和分群处理

    5.建立模型

    6.输出模型结果

    7.评估模型】

    4.REFERENCES

    • BOOK(相关书籍):

    1.集体智慧编程(programming colletive intelligence)

    2.写给程序员的数据挖掘指南

    3.数学之美

    4.introduction to data mining

    5.data mining:concepts and techniques

    • MOOCs(慕课):

    Andrew NG(machine learning) ; maching learning foundations;

    • DOCs(文档):

    统计学习方法 ;机器学习实战;scikit-learn文档

    PRACTICE(数据挖掘比赛):

    Kaggle;SIGKDD

    • DEEP LEARNING(深度学习):

    The elenents of statistical learing ;Pattern recognition and machine learning

     

  • 相关阅读:
    [转载]oracle中的exists 和not exists 用法详解
    oracle中sql语句的优化(转帖)
    BizTalk Server 2010 使用 WCF Service [ 上篇 ]
    冒泡排序
    一起复习几何(4)
    手把手教你升级到 Mysql 5.5
    BizTalk Server 2010 映射器(Mapper) [ 上篇 ]
    基于OpenGL的渲染引擎
    BizTalk Server 2010 映射器(Mapper) [ 下篇 ]
    BizTalk Server 2010 映射器(Mapper) [ 中篇 ]
  • 原文地址:https://www.cnblogs.com/jane-lau/p/8449602.html
Copyright © 2011-2022 走看看