zoukankan      html  css  js  c++  java
  • 数据挖掘简述

    1.TASKS

          PREDICTION and DESCRIPTION 

    2.COMMON METHODS

          CLASSIFACATION ; CLUSTEERING ; SEQUENTIAL PATTERN DISCOVERY ; REGRESSION ; ASSOCIATION RULE DISCOVERY ; DEVIATION DETECTION

    【分类;聚类;相关性;

    序列分析:用随机过程理论和数理统计学方法,研究随机数据序列所遵从的统计规律,以用于解决实际问题。由于在多数问题中,随机数据是依时间先后排成序列的,故称为时间序列分析;  

    回归;异常值检测】

    3.A GENERAL PROCEDURE

    specify the problems to deal with——input——pre-processing——other treating process(feature-based) like sampling and grouping——modling——output——assessment(ex:处理过拟合,training set)

    【1.明确问题:明确是分类or聚类问题(有training set则是分类问题)

    2.搜集数据

    3.预处理:包括可信度、数据集成、冗余删除、处理冲突值、数据采样、数据清理、缺失值处理、噪声处理

    (工具:pig,hive,spark  ; 可用编程语言:python,sas,matlab,scala,java)

    4.特征分析,比如是否进行分组和分群处理

    5.建立模型

    6.输出模型结果

    7.评估模型】

    4.REFERENCES

    • BOOK(相关书籍):

    1.集体智慧编程(programming colletive intelligence)

    2.写给程序员的数据挖掘指南

    3.数学之美

    4.introduction to data mining

    5.data mining:concepts and techniques

    • MOOCs(慕课):

    Andrew NG(machine learning) ; maching learning foundations;

    • DOCs(文档):

    统计学习方法 ;机器学习实战;scikit-learn文档

    PRACTICE(数据挖掘比赛):

    Kaggle;SIGKDD

    • DEEP LEARNING(深度学习):

    The elenents of statistical learing ;Pattern recognition and machine learning

     

  • 相关阅读:
    Gridview全选
    Gridview中绑定DropDownList
    图片流Base64编码 转图片
    jQuery 效果
    纯虚函数与抽象类
    c++的内存分配
    sizeof数据对齐问题
    C++中类所占的存储空间
    成员函数实现在类定义中与在类定义外的区别
    C++成员函数的存储方式
  • 原文地址:https://www.cnblogs.com/jane-lau/p/8449602.html
Copyright © 2011-2022 走看看