zoukankan      html  css  js  c++  java
  • 大数据挖掘简介

    大数据挖掘涉及如下的课程:机器学习,统计学,人工智能,数据库等,但是更多的注重如下的特性:

    1)可扩展性(Scalability)(大数据)

    2)算法和架构

    3)自动的处理大数据


    我们需要学习挖掘不同类型的数据:

    1)高维的数据

    2)图数据

    3)无限的(infinite/never-ending)数据

    4)贴有标签的数据


    同时我们还要学习不同的计算模型:

    1)MapReduce算法

    2)流和在线(Streams and Online)算法

    3)Single machine in-memory


    然后,还要学习解决现实中的问题,像:

    1)推荐系统

    2)关联规则

    3)链接分析

    4)重复检测

    等等。


    还要学习各种“工具",像:

    1)线性代数(SVD,推荐系统等)

    2)优化(随机梯度下降)

    3)动态规划(频繁项集)

    4)Hashing(LSH,Bloom filters)


    以上所有的内容可以通过如下的图关联在一起来展示,如下:



    在学习大数据挖掘之前,需要有如下的预备知识:

    1)算法方面的知识(CS161)——动态规划,基本的数据结构等

    2)基本的概率论方面的知识(CS109)——矩(Moments),典型的分布,最大似然估计(MLE)等

    3)编程方面的知识(CS107)——C++或Java将非常有用


    内容来自于:http://www.stanford.edu/class/cs246/slides/01-mapreduce.pdf

  • 相关阅读:
    java-date和Calendar运用
    java-date类使用练习(1)
    java-正则表达式
    JAVA-String类的应用
    java-重写equals
    java-抽象类、接口等实际应用 (酒店小案例)
    fuzz系列之libfuzzer
    ZAB协议(转)
    Paxos(转自wiki)
    Zookeeper简介和安装使用
  • 原文地址:https://www.cnblogs.com/pangblog/p/3347993.html
Copyright © 2011-2022 走看看