zoukankan      html  css  js  c++  java
  • H2O框架简介

    H2O框架简介
    H2O是开源的,分布式的,基于内存的,可扩展的机器学习和预测分析框架,适合在企业环境中构建大规模机器学习模型。

    H2O核心代码使用Java编写,数据和模型通过分布式 Key/Value 存储在各个集群节点的内存中。H2O的算法使用Map/Reduce框架实现,并使用了Java Fork/Join框架来实现多线程。

    H2O目前支持的机器学习算法有DRF,GBM,GLM,GLRM,Kmeans,NB,PCA,Deep Learning,所以目前来看支持的模型还不是很多。

    H2O软件栈:


    架构图最上层表示与H2O通信的Rest API客户端,它们之间通过socket连接。最下层表示可以运行JVM 进程的基础架构。中间灰色部分是用户的一些算法。

    H2O读取数据
    1.R用户调用importFile()函数


    2.R客户端告诉集群要读数据


    3.以分布式H2O Frame的格式从HDFS返回数据


    CPU管理
    job:创建一个任务就是一个job
    MRTask: H2O基于内存的Map/Reduce任务,与hadoop Map/Reduce任务稍有不同
    Fork/Join:task执行框架

    Memory管理
    Fluid Vector Frame:暴露给用户的基本数据单元
    Distributed K/V store:在集群中通过此种方式存储
    Non-blocking Hash Map:在K/V实现中使用

    原文:https://blog.csdn.net/Yaphat/article/details/52891133

    H2O学习笔记:

    https://blog.csdn.net/yaphat/article/category/6476184

    安装和建模指导:

    https://cloud.tencent.com/developer/article/1420651

  • 相关阅读:
    java 键盘监听事件
    DOM扩展
    DOM
    CSS hack
    客户端检测
    BOM
    函数表达式
    面向对象的程序设计
    引用类型(下)
    引用类型(上)
  • 原文地址:https://www.cnblogs.com/Allen-rg/p/11008864.html
Copyright © 2011-2022 走看看