zoukankan      html  css  js  c++  java
  • MEGVII 旷视 Brain++ 平台;天元MegEngine 平台简要分析

    旷视Brain++是由旷视研究院自主研发的新一代 AI生产力平台,致力于帮助企业和开发者提升AI生产效率、规范生产流程。(2014-2021)https://www.brainpp.com/

    最近有个相关的面试,就简单的搜集了一下资料,用作个人的参考。

    Brain++的核心能力:

    • 数据的处理、清洗和管理能力;数据层,MegData。
    • 算力的共享、调度和分布式能力;算力层,MegCompute。
    • 算法的训练、推理及部署能力。算法层,天元 MegEngine。

    目前,旷视正通过逐步开源核心框架、开放算力和数据平台的形式,为企业客户和广大开发者提供规模化AI生产能力。平台宏观框架如下:

    天元MegEngine:(官方描述)

    • Brain++的最为核心组件
    • 全新一代的工业级深度学习开源框架
    • 友好的编程接口
    • 大规模深度学习模型训练和部署
    • 计算接口、图表示、优化与编译、运行时管理和计算内核五层
    • 简化算法开发流程
    • 实现模型训练速度和精度的无损迁移
    • 支持动静态的混合编程和模型导入
    • 内置高性能计算机视觉算子
    • 适用于大模型算法训练
    • 亮点:
      • 训练推理一体
      • 动静合一
      • 兼容并包
      • 灵活高效

    MegData:(官方描述)

    • 自研的人工智能数据管理平台
    • 覆盖数据获取、数据处理、数据标注、数据管理、数据安全五大维度
    • 数据生产为起点
    • 支持不同业务场景和训练方式
    • 对数据进行处理和标注
    • 提供对结构化数据的标注、特征处理、衍生、筛选等标准处理流程
    • 对多种非结构化数据提供在线标注能力
    • 通过标准化标注流程实现对标注数据标注任务标注人员标注进度标注质量标注工具的统一管理
    • 为AI模型训练提供高质量训练数据
    • 设计了多重的数据安全功能,保障数据的安全和隐私
    • 亮点:
      • 高效
      • 专业
      • 安全
      • 稳定

    MegCompute:(官方描述)

    •  旷视自主研发的大规模人工智能算力平台
    • 提供E级算力资源调度
    • EB级海量数据存储管理
    • 400G RDMA高速骨干网络
    • 包含基础设施数据存储计算调度上层服务等功能模块
    • 通过分布式集群管理最大化提高资源利用率
    • 算法生产全流程服务化
    • 训练过程更加高效
    • 亮点:
      • 400G RDMA
      • 异构资源池
      • 灵活的任务调度
      • 算法生成全流程

    MegEngine:(最近时间比较紧张,简要放几个链接)

  • 相关阅读:
    Longest Substring Without Repeating Characters
    Valid Palindrome
    Longest Common Prefix
    模型压缩之网络剪枝(Network Pruning)篇
    不使用现有检测框架实现一个简单的物体检测网络
    Mac 上传本地项目到GitHub
    Ubuntu 解决Unable to acquire the dpkg frontend lock (/var/lib/dpkg/lock-frontend)
    github clone 速度慢解决方法
    bibitem格式参考文献批量生成
    python matplotlib给图中的点加标签
  • 原文地址:https://www.cnblogs.com/xuyaowen/p/megvii-brainpp.html
Copyright © 2011-2022 走看看