zoukankan      html  css  js  c++  java
  • 模型训练竞品收集-阿里

    阿里PAI
    一、产品介绍
    阿里云机器学习平台PAI(Platform of Artificial Intelligence),为传统机器学习和深度学习提供了从数据处理、模型训练、服务部署到预测的一站式服务。
    PAI DSW(Data Science Workshop)是为算法开发者量身打造的云端深度学习开发环境,包含Notebook和深度学习网络可视化建模,支持开源框架的安装,并提供阿里巴巴深度优化的Tensorflow框架,通过编译优化提升训练性能。
    PAI-Studio为开发者提供可视化的机器学习试验开发环境,帮助用户实现0代码开发人工智能相关服务。内置数百个成熟的机器学习算法,覆盖商品推荐、金融风控、广告预测等场景。
    EAS ( Elastic Algorithm Service ) 是PAI平台的模型在线预测服务,支持异构硬件(CPU/GPU)的模型加载,高吞吐,低延迟;支持大规模复杂模型的一键部署,实时弹性扩缩容;提供完整的运维监控体系。
    PAI AutoLearning(简称PAI AL)自动学习支持在线标注、自动模型训练、超参优化以及模型评估。在平台上只需准备少量标注数据,设置训练时长即可得到深度优化的模型,并支持一键完成模型部署。

    二、应用场景
    1.AI企业深度学习解决方案
    通过PAI DSW,提供深度学习解决方案,支持实际业务场景,深度学习训练模型可直接部署成服务供业务调用。
    2.深度学习算法爱好者
    通过PAI DSW,深度学习算法开发爱好者,随时随地编写算法代码。
    3.教育与科研领域
    通过PAI DSW,无需繁琐的环境配置,辅助教育从业者快速实现在线教学演示与科研项目的开发。
    4.新闻文本分类案例
    通过PAI Studio,文本组件搭建的文本自动分类案例,可以快速挖掘文章的主题;
    通过主题权重的聚类,实现新闻自动分类。包括了分词、词型转换、停用词过滤、主题挖掘、聚类等流程。
    5.心脏预测案例
    通过PAI Studio,搭建的心脏病自动诊断案例,可以预防心脏病的发生;
    通过提取人体相关的体测指标,以数据挖掘方式来分析不同特征对于心脏病的影响,将对预防心脏病起到至关重要的作用。
    6.金融风控案例
    通过PAI Studio,图算法组件搭建的金融风控案例,可以快速定位人群中相互的信用关系;
    通过图算法,计算出其它人的信用指数,即得到图中每个人是欺诈用户的概率,这个数据可以方便相关机构做风控。
    7.商品推荐案例
    通过PAI Studio,协同过滤算法搭建的商品推荐业务案例,可以大大提高商品销量;
    通过人的购物行为,借助数据挖掘中的常见算法-协同过滤,挖掘人与人以及商品与商品的关联关系,推动产品销售额的提高。
    8.阿里小蜜
    基于PAI EAS,支持弹性扩缩容,全面提升资源利用率,双十一当天单模型峰值达40W QPS,丝滑顺畅,稳定支撑。
    9.阿里妈妈广告
    基于PAI EAS,进行精准广告投放,毫秒级数据响应,高性能保障核心业务收入。
    10.阿里安全
    基于PAI EAS,进行大规模图片安全扫描,针对深度学习优化网络协议,同时基于GPU加速在线推理处理效率。
    11.阿里云印刷文字识别
    基于PAI EAS的高可用引擎,对数以万计OCR用户提供高SLA服务。

    三、产品特色
    1.简单易用,通过可视化拖拽实现模型训练,Notebook可视化交互式,一键式部署在线预测服务,打通机器学习全链路。

    2.内置丰富的机器学习算法,封装上百种机器学习算法,不仅提供了基础的聚类、回归类等机器学习算法,也提供了文本分析、特征处理等比较复杂的算法。

    3.高性能,支持高维稀疏数据场景,超大规模深度模型训练;高效的结构化压缩训练,加速训练;inference模型压缩与量化,提升在线预测单机QPS。
    4.低成本,支持CPU/GPU混合调度,高效的资源复用;多种适用客户场景的计费方式,真正实现AI客户的云上降本。
    5.解决方案丰富,积累了多种行业算法解决方案,包括泛推荐、金融风控、广告预测、图片分类等多种解决方案,帮助企业快速应用。

    四、产品使用
    1.PAI主流程

    (1).数据准备,进行表的创建,支持txt或csv格式数据上传;或通过OSS上传数据;

    (2).数据预处理,通过SQL脚本、类型转换、归一化组件,进行数据预处理

     

    (3).数据可视化,通过全表统计组件,进行查看数据;

     

    (4).算法建模,设置目标字段,进行算法模型训练;

    (5).模型评估,通过预测组件,进行评估查看;

     

     

    2.PAI-DWS
    (1).创建实例,选择GPU资源;选择NoteBook建模服务,选择配置带宽、网络、存储、第三方库、内置案例等;

    (2).上传数据,在线开发、调试;进行ECS、NAS存储文件的上传、下载,以及挂载等;
       

    (3).运行代码,生成训练模型;进行深度学习网络可视化功能开发;

    (4).模型部署,服务在线部署调用;

    3.PAI-Studio
    选择可视化建模服务,通过对机器学习组件配置,进行可视化的拖拽式连接节点,搭建训练流水线,一键模型训练;支持Auto ML自动调参;
    PAI支持自定义算法上传功能,支持用户使用SQL、SPARK2.0、PYSPARK2.0框架自己开发算法,并且把算法封装为一个组件上传到PAI-STUDIO中使用;

    4.PAI-EAS
    对模型服务进行管理,支持模型调用信息查看;在线调试;查看日志、监控、部署信息;服务扩容、停止、删除等;
    支持控制台上传模型、PAI Studio一键部署、PAI DSW部署、本地客户端部署四种部署方式,快速将模型部署成为Restful API;

     

    5.PAI-AL
    (1).数据标注,支持OSS数据源的在线标注或导入带标签的图片;

    (2).模型训练评估,标注完成,设置训练参数,进行模型训练;以及训练的效果、日志等数据;内置图片分类模型;

    (3).模型发布部署,对训练好的模型评估可以,进行发布部署;

     

  • 相关阅读:
    RAID实战案例
    文件系统常用工具实战篇
    挂载文件系统
    硬盘结构类型概述
    创建文件系统实战篇
    JumpServer的会话管理及命令过滤器应用案例
    JumpServer的权限管理
    JumpServer的用户管理
    helm基础
    hpa控制器
  • 原文地址:https://www.cnblogs.com/SanMaoSpace/p/11679259.html
Copyright © 2011-2022 走看看