阿里PAI
一、产品介绍
阿里云机器学习平台PAI(Platform of Artificial Intelligence),为传统机器学习和深度学习提供了从数据处理、模型训练、服务部署到预测的一站式服务。
PAI DSW(Data Science Workshop)是为算法开发者量身打造的云端深度学习开发环境,包含Notebook和深度学习网络可视化建模,支持开源框架的安装,并提供阿里巴巴深度优化的Tensorflow框架,通过编译优化提升训练性能。
PAI-Studio为开发者提供可视化的机器学习试验开发环境,帮助用户实现0代码开发人工智能相关服务。内置数百个成熟的机器学习算法,覆盖商品推荐、金融风控、广告预测等场景。
EAS ( Elastic Algorithm Service ) 是PAI平台的模型在线预测服务,支持异构硬件(CPU/GPU)的模型加载,高吞吐,低延迟;支持大规模复杂模型的一键部署,实时弹性扩缩容;提供完整的运维监控体系。
PAI AutoLearning(简称PAI AL)自动学习支持在线标注、自动模型训练、超参优化以及模型评估。在平台上只需准备少量标注数据,设置训练时长即可得到深度优化的模型,并支持一键完成模型部署。
二、应用场景
1.AI企业深度学习解决方案
通过PAI DSW,提供深度学习解决方案,支持实际业务场景,深度学习训练模型可直接部署成服务供业务调用。
2.深度学习算法爱好者
通过PAI DSW,深度学习算法开发爱好者,随时随地编写算法代码。
3.教育与科研领域
通过PAI DSW,无需繁琐的环境配置,辅助教育从业者快速实现在线教学演示与科研项目的开发。
4.新闻文本分类案例
通过PAI Studio,文本组件搭建的文本自动分类案例,可以快速挖掘文章的主题;
通过主题权重的聚类,实现新闻自动分类。包括了分词、词型转换、停用词过滤、主题挖掘、聚类等流程。
5.心脏预测案例
通过PAI Studio,搭建的心脏病自动诊断案例,可以预防心脏病的发生;
通过提取人体相关的体测指标,以数据挖掘方式来分析不同特征对于心脏病的影响,将对预防心脏病起到至关重要的作用。
6.金融风控案例
通过PAI Studio,图算法组件搭建的金融风控案例,可以快速定位人群中相互的信用关系;
通过图算法,计算出其它人的信用指数,即得到图中每个人是欺诈用户的概率,这个数据可以方便相关机构做风控。
7.商品推荐案例
通过PAI Studio,协同过滤算法搭建的商品推荐业务案例,可以大大提高商品销量;
通过人的购物行为,借助数据挖掘中的常见算法-协同过滤,挖掘人与人以及商品与商品的关联关系,推动产品销售额的提高。
8.阿里小蜜
基于PAI EAS,支持弹性扩缩容,全面提升资源利用率,双十一当天单模型峰值达40W QPS,丝滑顺畅,稳定支撑。
9.阿里妈妈广告
基于PAI EAS,进行精准广告投放,毫秒级数据响应,高性能保障核心业务收入。
10.阿里安全
基于PAI EAS,进行大规模图片安全扫描,针对深度学习优化网络协议,同时基于GPU加速在线推理处理效率。
11.阿里云印刷文字识别
基于PAI EAS的高可用引擎,对数以万计OCR用户提供高SLA服务。
三、产品特色
1.简单易用,通过可视化拖拽实现模型训练,Notebook可视化交互式,一键式部署在线预测服务,打通机器学习全链路。
2.内置丰富的机器学习算法,封装上百种机器学习算法,不仅提供了基础的聚类、回归类等机器学习算法,也提供了文本分析、特征处理等比较复杂的算法。
3.高性能,支持高维稀疏数据场景,超大规模深度模型训练;高效的结构化压缩训练,加速训练;inference模型压缩与量化,提升在线预测单机QPS。
4.低成本,支持CPU/GPU混合调度,高效的资源复用;多种适用客户场景的计费方式,真正实现AI客户的云上降本。
5.解决方案丰富,积累了多种行业算法解决方案,包括泛推荐、金融风控、广告预测、图片分类等多种解决方案,帮助企业快速应用。
四、产品使用
1.PAI主流程
(1).数据准备,进行表的创建,支持txt或csv格式数据上传;或通过OSS上传数据;
(2).数据预处理,通过SQL脚本、类型转换、归一化组件,进行数据预处理
(3).数据可视化,通过全表统计组件,进行查看数据;
(4).算法建模,设置目标字段,进行算法模型训练;
(5).模型评估,通过预测组件,进行评估查看;
2.PAI-DWS
(1).创建实例,选择GPU资源;选择NoteBook建模服务,选择配置带宽、网络、存储、第三方库、内置案例等;
(2).上传数据,在线开发、调试;进行ECS、NAS存储文件的上传、下载,以及挂载等;
(3).运行代码,生成训练模型;进行深度学习网络可视化功能开发;
(4).模型部署,服务在线部署调用;
3.PAI-Studio
选择可视化建模服务,通过对机器学习组件配置,进行可视化的拖拽式连接节点,搭建训练流水线,一键模型训练;支持Auto ML自动调参;
PAI支持自定义算法上传功能,支持用户使用SQL、SPARK2.0、PYSPARK2.0框架自己开发算法,并且把算法封装为一个组件上传到PAI-STUDIO中使用;
4.PAI-EAS
对模型服务进行管理,支持模型调用信息查看;在线调试;查看日志、监控、部署信息;服务扩容、停止、删除等;
支持控制台上传模型、PAI Studio一键部署、PAI DSW部署、本地客户端部署四种部署方式,快速将模型部署成为Restful API;
5.PAI-AL
(1).数据标注,支持OSS数据源的在线标注或导入带标签的图片;
(2).模型训练评估,标注完成,设置训练参数,进行模型训练;以及训练的效果、日志等数据;内置图片分类模型;
(3).模型发布部署,对训练好的模型评估可以,进行发布部署;