备案 控制台
开发者社区 大数据与机器学习 人工智能平台PAI 文章 正文

【2023云栖】黄博远:阿里云人工智能平台PAI年度发布

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
推荐场景:
AIGC Stable Diffusion文生图Lora模型微调实现虚拟上装
简介: 本文根据2023云栖大会阿里云计算平台事业部资深产品专家、阿里云人工智能平台PAI产品负责人-黄博远演讲实录整理而成,演讲主题:阿里云人工智能平台PAI年度发布

AIGC是我们这个时代的新机遇

今年云栖大会,阿里云机器学习平台PAI正式发布升级为人工智能平台PAI。在过去的12个月,AI生态发生了巨大的变化,AIGC已经成为继互联网时代的下一个产业时代风口,带来了很多新的机遇和挑战。

在整个市场当中,AIGC领域可以分为三类:预训练大模型、开源生态和下游应用。


AI研发新范式和新挑战

在新局势下,整个AI研发进入到新范式

  • 从预训练模型开始,快速定制、快速落地
  • AI开发门槛大大降低,AI推广加速,行业应用增长

研发新范式升级跟以往从搞数据到0-1搭模型是非常不一样的,主要会有三类客户:

  • 上游:通用模型生产者与平台方(如阿里);
  • 中游:利用垂直行业知识对模型进行优化(生态伙伴);
  • 下游:最终AI应用的使用者(最广大的用户群体)。

AI生态链的整合和角色分化是行业发展的方向,符合社会整体效率提高的要求,必将推动AI普惠化的进程。

阿里云人工智能平台PAI全面升级

人工智能平台PAI在4.0版本里,下层是强大的基础设施,中间层“PAI灵骏智算集群”,是专门面向超大规模分布式,重点解决预训练、Finetune、推理等工作。最上层“Model as a Service”概念,能够让不懂算法,但需要应用AI的人进行全链路的AI创新。


PAI助力企业AI创新

人工智能平台PAI将围绕以下三个效率助力企业和开发者进行AI的创新,分别是开发效率、计算效率和业务效率。

提升开发效率:人,最宝贵的资源

AI工程化的工程师人才稀缺且昂贵,工程师从数据进来到整个开发环节再到模型生产上线,大约需要12种工具把整个AI流程走完。

阿里云PAI 全生命周期优化的AI平台

阿里云人工智能平台PAI作为全生命周期优化的AI平台,包含iTAG智能标注、DSW交互式建模、DLC AI训练服务、EAS在线预测服务、AI工作空间、AI资产、OpenAPI等服务,打造一体化全链路的AI工程平台,全面提升行业、产业落地效率

PAI-DSW 交互式建模

PAI平台的Notebook服务全面升级,DSW可以一站式AI开发,开箱即用,异构资源无缝对接,兼顾个人开发者及企业级协作需求,让整个开发过程变得更加高效。

同时我们也看到数据对于AI的重要性,PAI把整个阿里云上的存储都做了无缝对接(OSS、NAS、CPFS),可以很容易的在云上获得做大模型开发的工作的环境。

PAI-DLC 分布式训练

在分布式训练里,大模型变得至关重要,怎么同时用512卡、上千卡做训练,可能很难做分布式这些细节的管理,如果涉及底层复杂软硬件能力可能更不清楚。今天通过DLC分布式训练可以实现单机多卡、多机多卡分布式训练,云原生灵活环境配置,企业级资源管理,快速把相应的模型训练出来。

PAI 模型服务与AI推理

未来,我们认为在模型服务领域,模型的推理一定会成为整个产业的热潮。因为在我们平台上已经看到有几十家做大模型的企业训练出来50B~100B以上的大模型,这些模型日后一定会产业落地。

PAI EAS模型在线服务+Blade推理加速,帮助客户一站式解决AI部署和推理的全部环节。

提升计算效率:机器,如何高效的利用

对于大模型无法逃避的一个问题就是解决机器效率,如何让机器被整个产品和平台疯狂使用,对所有人来说都是巨大的挑战。

PAI灵骏智算服务 - 让大模型训练推理简单、高效

今年我们发布了PAI灵骏计算服务Serverless产品。使得AI的训练推理更快、更易用、更稳定,全面提升AI计算效率。

可以想象一下,当有1024张卡甚至有数千张卡做训练的时候,很难保证系统不出错误,所以我们推出了AI Master自动容错弹性训练。让系统帮你去解决各种各样的问题。对于整个大模型训练过程有巨大的效率提升的作用。

推出EasyCkpt秒级异步训练的快照,可以清楚知道每一个数据在整个显存、内存、缓存中存了多少,硬件或系统出现问题或者时我们不再需要做全局的checkpoint,可以通过EasyCkpt实现秒级训练精度无损的checkpoint,高效帮企业自动把这个问题恢复可执行状态。

TorchAcc和PAI-Blade则是在大规模分布式训练和推理上做的软硬结合优化。

  1. 极致性能:高性能计算、网络、存储支撑的高性能AI集群

专为密集型深度学习业务及LLM/AIGC大模型训练场景打造的高性能集群架构

  1. 极致稳定:软硬结合、协同保障超大规模集群超高稳定性

集大规模集群管理、弹性AI调度、进度无损的模型保存与恢复、自动分布式性能测试于一体的稳定保障体系

  1. 基于PAI-DLC构建的LLM大模型强化学习训练框架RLHF

支持人工反馈的强化学习 RLHF训练框架,快速开发定制LLM

提升业务效率:自带最佳实践,业务落地提速

阿里云是一个自带最佳实践的云,如何基于PAI平台让不懂AI的人快速上手,让没有接触过大模型、没有做过AIGC应用的人快速跟上节奏呢?是我们一直致力于解决的问题。

PAI平台提供了非常丰富的场景化最佳实践方案,把最佳实践产品化方式面向客户,企业开发者们可以通过接入PAI平台一步步体验模型构建的整个过程。

MaaS全链路提效

PAI平台一站式覆盖了AI工程化的全流程,无缝对接ModelScope/Huggingface等开源社区,让算法开发者、应用开发者和业务架构师可以专注、高效的完成创新。

大模型场景化最佳实践

人工智能平台PAI提供全面覆盖大模型生产流程的端到端最佳实践。

智码实验室-Notebook Galley

Notebook Galley上针对热门场景、前沿模型,打造属于开发者的内容平台,让开发者快速学习上手。

Notebook Galley上面现在已经有100多个热门AI的案例,例如:通义系列、Llama2、Stable Diffusion等案例在这上面全都可以一站式云上拉起服务,端到端体验。

为AI提供极致性能、全链路工程覆盖、端到端最佳实践的云上服务

PAI团队持续迭代更新,面向AI、大模型、AGI领域做了三个核心工作:

1、软硬一体协同优化云上基础设施,把高性能网络、高性能存储和高性能计算的能力和编译优化能力、容错训练能力、快速异步checkpoint的能力相结合,提供极致且稳定的环境,供大家可以高效训练大模型。

2、提供了端到端涵盖整个AI工程链路的PaaS平台。

3、提供丰富的场景化最佳实践。

人工智能平台PAI在今后会再这三个领域持续大力构建云上Serverless产品,给开发者提供更加廉价、更加好用的产品力。也希望大家可以借助AIGC这波浪潮,助力业务更好发展!

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
阿里云大数据Al技术
目录
相关文章
嘟嘟嘟嘟嘟嘟
|
1天前
|
机器学习/深度学习 人工智能 TensorFlow
人工智能平台PAI产品使用合集之如何设置DCluster参数
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
30 3
嘟嘟嘟嘟嘟嘟
|
1天前
|
机器学习/深度学习 人工智能 NoSQL
人工智能平台PAI产品使用合集之save_summary_steps这个配置项我设置了值为50,为什么还是1000个step才记录一次summaries
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
20 1
嘟嘟嘟嘟嘟嘟
|
1天前
|
机器学习/深度学习 人工智能 PyTorch
人工智能平台PAI产品使用合集之只进行训练(train)而不进行评估(eval)该如何配置
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
21 1
嘟嘟嘟嘟嘟嘟
|
1天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之在easy_rec中,将model_dir设置为oss地址时,oss相关配置需要加载在环境中,有完整的示例吗
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
22 0
嘟嘟嘟嘟嘟嘟
|
2天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之int类型是否可以为raw feature
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
嘟嘟嘟嘟嘟嘟
17 2
叫个什么名字
|
28天前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈,提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统,通过分析用户行为数据和商品信息,实现个性化推荐,从而提高推荐效率和准确性。
叫个什么名字
116 14
游客i66wb7w7cg4tk
|
28天前
|
机器学习/深度学习 算法 搜索推荐
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
游客i66wb7w7cg4tk
186 0
东方睿赢
|
28天前
|
机器学习/深度学习 算法 数据可视化
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
东方睿赢
42 1
java菌
|
28天前
|
机器学习/深度学习 数据采集 算法
解码癌症预测的密码:可解释性机器学习算法SHAP揭示XGBoost模型的预测机制
解码癌症预测的密码:可解释性机器学习算法SHAP揭示XGBoost模型的预测机制
java菌
177 0
java菌
|
28天前
|
机器学习/深度学习 数据采集 监控
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
java菌
236 0
大数据与机器学习

人工智能平台PAI

热门文章

最新文章

  • 1
    实践!如何用阿里云的机器学习得出泰坦尼克号沉船事件中谁有更大的概率获救
  • 2
    【玩转数据系列三】利用图算法实现金融行业风控
  • 3
    【玩转数据系列五】农业贷款发放预测
  • 4
    2684亿销售额背后的阿里AI技术
  • 5
    『Power AI by AI』 PAI-AutoML2.0重磅发布
  • 6
    雾霾天气预测
  • 7
    基于阿里云PAI平台搭建知识库检索增强的大模型对话系统
  • 8
    使用 PAI-DSW x Free Prompt Editing图像编辑算法,开发个人AIGC绘图小助理
  • 9
    视频生成框架EasyAnimate正式开源!
  • 10
    AIGC创作活动 | 智"绘"AI,使用PAI创造风格百变绘画助手
  • 1
    人工智能平台PAI产品使用合集之只进行训练(train)而不进行评估(eval)该如何配置
    21
  • 2
    人工智能平台PAI产品使用合集之save_summary_steps这个配置项我设置了值为50,为什么还是1000个step才记录一次summaries
    20
  • 3
    人工智能平台PAI产品使用合集之如何设置DCluster参数
    30
  • 4
    人工智能平台PAI产品使用合集之在easy_rec中,将model_dir设置为oss地址时,oss相关配置需要加载在环境中,有完整的示例吗
    22
  • 5
    人工智能平台PAI产品使用合集之int类型是否可以为raw feature
    17
  • 6
    人工智能平台PAI产品使用合集之如何使用blade进行优化
    27
  • 7
    人工智能平台PAI产品使用合集之如何查看tensorboard
    31
  • 8
    人工智能平台PAI产品使用合集之多目标模型eval比较耗时间,该如何优化
    13
  • 9
    人工智能平台PAI产品使用合集之对于有多个raw_feature,如何进行区分
    18
  • 10
    人工智能平台PAI产品使用合集之在使用行调用时遇到一直卡在ps job的问题,并且无法在DataWorks上查看到相关日志,是什么导致的
    26
  • 相关产品

  • 人工智能平台 PAI
    文档详情 产品详情
  • 相关课程

    更多
  • 大数据知识图谱—亿滋中国X阿里云,释放新零售的数字化力量
  • 5分钟玩转阿里云容器服务
  • 人工智能安全
  • 高校精品课-华东师范大学-人工智能基础
  • 人工智能入门
  • 天池人工智能基础课程
  • 相关电子书

    更多
  • 【云栖精选6月刊】当AI来敲门,一刊尽览人工智能
  • 人工智能的商业化落地
  • 人工智能的投资机会
  • 相关实验场景

    更多
  • 在阿里云百炼大模型中快速创建企业知识应用
  • 基于Hologres+PAI+计算巢,5分钟搭建企业级AI问答知识库
  • 阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
  • 基于阿里云E-HPC平台的WRF气象预报实验
  • 基于阿里云DeepGPU实例,让AI带你畅玩杭州
  • 倚天大数据电商数据分析快速实践
  • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考

    PHP网站源码汕尾网站建设价格塔城百度爱采购多少钱茂名seo网站优化公司海西营销型网站建设推荐淄博建设网站公司莱芜网站关键词优化多少钱宝鸡网络推广推荐茂名网站设计多少钱铜川企业网站制作多少钱宣城高端网站设计公司重庆网站优化排名价格林芝网站推广系统价格重庆网站推广价格安顺网站关键词优化和田网站优化推广多少钱庆阳网站定制推荐临汾百度竞价包年推广公司朔州seo网站优化公司长沙seo排名推荐宿州网站定制襄阳seo排名推荐南阳百度标王价格黄石网站seo优化报价营口网站搜索优化公司运城网站优化按天计费哪家好大连网页制作报价铜陵关键词按天计费报价四平百度竞价包年推广重庆如何制作网站推荐常德网页制作公司歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

    PHP网站源码 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化