昇思MindSpore 2.0,框架全新升级,使能科研创新与产业应用

AI应用信息2个月前发布 XIAOT
100 0
昇思MindSpore1.0版本实现了业界首个全场景AI框架,1.5版本开始原生支持大模型,经过社区开发者们一年多的辛勤努力,我们正式发布昇思MindSpore2.0,实现全新技术升级,使能科研创新与产业应用。

在最新2.0版本,我们支持多维混合自动并行能力,提供大模型套件支持一站式训练,打造大模型最佳训推平台。在提升易用性方面,提供了大量开箱即用的模型套件,且支持灵活高效的动静统一,同时打造AI+科学计算领域套件,突破前沿特性,助力行业技术创新等,下面就带大家详细了解下2.0版本的关键特性。

 

大模型训练与推理

昇思MindSpore 2.0版本提供一站式大模型训练、推理一体化能力,提升训推性能及可跑模型规模,提供套件降低训练成本。

昇思MindSpore 2.0,框架全新升级,使能科研创新与产业应用
1.原生支持大模型,多维混合并行能力业界领先

昇思MindSpore目前支持数据并行、模型并行、MoE并行、流水线并行、优化器并行、异构训练等多种并行方式,可以原生实现大模型训练,是目前业内大模型训练的最佳框架之一。基于昇思MindSpore,国内外的厂商已经训练22+个大模型,参数规模从百亿~万亿之间,新增支持LLaMA、Bloom、GLM、GPT等百亿大模型。

昇思MindSpore 2.0,框架全新升级,使能科研创新与产业应用
2.支持全场景统一推理,大幅提高部署效率和推理性能

(1)多后端归一:一个发布包同时支持Ascend/GPU/CPU,简化部署成本,实现极简上线;

(2)MindIR原生支持:MindSpore训练后模型直接使用MindIR无缝推理,缩短模型上线周期;

(3)模型格式统一:支持三方生态(TF、ONNX、Caffe)导出MindIR,实现推理格式归一,减少线上维护工作量;

(4)优化策略多样化:支持算子融合、常量折叠、格式转换、冗余算子消除等推理优化策略以及支持AVX512等高级指令优化算子,提升模型推理性能;

(5)大模型极致优化:针对主流的Transformer大型网络进行深度融合优化,减少模型内存占用,大幅提升推理性能。

昇思MindSpore 2.0,框架全新升级,使能科研创新与产业应用

MindSpore Lite参考文档:

https://mindspore.cn/lite/docs/zh-CN/r2.0/index.html

3.MindSpore Transformers:大模型训练套件,预置SOTA模型,提供开发流程模块化

MindSpore transformers的目标是构建一个大模型生命周期内,训练、微调、评估、推理的全流程的开发套件,覆盖CVNLPAIGC等热门领域,提供快速开发能力,支持10+ SOTA预训练大模型开箱即用,可一键部署AICC上云。

(1)基于Trainer接口实现2行代码训练,Pipeline接口实现3行代码推理,支持自动模型下载。

(2)提供GPT/GLM/BLOOM/LLAMA等热门领域的模型,支持丰富的下游微调任务,精度与SOTA基本持平,列表如下:

昇思MindSpore 2.0,框架全新升级,使能科研创新与产业应用
4.MindSpore RLHF:20行代码即可实现百亿级模型的RLHF训练,助力用户快速实现自己的“ChatGPT

MindSpore RLHF利用框架具备的大模型并行训练、推理、部署等能力,助力用户快速训练及部署百亿级大模型的RLHF(Reinforcement Learning from Human Feedback,基于人工反馈的强化学习)算法,实现自己的类“ChatGPT”模型。

MindSpore RLHF包含算法所需的三个阶段的学习流程:预训练模型训练、奖励模型训练和强化学习训练。通过集成MindSpore Transformers中丰富的模型库,提供了Pangu-Alpha(2.6B, 13B)、GPT-2、LLAMA、BLOOM等基础模型的微调流程,同时完全继承MindSpore的并行接口,支持一键部署不同规模的大模型到训练集群上。

当前MindSpore RLHF支持的模型如下表所示:

MindSpore Transformers的目标是构建一个大模型生命周期内,训练、微调、评估、推理的全流程的开发套件,覆盖CVNLPAIGC等热门领域,提供快速开发能力,支持10+ SOTA预训练大模型开箱即用,可一键部署AICC上云。

昇思MindSpore 2.0,框架全新升级,使能科研创新与产业应用

表1 :当前MindSpore RLHF支持模型和规模

当前版本支持Pangu-alpha(13B)、GPT2、BLOOM模型进行RLHF训练。未来,我们将提供更多

    © 版权声明

    相关文章

    暂无评论

    暂无评论...