兼容异构大模型、国产算力,蚂蚁数科SOFAStack发布全栈AI服务

要闻 2024-06-28 22:31:28
导读 6月28日,伴随大模型落地从通用技术进步逐步迈向行业可用,蚂蚁数科旗下多云PaaS平台SOFAStack正式发布大模型服务平台AI Max。该平台兼容...
2024-06-28 22:31:28

6月28日,伴随大模型落地从通用技术进步逐步迈向行业可用,蚂蚁数科旗下多云PaaS平台SOFAStack正式发布大模型服务平台AI Max。该平台兼容适配主流开源大模型、国产算力,向企业提供进行模型训练、部署、评估、优化等一站式模型工作台,并实现可视化研发、管理多种具备行业知识库的Agent(智能体)应用,助力企业跑完企业AI应用业务落地的最后一公里。

“大模型的高速发展使得AI不得不面临算力管理复杂、训练推理成本高、任务调度难等多方面发展瓶颈,云原生凭借其高可用、弹性、可扩展等优势成为突破AI困境的关键。”中国信息通信研究院云大所副所长栗蔚指出,“云原生PaaS平台的大模型产品工具链不断完善,将加速大模型技术在行业应用中落地。”

“对企业来说,大模型训练耗时耗力耗资源,AI Max不仅支持主流开源大模型的一键微调训练,还提供三步即完成的零代码模型开发环境,把原先耗费至少3天的训练缩短至1小时。蚂蚁自研的预训练模型与先进的多模态算法,仅需小量数据即可进行训练,进一步提升数据的利用率和模型训练的效率。”蚂蚁数科云原生产品资深总监马振雄介绍。

据了解,基于SOFAStack多云兼容属性,AI Max具备两层核心特性:

在资源层,支持多种国产GPU算力平台纳管部署,企业按需灵活使用资源,使得有限的GPU资源可以高效的被利用起来,同时大大降低服务器使用成本;

在应用层,企业可以根据业务需求快速输出定制化的AI模型,构建服务业务需求的智能体,极大地简化了技术实施过程。

当企业开始构建大模型应用,还需要结合具备行业特性的业务经验。针对金融行业场景,SOFAStack融合金融助理支小助的最佳实践,包含其模型训练、推理能力、智能体研发等方面,可以帮助机构一键生成自身业务特色的智能体应用。过去9年,SOFAStack助力130家金融机构完成云原生架构转型。

“在大模型时代,SOFAStack可以承担PaaS在多云时代扮演的角色——通过构建AI原生软件服务,成为连接算力与应用的中坚力量。”蚂蚁数科云原生事业部总经理王磊表示。

当天,SOFAStack与行云创新、AutoMQ、联创集团、谐云科技等生态伙伴签约,将共建多云、多模型生态,加速大模型在各行业落地。

自今年3月份独立化运营以来,蚂蚁数科悄然推进AI toB战略,SOFAStack、蚁盾等多个代表性产品均发布了大模型相关服务,积极借助AI技术助力产业智能化升级。

免责声明:本文由用户上传,如有侵权请联系删除!