亚马逊云科技王晓野:针对业务场景更换大模型,而不是一个模型试验不同场景 | 2024 ITValue Summit数字价值年会

要闻 2024-09-14 13:25:56
导读 9月11日-14日,由钛媒体与ITValue共同主办的2024 ITValue Summit 数字价值年会在三亚举行。此次峰会主题为“Ready For AI”,交流经验...
2024-09-14 13:25:56

9月11日-14日,由钛媒体与ITValue共同主办的2024 ITValue Summit 数字价值年会在三亚举行。此次峰会主题为“Ready For AI”,交流经验教训,交叉行业思考,推动创新交易,以创新场景为基础,共同探索AI驱动下数字经济时代的全新机遇,共同打造一场数字经济时代的AI创新探索盛宴。

大会上,亚马逊云科技大中华区产品部技术专家团队总监王晓野发表了“GenAI驱动场景创新,释放业务价值”的主题演讲。

他表示,企业应当针对业务场景了解模型的能力,而不是基于不变的模型不断尝试不同的场景。“今天所有的大模型,我们都认为它是三头六臂,但一定要从企业最想要的功能出发去选择,这个三头六臂有的练的是铁头功,另一个练的是麒麟臂,一定要匹配最需要的模型。”

此外,数据基础非常重要,王晓野提到,大模型系统先天就具有幻觉现象,无论是模型也好,还是与模型一起构建的系统也好,从数据的视角看,系统永远是“垃圾入垃圾出”,或许让企业真正发挥业务价值的答案,就在数据里。

最后他表示,企业在选择大模型合作伙伴时,需要有两个方面的能力,一方面是基础技术能力,云厂商从整个算力到数据能力,以及人员支持上能与企业共创。

“从云厂商的视角看,此时此刻是技术变革的转折点,这是前所未有的重塑业务的最佳时机。“他说。

以下为王晓野演讲内容,经钛媒体整理:

近些年来云计算爆发,越来越多的企业拥抱云计算,推动了从数据到算力,乃至于云计算整体的发展。过去的模型被生成式模型逐渐替代,它在很多的场景下比小模型有更好的表现。

2024年IDC预测全球40%的企业会在AI上投资,到了2025年是68.6%。现在各位有没有这样的感觉,AI是不是到了像之前的元宇宙一样,走到向下行或者这一波浪潮结束的阶段。

给出答案之前,先来看看我们的合作伙伴法拉利。法拉利在使用AI技术定制化汽车的颜色,以及赋能几千名维修人员,同时生成式AI也广泛加速汽车模拟场景的AI应用。

回到刚才提的问题,如果说2023年大家处于FOMO(Fear of Missing Out)的状态,追着我们问,什么是大模型,大模型能做什么,我们能在什么场景用。到了2024年,客户跟我们谈得最多的是实际的问题,这个模型后还能不能再便宜一点,能不能用其他的模型替换。这一年AI话题虽然被讨论了很多,但还只是一个开始,相信下一个时代,由于技术的改变,各行各业会更积极地拥抱AI。

我们很早以前就推荐给广大企业,拥抱生成式AI的路径。即从业务场景开始,再准备数据,必经的过程是企业对自己的数据进行定制,最重要的是后面的工程化和应用集成,并服务到业务中。这个过程不是一蹴而就,需要持续地迭代。直到今天这个过程完全没有变。

大模型的关键,在于匹配场景

我想强调的一件事情,还是从场景出发,企业自身的场景,而且反复迭代。今天所有的大模型,我们都认为它是三头六臂,但一定要从企业最想要的功能出发去选择,这个三头六臂有的练的是铁头功,另一个练的是麒麟臂,一定要匹配您最需要的模型。

以亚马逊云科技自身来讲,我们自身应用AI的场景是不一样的,我们推出了生成式AI快速总结客户评价;如果想给一个小姑娘买圣诞礼物,我们推出专业的AI购物助手;在药房的场景下,可以从非结构化的处方信息快速提取用药信息,帮助药房捡药,告诉病人如何使用药品。每个场景背后都不是相同的模型。

虽然有些场景看似眼熟,但细分关注的信息和需要的能力不一样。比如翻译,文章翻译和实时翻译,推理的速度要求不一样,在时效性要求高的场景下,企业要关注的是模型是否能以比较低的成本高速响应需求,满足场景。

再如以前的翻译可能关注准确性,但是在企业广泛出海的情况下,关注的是对于当地文化的理解,企业在本地运营语言翻译既要合规,同时具有当地文化特色。我们的合作伙伴NOTTA是专注于做会议转录的公司,利用大模型将业务快速扩展到50多个国家。

在智能运营场景,对于用户声音、客户评论情感的分析,以及对应词条背后逻辑关联的梳理。SHULEX致力于赋能品牌出海,对于用户的流程有10%以上的效果提升。

在品牌宣传营销场景,我们看重的是模型的个性化、丰富程度。例如赛狐ERP,利用大模型生成文案,同时可以控制生成关键词,不仅实现文案生成效率的提升,还植入亚马逊云科技检索的关键词。

在客服场景,我们也需要不同方向的能力。第一,知识内部的高度总结,需要模型能够在抽取信息之上有比较好的总结。例如华通证券应用大模型大大缩短了客户响应时间。对于虚拟助理场景,我们关注的是结合用户信息、过往交互,判定他是采购一个新的产品还是做投诉,华宝新能用自己的客服机器人进行识别,轻松识别是做售前关怀还是售后支持。

对于风控场景,我们看到的是模型对于内容的理解,以及对于审核标准的执行,今天多模态的模型,除了文字、语言,还有类似游戏聊天窗口发的图像。连续多模态语意的理解,这是过去模型做得不太好的地方,目前沐瞳科技实现了90%以上的辱骂识别率。

讲了这么多场景匹配,核心的观点是我们认为不会有一个模型一统天下,我们希望通过Amazon Bedrock这样的产品,让绝大多数的用户了解到不同领域的模型,在国内中文的语境和出入境合规的场景下,需要本地模型的支持,我们也在积极的跟国内企业合作,选择最适合企业的模型匹配他们的场景。

Ready for AI,数据先行

在模型之外,数据的重要性不言而喻。

无论是模型也好,还是跟模型一起构建的系统也好,从数据的视角看,这个系统来说永远是“垃圾入垃圾出”,无论是训练模型还是通过知识库,喂给系统什么样的数据出来就是什么样的效果。

今天生成式模型原理上存在幻觉,或许让企业真正发挥业务价值的答案,就在数据里。

从Data for AI看,企业额外投入的是这几个层面:第一,迭代模型视角,有没有足够的能力为模型准备优秀的数据,有没有建立数据的闭环;第二,在整个模型应用的过程中,数据如何高效提供给业务,比如知识库可以检索公开数据,调用海量的知识。假设今天搜索场景高并发的情况下,能不能提供在线服务和线下海量交互生成的数据循环回来,为模型服务的数据能力是否具备。这些场景都是企业需要投入和思考的。

如何应用数据定制企业自身的独立特点?我们可以做PE(Prompt Engineering),可以做RAG,可以微调。很多人走了认知上的弯路,这不是我们技能上出了问题,是整个行业都在摸索、共创、探索。

刚才提到数据服务AI,如果没有做好元数据管理,企业有什么数据不知道怎么用,那就是一个挑战,也可以说是新的机会。过去我们只能基于表格或者数据库整理数据,通过人工梳理的元数据,今天有非常多的数据用到模型的能力,重新定义元数据管理。

举个例子,在汽车自动驾驶领域,驾驶数据实际上只有1%真正可以用来做模型训练,或者是对模型训练的结果有用。多模态对场景的理解是非常好的机会。全球已经有非常多的数据厂商都走向这个方向,包括做数据集成,他们已经推出生成式管理。Data for AI这件事在数据管理上又是一个新的机会。

回到数据能力,数据能力好意味着什么?有几个例子,第一个是WPS,基于过去PPT生成模板,在短短的几个月内帮他们实现两个场景,一个是文本的润色翻译,二是PPT自动生成,大模型完成大纲生成和详细描述,背后的模板生成都是常年积累下来的数据。

当企业构建一个应用时,我建议大家加强数据技术的能力,同时要关注选择什么样的项目。不知道如何立项时,从自己的客户,无论是内部、外部,还有自己的场景出发,背后还有非常重要的一些事情,人员的技能。

对于生成式AI,要求的技能完全不一样,包括工程化的技能、生成式的图片,如何管理隐私数据的保护,这些事情过去都是要做的,只是生成式AI的要求更高,对企业需要投入的资金,以及能力、精力提出了前所未有的标准。

亚马逊云科技不仅从云产品技术上服务客户,我们还有非常多的团队,有以年为周期的联合实验室,有专业数据的应用科学家和模型科学家一起研究,积累了对模型能力的了解,对数据能力的了解,以及工程化能力。

举一个西门子的案例,西门子之所以在很早就取得了成果,第一,多年前我们已经有非常强的合作,构建了西门子内部大平台,才有了后面的数据RAG,也非常符合今天的主题,“Ready For AI”。第二是大语言模型,我们成立了共建部门,并且发布了西门子“小禹”机器人,服务于西门子。

快速总结成功企业的经验,一是要针对业务场景了解模型的能力,而不是本着不变的模型不断地试不同的场景。第二是数据的基础非常重要,第三,如果说选择合作伙伴,需要有两个方面的能力,一方面是基础技术能力,云厂商从整个算力到数据能力,以及人员支持上与企业共创。同时,我相信我们的企业在未来的投入的比例上,数据、人才和背后整个公司对于AI数量的投入占到未来企业精力50%以上。

从云厂商的视角看,此时此刻是技术变革的转折点,这是前所未有的重塑业务的最佳时机。借用法拉力的话结束今天的演讲,最伟大的法拉利永远是没有设计出来、制造出来的下一款。

以上是我的分享,谢谢!

免责声明:本文由用户上传,如有侵权请联系删除!