专访亚马逊云科技 AI 科学总监：Scaling Law 是否依然有用
发布日期：2025-01-12 06:08 点击次数：194
今天基础大模子界限呈现出「一超多强」的行业样式，OpenAI 依然占据着王座，但 Meta 的 Llama、谷歌的 Gemini、Anthropic 的 Claude，以及 Luma、Suno 等垂类模子「列强」，也在往日一年里快速发展迭代，以至在细分界限终明晰对 OpenAI 的弯谈超车。
最近，一个新玩家加入到这一阵营。刚刚戒指的 re:Invent 2024 大会时刻，亚马逊讲求发布新一代 Nova 系列大模子，其中既有高性价比的实用模子，也有可用于定制模子蒸馏的「高性能模子」。同期还提倡了 Any to Any 的新理念，要在来岁终了从多种模态输入到多种模态输出的解放 AI 生成。
该模子的覆按是由亚马逊云科技团队主导，行动全球最大的云狡计平台和基础设施就业供应商，亚马逊云科技在 re:Invent 2024 时刻发布了一系列触及 AI 基础设施、AI 应用开荒、再到实用 AI 应用的期间更新。
Sherry Marcus 博士是亚马逊云科技生成式 AI 科学总监，她携带的团队主要负责 RAG（Retrieval-Augmented Generation，检索增强生成）Agent 和模子蒸馏等使命，同期她也疏淡练习新发布的 Nova 系列模子，以及 Amazon Q 等 AI 应用。
在 re:Invent 2024 时刻，极客公园等国内媒体采访了 Marcus 博士，她向咱们共享了对于 Nova 的期间特质、畴昔标的，以及她对模子蒸馏、排斥幻觉、Scaling Law 等行业热门话题的念念考。
Sherry Marcus 丨来自：亚马逊云科技
以下是采访内容，由极客公园整理。
Sherry Marcus：我的团队主要负责一些具体的期间使命，比如 RAG Agent 和模子蒸馏等。感谢世界今天的到来。
问：你们在推出 Q for Business 这个产物线时，是否达到了预期观念？
Sherry Marcus：你可以把它看作一系列基于 Amazon Bedrock 的应用才略，这些才略包括预界说的 RAG 模子等一系列才智。客户可以愚弄这些期间来开荒他们我方的应用才略。实践上，咱们还是在客户浸透方面取得了可以的得益，况且还提供了一些基于 Amazon Bedrock 的繁衍产物。咱们通过多种款式为客户提供措置有筹商，具体款式取决于他们的数据需求。
问：对于 AI 幻觉问题，你们有哪些措置有筹商？
Sherry Marcus：咱们有措置有筹商应答 AI 幻觉问题。今天你可能在 Matt 的主旨演讲入耳到了，咱们推出了「自动推理」才智（Automated Reasoning），以确保诳言语模子的正确性。现时，已有一些用户的实践应用案例，尤其是在安全和基础设施配置等界限，咱们提供了关联措置有筹商。
此外，咱们还有一个名为「坎坷文语境打磨」（Contextual Grinding）的措置有筹商，它确保诳言语模子在基础旨趣和真确信息的基础上判断输出内容的准确性，以减少 AI 幻觉。诚然无法保证 100% 的排斥幻觉，但现时咱们的有筹商还是在行业中处于跳跃水平。
问：能否谈谈面向配合资伴的 Bedrock Marketplace for Partner？
Sherry Marcus：这个现时还不成对外发布，翌日的主题演讲后才会有关联信息。不外，我可以肤浅先容一下。Bedrock Marketplace for Partner 允许模子供应商向平台提供他们的模子。客户可以在 Amazon Bedrock 上使用这些模子，以终了多种功能应用。它是 Bedrock 平台的一个策略撑握，旨在为客户提供尽可能多的模子礼聘。
问：你们还是有一些紧要的模子供应商加入了对吗？那么配合资伴淌若使用这个 Marketplace，是进行销售吗？具体是若何操作的？
Sherry Marcus：是的，配合资伴是模子的开荒者，若其他客户在 Bedrock 上使用了他们的模子，配合资伴就能赢得收益。这个 Marketplace 主要面向诳言语模子供应商，他们通过向 Bedrock 提供 API 来赢利。咱们有多个 Marketplace，而你提到的这个 Marketplace 只针对诳言语模子的开荒者。翌日 Swami 的演讲会有更多具体信息。
问：淌若在使用配合资伴模子时，出现安全或其他问题，牵涉若何鉴别？
Sherry Marcus：咱们会共同分摊牵涉。大无数模子供应商在发布之前会进行微调，针对偏见和常见抨击举止进行贯注，这是他们的「零层精通」。在模子插足 Amazon Bedrock 之前，咱们会对其进行诚挚性、无偏性、清晰性和安全性测试。第二，针对使用这些模子的客户，咱们提供了一个名为「Guardrail」的就业，客户可以凭据需求制定更高的安全轨范，以至礼貌一些无法斟酌的明锐话题。
问：现时许多用户齐会将 Nova 与 ChatGPT 等器用进行对比。你以为 Nova 与其他器用比拟，有哪些特有之处？
Sherry Marcus：Nova 的联想斟酌了客户需求的三个中枢点：低资本、低时延和高准确性。在构建 Nova 时，咱们见效地裁减了资本，同期确保其准确性与其他模子极端，资本比其他模子低 75%。这对于商场来说疏淡有勾引力，因为许多插足商场的壁垒实践上便是资本。淌若能裁减资本，客户的购买意愿会更强。此外，Nova 是一个全新的系列，它与 Titan 不同，接受了新的专科常识和学术积存，因此与竞争敌手比拟，Nova 具有很强的竞争力。
问：对于 Nova 的升级规划，你们有什么运筹帷幄？与竞争敌手比拟，若何保握升级速率？
Sherry Marcus：是的，我也珍藏到大模子的更新速率疏淡快，比如从 LLAMA 2 到 LLAMA 3 仅用了三个月。Nova 的升级规划是尽量与竞争敌手保握相似的速率，但亚马逊的款式有所不同。咱们疏淡珍藏与客户的配合，在推新功能和普及性能时，更多地依据客户在使用 Nova 后的反映来作念调治，这亦然咱们的不同之处。
问：Scaling Law 是否依然有用？为什么？
Sherry Marcus：是的，Scaling Law 依然有用。我认为这是一个数据问题。神经集会越大，准确度就越高。这实践上和咱们所覆按的数据集接洽，语义数据的积存能让 Scaling Law 更有用。数据源头不停丰富，也使得覆按和微调诳言语模子变得愈加高效。尽管生成的数据可以用于覆按，但淌若用来覆按一个大模子，其成果会裁减。
问：企业用户在使用大模子时，可能会遭受数据质料不高的问题。若何更好地愚弄行业已有的模子支握客户开荒袖珍模子？
Sherry Marcus：咱们建议使用「老师模子」（supervised teacher model）并接受蒸馏期间。通过这种法子，学生模子可以像老师模子同样准确，尽管它频繁基于行业特定的应用场景。蒸馏大意匡助提高小模子的准确性，同期幸免使用过于宏大的数据集。
问：大模子会不会取代小模子，尤其是在 AI 产物性检界限？
Sherry Marcus：不会，我战胜两者会并存。在一些特定任务中，仍然会使用小模子，而大模子领悟过 API 调用小模子来实行一些图形检索等任务。小模子对于特定的应用场景疏淡有匡助，可以裁减资本、减少时延并提高性能。
问：Nova 的典型客户有哪些？
Sherry Marcus：现时，Nova 的用户袒护鄙俚，从金钱 100 强的大企业到初创公司齐有。他们齐在使用 Amazon Bedrock。Nova 疏淡适用于需要推理才智的场景，举例金融行业的对话和信息汇总，触及从当然话语到 SQL 的调治，以及背后的狡计需求。
