伯克利BAIR Mark Nitzberg ：可靠性问题仍是制约生成式AI发展的主要粉饰｜2024 T-EDGE
发布日期：2025-01-04 14:40 点击次数：115
12月7日，在北京市大兴区举办的2024T-EDGE调动大会暨钛媒体财经年会上，暗物智能DMAI前好意思国CEO、蓝色光标前好意思国总裁符海京和哈佛大学博士、加州大学伯克利分校东说念主工智能实验室实施董事、Dark Matter AI长入首创东说念主、微软/亚马逊照拂人 Mark Nitzberg 张开了一场久了对谈，探讨生成式AI的后劲、窘境与异日。
在Mark Nitzberg 看来，尽管生成式AI在很多任务中展现了显耀的着力晋升——举例回恢复杂问题、生成高质地内容等——但这项技巧仍处于实验阶段，可靠性问题成了制约其进一步发展的主要粉饰。“现时的模子在性能上的确越过巨大，但咱们无法冷落它们在关节场景中的不一致性。举例，一个幽微的输入变化可能导致模子输出谜底出现巨大偏差，而这种造反气性是无法在医疗、交通等高风险范畴被接管的。”
与此同期，Mark Nitzberg 独特提到生成式AI在很多新兴范畴中展现了指数级的着力晋升。举例，他共享了瑞典对多个行业进行的分析研究，其中“建筑缔造”这一范畴因生成式AI的期骗着力比传统表率晋升了约100倍。
不外他也保握了感性魄力。Mark Nitzberg 教导说念：“天然这些着力晋升令东说念主本旨，但它们的可握续性依然取决于咱们能否攻克技巧可靠性的问题。”
Mark Nitzberg 独特强调，要是咱们将生成式AI引入咱们所作念的每一个范畴，就需要确保咱们对莫得它时的操作神态有了了的理解。唯有这么，当咱们引入AI并使其更高效、更快速地运行时，咱们才不会将之前手动操作中的“问题部分”也自动化。
此外，Mark Nitzberg觉得生成式AI向智能体的升沉后劲巨大，但同期也伴跟着复杂的技巧挑战和安全隐患，可靠性和规章机制是异日发展的迫切研究场所。对于异日的研究要点，Mark Nitzberg示意将集结在两个方面：一是多模态数据的整合，二是因果推理的增强。
以下为符海京和Mark Nitzberg对话实录，略经钛媒体App剪辑：
中好意思都尚处于生成式AI的“实验时间”符海京：接待来到2024年T Edge大会。由于特殊情况，今天的特邀嘉宾无法躬行到场与众人面临面相通，是以咱们独特安排了连线对话。让咱们聊聊你的实验室，以及AI范畴有什么新的动态？
Mark Nitzberg：好意思国加州大学伯克利分校是全球顶尖的高等耕种机构之一，同期亦然一个相配优秀的AI实验室所在地。这个实验室很兴味，因为它是一个人人的AI实验室。咱们有70位耕种，还有高出400名博士生，其中很多是中国籍学生，以及洪水横流的本科生。
AI还是以某种神态融入了东说念主类活命的方方面面。但咱们试验上仍处于生成式AI的实验时间，这一切才刚刚启动。
AI的基础是数字筹算基础设施，而这种基础设施简直还是介入了东说念主类的每一项行动。这背后是全球互联网。几年前的数据标明，东说念主类每年创造的数字数据量达到120泽字节（zettabytes）。这是一个相配高大的数字，颠倒于1200亿TB，而你手中的开荒可能唯有1TB的存储空间。
互联网不错说是东说念主类最大的技巧创造，指示了咱们扫数东说念主以及无数开荒。这些数据的生成为AI的打破奠定了基础。这些数据的生成，以及提供劳动的公司高度集结化，构建了数据、收集和处理才略的基础设施。这些基础设施使得神经收集的发明成为可能，因为检验神经收集需要大都的数据。
随后，大的技巧打破是镶嵌技巧（embeddings）和transformers架构，它们催生了大型话语模子（LLMs），这一切始于2017年。因此，生成式AI的影响力源于咱们活命在一个领有超强传感器、高度指示的开荒和高度集结的数字劳动的全国。这一切组成了生成式AI的基础。
符海京：我念念众人可能会瞻仰，生成式AI如安在不同的地舆区域和不同业业中产生影响？
Mark Nitzberg：生成式AI的出现存一些值得理解的关节点。要是你要构建一个规章像水电大坝这么苍劲系统的筹算系统，就需要期骗典型的工程表率来规章其行动。比如，你需要设定运行速率的上限，或者确保它不会高出某些阈值。
这是一个令东说念主本旨的长进——咱们不错使用看似“智能”的话语模子来规章水电大坝。然而，这些变换器模子的骨子是一个巨大的电路板，就像一个混音面板，但这个混音面板稀有万亿个旋钮。每个旋钮在检验进程中都会被调遣。你输入一些数据，要是输出收尾不允洽预期，就调遣旋钮。这个进程重迭上百万亿次，最终你会获取一个扫数旋钮都调遣好的电路板，这就是咱们当今使用的话语模子，比如GPT-4等。
这些交易模子有几个共同点。最初，它们相配苍劲，大略完成很多令东说念主诧异的任务，比如回答各式复杂问题、生成图像等，它们在宽泛的期骗范畴中发挥出色。
然而，它们也有一个共同的问题，那就是不可靠。也就是说，你不行指望一个话语模子去回答医疗问题。天然咱们不错在它们外面构建一个所谓的“安全层”，但试验上很难对这些模子的行动提供任何时势的保证。这也在一定进程上规章了它们的期骗范畴。
咱们目下仍然处于生成式AI的实验时间。无论是在好意思国、中国，如故全国其他地方。初步的收尾标明，很多任务不错通过生成式AI显耀加快，并带来更高质地的后果。收尾的晋升取决于用户的警戒水平。举例，照料征询行业的着力不错提高15%到50%，而在编程范畴，有些开发者呈文称他们的着力翻倍。
更兴味的是，咱们看到一些新任务的着力晋升可能是“指数级”的，比如在某些特定范畴，着力可能晋升100倍。举例，我最近了解到，瑞典对其经济各个行业进行了全面研究，发现生成式AI在“建筑缔造”这一范畴的着力晋升最为显耀。这是一个你可能不会念念到会有巨大影响的范畴，但如实如斯。
不外，这些展望需要严慎对待，因为咱们还不知说念是否大略措置生成式AI的可靠性问题。
符海京：这背后的关节是什么？看成别称科学家、实践者和耕种者，你觉得这个转型得手的最迫切身分是什么？
Mark Nitzberg：我觉得，任何过失自动化技巧的共同主题是：它必须允洽其用途。要是咱们将生成式AI引入咱们所作念的每一个范畴，就需要确保咱们对莫得它时的操作神态有了了的理解。这么，当咱们引入AI并使其更高效、更快速地运行时，咱们不会将之前手动操作中的“问题部分”也自动化。
因此，咱们在研究中心独特温雅那些可能会失败的系统，并联想它们时确保：要是发生故障，咱们大略跟踪到问题的源泉，然后进行修正，幸免异日再次出现访佛的故障。这种联想理念是任何工程系统中都应具备的，举例飞机、核电站或大型水电大坝。然而，目下生成式AI才刚刚启动让咱们初步理解它是怎样运行的。
创业者应在细分行业中探索符海京：数据是生成式AI的”汽油”，巨型企业比如好意思国的significant seven和中国的百度具有竞争上风，创业者应该如安在这场转型竞赛中取胜？
Mark Nitzberg：数字化器具正在为下一代提供期骗AI的基础，而这个范畴的期骗仍然是“浩荡不决”的。创业者不错在各个行业中探索怎样期骗这些器具。
举例，咱们正在与加州大学旧金山分校（UCSF）医疗中心合营，开发一种变换器模子的变体。与传统的话语模子检验文本不同，咱们的模子是基于患者调整的临床设施进行检验的。检验数据包括数百万个序列，举例患者初次出现症状、进行的测试、可能开出的药物、后续检验等。这种检验表率产生了一种都备不同的变换器系统，它愈加“可讲解”。比如，当模子建议进行胸部扫描时，你不错理解它这么建议的原因可能是因为发现了肺部问题。这是一种新的场所，其中枢仍然是“允洽用途”。
智能体愈加熟悉可靠性和安全性符海京：我念念谈谈AI的“推理”reasoning才略。我会共享微软今天在Yahoo Finance上的最新声明。他们提到自动化代理（automation agents），并使用了“AI不错更好地推理”的说法，同期也提到它们大略以更复杂的神态感知环境。之前咱们在暗物智能 DMAI戮力于露出AI的脉络架构 （cognitive AI framework），你对微软今天的声明怎样看呢？
Mark Nitzberg：这是一个相配兴味的场所，亦然生成式AI异日发展的关节范畴之一。微软提到的试验上是AI从器具型系统向更高档智能体（agent）升沉的记号。这意味着AI不仅大略处理输入和输出，还不错在复杂环境中感知、推理并摄取行动。
但这里需要预防的是，所谓的“推理”并不是传统道理上的逻辑推理，而是基于大都数据的统计研究性和模式识别。换句话说，现时的AI在某种进程上模拟了东说念主类的推理进程，但它并不委果“理解”所作念的事情。这种才略的晋升更多依赖于模子的复杂性和检验数据的质地。
此外，环境感知的复杂性也建议了新的挑战。AI需要处理多模态数据（举例文本、图像、声息等），并在动态环境中及时作念出反应。微软的声明标明，他们的推敲是将AI从静态的生成器具升沉为动态的智能体，大略感知环境、推理因果研究并作念出自主有推敲。
然而，这种升沉也带来了更多的问题，尤其是对于可靠性和安全性的问题。一个大略自主感知和推理的系统，要是莫得明确的规章和规章机制，可能会带来出东说念主料念念的后果。因此，咱们需要在开发这些系统时，确保它们的行动是可展望的，而况大略在失败时跟踪问题源泉并进行修正。
符海京：你提到的可靠性和规章机制如实是一个关节问题。那么，你觉得在这一范畴，接下来的研究要点应该是什么？
Mark Nitzberg：我觉得接下来的研究要点应该集结在两个方面：一是多模态数据的整合，二是因果推理的增强。
在多模态数据整合方面，咱们需要开发更苍劲的模子，大略同期处理和理解来自不同源泉的数据。举例，一个智能体可能需要同期处理录像头拿获的视觉数据、麦克风拿获的音频数据以及用户输入的文本指示。这需要模子具有更高的天真性和得当性，同期也需要更高效的筹算资源。
在因果推理方面，咱们需要让AI不单是停留在研究性分析上，而是大略委果理解因果研究。这对于复杂环境中的有推敲至关迫切。举例，在医疗会诊中，AI需要知说念某种调整表率为什么有用，而不单是是基于历史数据的模式展望。这种因果推理才略的晋升将使AI在关节范畴（如医疗、自动驾驶和金融）中更具实用性和可靠性。
总的来说，AI的异日在于从“器具”向“智能体”升沉，但这一行变需要咱们在技巧、伦理和战术层面上进行全面的探索和和解。
符海京：这意味着AI不错实施更复杂的一系列任务。你是否乐不雅地觉得这真实在发生，如故说它依然是一个不可展望的“黑箱”？在推理方面，Satya Nadella（微软 CEO）提到，直到最近，话语模子的行动中如实存在一个很大的“缺口”。它会给出一些失实的建议，无法正确地进行推理。比如，要是你告诉它“海伦是大卫的母亲”，它无法推理出“大卫是海伦的男儿”。在这方面，它的推理才略并不完善。不外，经过显耀的检验、架构上的调遣和优化，它的发挥如实有了很大的晋升。
Mark Nitzberg：然而，咱们仍然不知说念这种晋升的极限在那儿。相似，也莫得任何可靠的保证。是以我觉得，微软所评论的是让这些系统在某些特定任务中达到一个实用的可靠性水平——而这些任务畴昔是无法达成的。但我造反气是否不错对这些系统在高关节性任务中使用下注。因为即即是一个小小的苦求变化，也可能导致谜底产生巨大的各别，这种造反气性使它们的可靠性受到质疑。
因此，目下仍然存在争议。微软宣称这些技巧行将措置咱们扫数的问题，这是有一定真谛真谛的，但咱们也有原理保握严慎。我觉得，测试表率和评估机制在这方面很有匡助。咱们不错尽可能地进行详备的测试，但即便如斯，这些系统仍然只是充满后劲，收尾怎样还有待不雅察。（本文首发于钛媒体APP，作家｜蔡鹏程，剪辑｜刘洋雪）
更多嘉宾精彩共享，点击参加2024T-EDGE调动大会官网稽查（https://www.tmtpost.com/event/dzb/tedge2024）
