微软万引表面大佬跳槽OpenAI！入职第一天：这里东谈主才密度险些疯了
发布日期：2024-11-27 15:23 点击次数：164
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI据说确认，微软机器学习表面万引大佬，官宣跳槽加入OpenAI。
入职第一天，他便发出如斯感触：
这个地点的东谈主才密度，险些是疯了！
话一说出去就赢得印证，他口中的东谈主才们都来批驳区列队接待了。
他是Sebastien Bubeck，微软前AI副总裁和凸起科学家，在微软责任10年。
2021年，他曾用一篇表面商榷展示扩大AI模子畛域的伏击性，匡助劝服微软CEO纳德拉在AI基础要领上增多数十亿好意思元的投资。
他的事业活命前15年都参加在贪图机表面和机器学习表面，商榷的是凸优化、在线学习和抵挡庄重性这些问题，直到——
微软行为OpenAI勾通伙伴，派他参与了未安全对都版GPT-4早期测试，时代他来了一场戏剧性的转型。
全面转向AGI商榷。
在其时外界还只战斗过GPT-3.5的配景下，看起来就像“表面学者转型商榷科幻了”，而他本东谈主是这样讲解的：
刻下我更暖和大型言语模子中智能是怎样造成，怎样垄断这种阐明擢升模子性能，并可能迈向构建AGI。
咱们的要领称作“AGI的物理学”（Physics of AGI）。
之后他便率领微软团队发布一篇154页的GPT-4推行呈报《AGI的火花》，一时引起全业界颤动，成为东谈主们对AI过高期待的伏击推手。
自后他承认过其时的推行要领并不算严格，但并不后悔，并坚握“莫得字据含糊GPT-4依然具有一定推理本事”。
在转型时代的一次演讲中，他共享了我方对“Transformer到底有什么卓绝之处”的念念考，指出许多东谈主容易忽略的小数：Transformer不是序列模子。
与RNN等模子关节辨别在于Transformer一次不断一个连合，而不是序列中的单个输入。
连合是一种雄伟的轮廓档次，让模子能看到元素之间的关联，从“十足机器”变成相对机器。
此次他加入OpenAI的时机很是奥秘，本东谈主强调是在“建造安全AGI的关节时刻加入”。
微软发言东谈主的声明中也提到，“Sebastien已决定离开微软，以进一步建造AGI”。
同期，刻下亦然OpenAI和微软定约渐渐闹翻的时刻，奥特曼和OpenAI首席财务官近期对职工牢骚，微软举止速率不够快，莫得提供富饶的事业器。
两家运行相互视对方为备胎，OpenAI找了甲骨文作念额外的云贪图供应商，微软也运行在旗下居品中接入谷歌和Anthropic模子。
不得不说，很耐东谈主寻味。
一篇论文影响微软对AI的数十亿好意思元参加Sebastien Bubeck，2010博士毕业于法国里尔第一大学数学专科。
在普林斯顿大学作念三年助理老师后，于2014年加入微软，从无为商榷员所有这个词作念到VP。
在2023年转型AGI商榷之前，就凭表面商榷获利上万被引，刻下总被引数来到23475。
2021年他与斯坦福博士生Mark Sellke合著论文《A Universal Law of Robustness via Isoperimetry》，不仅入选NeurIPS2021凸起论文，也对微软和所有这个词东谈主工智能业界产生影响。
这篇论文讲解了为什么彭胀中教练模子需要的参数比表面残忍的要多得多，匡助劝服微软CEO纳德拉和微软商榷院院长Peter Lee等，在AI基础要领上增多数十亿好意思元的投资。
随后这些对数据中心和先进GPU的投资为OpenAI提供了教练和部署大模子的支握。
Peter Lee自后默示“这是所有这个词东谈主工智能之旅中很是伏击的时刻，不仅关于微软，而是关于统统大型科技公司”。
在转型商榷AGI后，他在商榷中讲解了我方的新标的：AGI的物理学。
他觉得Transformer和当然界同样都是复杂系统，需要用物理的要领去商榷。
物理学的中枢在于将一个系统进行剖释，辨别坐褥生所不雅察到的举止的实在关节身分。
第一步从通过可控的推行，商榷小畛域“玩物模子”运行。
随后他就在微软开启了Phi系列小模子商榷，抑制教练数据中独一教科书级别的高质地数据和合成数据，并发表论文《Textbook is all you need》。
到刻下Phi系列小模子已迭代到phi-3.5版块，在土产货大模子推理器用ollma上，开源模子中受接待程度排第5。
One More Thing
Bubeck在《AGI的火花》论文中，展示了满血版GPT-4通过代码画独角兽的本事，随教练程度增长赶快。
他觉得异日这是考验大模子本事的一个酷爱的造就圭臬，也成了这个meme的代言东谈主。
但大略出乎他猜测的是，今天的主流模子不仅能胜任绘画，以至能组团玩你画我猜了。
参考流畅：
[1]https://x.com/SebastienBubeck/status/1851762399491375592[2]https://www.youtube.com/watch?v=XLNmgviQHPA&t=643s[3]https://nips.cc/virtual/2021/oral/27814[4]https://www.geekwire.com/2024/ai-dreams-microsoft-50-chapter-1/— 完 —
量子位 QbitAI · 头条号签约
暖和咱们，第一时刻获知前沿科技动态
上一篇：大模子解锁新式工业化“大脑”