DeepSeek的更正三重门
发布日期：2025-03-19 13:01 点击次数：189
作为相干布景从业者（北好意思PhD，前 Meta AI，现在AI创业），DeepSeek 带给我的震憾是巨大的。通盘春节的大部分时刻，我都在捧着他们的每一篇论文，一边拍大腿一边惊叹：为什么这样牛X？（笑）
安定下来想考，发现 DeepSeek 同期颠覆了中国东说念主和好意思国东说念主对更正的意志。我想这背后一定存在一种深端倪的结构性才智，一种新范式，是梁文锋和团队专门或者随机间塑造的。
而这，可能才是 DeepSeek 给寰球最大的启示：
DeepSeek的更正三重门：
小天才的规模化 + 华为式的军团平推 + 原创（玄学式）想想
小天才们的到手读 DeepSeek 的论文们（Math, V2, V3, R1, Janus），第一嗅觉是什么呢？一个接一个的原创磋磨服务，像雨点同样噼里啪啦打在你的脸上。
大模子锻真金不怕火是一个相配复杂的软硬一体的工程，而 DeepSeek 的确从头设计了绝大部分要道组件：MLA，GRPO，DeepSeekMoE，DualPipe，FP8夹杂精度，R1-Zero，MTP 等等。范围之广，密度之大，终点震憾。
从学术视角看，这些更正中许多单拿出来，都达到顶会最好论文的水平。是以这第一重门，咱们从一张图提及，DeepSeek 的小天才们。
这张图许多东说念主看过，但调研之后我发现还有许多东说念主不在其中。其中有许多都领有海外竞赛布景（吴作凡，任之洲，周雨杨，罗煜翔等），好多以至是实习或者刚运转读博（DS-Math的作家邵智宏/Peiyi Wang，Zihan Wang等）。对，即是这群年青东说念主，创造了刚才提到的一系列技能。
小天才式的更正，更着名的例子来自于好意思国：GPT 的最早建议者 Alec Radford，想维链 CoT 的建议者 Jason Wei，Sora 的主力孝顺者 Bill Peebles，都是初入职场，以至莫得博士锻真金不怕火的年青东说念主。
咱们把这些东说念主称之为 “小天才们”，因为他们不仅有天才般的 learn 的才智，更首要的是，他们莫得 unlearn 的职守。
DeepSeek 中小天才式的更正
若是给"小天才式的更正"一个界说，那即是：给定握住，寻找最优解的才智。
咱们来例如 DeepSeek 的三个核默算法模块：
MLA：传统 Attention 内存占用太大，若何办？纠正 Attention 模块，通过低秩压缩，让 KV Cache 的服从达到最优。DeepSeekMoE：传统 MoE 群众不够细腻，激活参数大，若何办？纠正 MoE，通过加多分享群众和细粒度群众，大幅栽种了 MoE 中的群众学习的效果。GRPO：传统 PPO 需要锻真金不怕火两个模子，服从低，若何办？通以前掉 Value Model，引入 Group-Relative 作为 baseline，大大栽种了锻真金不怕火服从。抛开专科术语，用东说念主话来相识背后的模式是：一个终点优秀的工程师，遭受问题会尝试不同的技能选型，选一个最好的决议。而小天才会说：在座的都不够好，为什么不重写一个？然后写出了行业最好决议。
这样的例子，在 DeepSeek 的著述里终点多，而每一个背后，都站着一个小天才。
小天才的规模化信赖个东说念主，尤其是年青东说念主的创造力，在硅谷的文化中非频频见。粗略我我方的资历不错佐证：我毕业后加入 Meta，半年后向驾御建议想作念一个全新的内容相识引擎。一个月后，10东说念主控制的捏造团队就确立了。
我想梁文锋应该从 OpenAI 的训戒中参考了许多，他在暗涌的采访中，屡次提到雷同的不雅点：
他我方说过，这样的小天才式的更正，在硅谷每天都在发生。但这不成销亡 DeepSeek 出现的真谛，因为他不仅评释了中国能滋长硅谷型的更正文化，以至还不错进一步规模化这种模式。
毕竟，咱们有着全寰球最多的小天才们（笑）。
瞎想一下，这样的文化，扩散到更多的更正型公司，成为主流，会是怎样的一种盛况？
这是更正的第一重门。
华为式的军团平推若是说，DeepSeek 只是复制了硅谷的小天才模式，为什么会让那些发明这个模式的 OpenAI 们，如斯孔殷？这就要提到第二个要道身分。
当你深度阅读完 DeepSeek 的论文，尤其是 V3，一种新的感受会冉冉表示：这是一个从底层硬件到表层算法的复杂大系统，以优雅的顶层设计丝丝入扣，以大破大立的阵势平推完成。
这即是更正的第二重门：军团式的协同更正。而这，正值即是中国擅长的模式，亦然我借用华为之名的原因。硅谷教父 Peter Thiel，对这种更正有过一个真切的表述。他认为一个着实的操纵式更正，需要构建 Complex, Vertically Integrated System，许多不同层面的更正必须同期发生，并以一种高度协同的阵势组合在沿途。他认为 Elon Musk 见效的根柢，就来自于对这种协同复杂系统的追求。而 Elon Musk，也被认为某些方面是最接近中国企业的（不仅是卷，笑）。
DeepSeek 是如何平推更正的？
在第一重门，咱们拿着放大镜，看 DeepSeek 在三个算法上的极致优化。但这些单点优化，也容易引入超过算法领域的问题。
是以让咱们切换视角，从更全局的视角，来从头相识 DeepSeek 的更正结构，第一条线是模子的迭代节律（这里忽略了许多支线） ：
2023年6月，DeepSeek 确立2024年2月，发表 DeepSeek-Math，建议 GRPO2024年5月，推出 V2，建议 MLA 和 DeepSeek-MoE2024年11月，推出 V3，建议了 MTP 和一整套软硬一体优化决议等2025年1月，推出 R1，建议 R1-Zero震憾吧？从 DeepSeek-Math 的第一次推出，到终末走到 R1，不到12个月。但速率以至都不是咱们参谋的重心。
而是另一条纵向的干线：他的确从基础设施搭建，到底层硬件优化，到模子算法更正，一通盘我方重作念了一套。更要道的是，他们是高度协同优化，逢山开道，遇水搭桥，充满了合座的逻辑性。我来尽最大烦扰，试着梳理一下：
(0) 当先构建我方的集群（萤火），为了更高效的并行锻真金不怕火，那就自研 HAI LLM锻真金不怕火框架
(1) 发现传统 Attention 的 KV Cache 支拨太大，那就用 low-rank 来从头设计 MLA，缓存量着落 90% 以上
(2) 发现传统 MoE 零落分享群众和细粒度群众，暴露才智不够，那就设计我方的 DeepSeekMoE 照看群众细腻度和分享常识问题
(3) 发现引入的细粒度群众在锻真金不怕火中负载平衡有挑战，那就自研群众偏好的路由算法，保证每个群众都锻真金不怕火充分
(4) 发现 MoE 在管线并行（大模子不同端倪分卡锻真金不怕火）中许多通讯带宽和运筹帷幄带宽无法对王人，酿成奢靡，那我方设计 DualPipe 算法照看
(5) 为了确保上头的带宽王人备对王人，平直写 PTX 这种底层言语来绕过 CUDA 铁心，来精确限制 GPU SM 的数目和 Warp 数目作念通讯处理
(6) 发现 NVLink 和 IB 的带宽有三倍差距，那就确保 MoE 算法设计中只路由四个节点的群众，每个节点内平均探询三个群众来对王人带宽
(7) 发现 Tensor Parallelism 通讯支拨大，通过在 MLA 上重运筹帷幄等措施开释显存来平直跳过 TP 要领
(8) 为了进一步栽种锻真金不怕火服从，开辟了细腻化的 FP8 夹杂精度（细粒度量化），在保证锻真金不怕火效果的情况下大幅减少运筹帷幄和通讯
(9) 为了更进一步栽种锻真金不怕火阐发，在锻真金不怕火历程中引入 MTP 让每次锻真金不怕火密度更高
(10) 为了提高 V3 的推理才智，那就拿 R1 来 distill V3 的推理
(11) 为了在强化学习中少锻真金不怕火一个 Value Model，开辟出 GRPO
(12) 为了照看小推理模子 Self-play 推理学习的不足，就把大模子学出来的推理通过 Distill 注入到小模子里
(13) .... more
然后昂然来了：在先容完决议的终末，V3 专门开辟章节，建议了一系列对硬件厂商设计下一代芯片的决议，包含宽广的对通讯，量化算子的设计。
于是我茅开顿塞，在 DeepSeek 的脑海中，是把创造 AGI 这件事情，四肢一个大蓝图的，而这个蓝图是莫得规模的。算法？通讯？数据？硬件？都在我需要照看的领域内，况且高度协同的平推下去。我以至认为，若是给他们宽裕的元气心灵和钱，他们会作念我方的硬件，造我方的电网。
这是着实更正者的阵势，就像乔布斯说过：
着实在乎软件的东说念主，应该去制造属于我方的硬件
背后的中国元素
和小天才模式不同，这种模式恰正是硅谷文化中相对暴戾的，马斯克以外。
2019年我归国，发现字节和快手的保举才智比 Meta 强，那时很随机。然后我运转了解到华为，到今天，以华为为代表的中国式组织，在海外竞争中开释了巨大的能量，电动车、内容分发、智能硬件以至电商。
只不外，今天是 AGI 这个会改变端淑走向的领域，DeepSeek 以如斯迅猛的姿态登场，再一次刷新了全寰球的默契。
这即是更正的第二重门。
不错看到在 DeepSeek，当咱们把更正的第一重门（小天才式）和第二重门（体系协同式）和会在沿途，Boom！威力相配大。
原创（玄学性）想想那是否还不错不绝往下挖掘？是否存在一种更底层的更正元素？一个雷同 o1 或者 R1 这样的颠覆式更正系统，构建于什么基础之上？
谜底是一个原创的、全新的系统结构。那这个原创的结构，又从何而来？
回报这个，我想援用一段我很可爱的 Ilya 的话（视频前2分钟）：
我可爱想考终点基本的问题...的确不错将这些问题视为玄学问题。例如，什么是学习？什么是训戒？什么是想考？...
我认为技能就像是一种当然力量，但看起来咱们不错通过设运筹帷幄法，来作念灵验的事情，同期解答这些(玄学问题)。这就像是一种 独揽玄学。
没错，第三重门的谜底，是一种 近乎玄学式的，原创的想想。
若是咱们把视角拉远，看一下以前十年 AI 的更正源泉。离别是：Google 2017年的 Transformer，DeepMind 2017年的 AlphaZero，以及 OpenAI 2018年的自转头模子 GPT。
然而这不单是是三个模子啊，内核是三个玄学性想想，对于“学习”的实质：
(1) 用什么结构来相识寰球万物，和他们的内在关系（Transformer）
(2) 如何通过赓续的量度，把寰球万物的复杂性压缩到直观中（GPT）
(3) 若何基于直观构建深度想考，完成对寰球的进一步综合（Zero）
咱们今天看到的 OpenAI o1，或者 DeepSeek R1，都是这三个玄学性想想，组合后的产物。从想想启航，先搭建了一个基础的系统结构，然后通过第一重门和第二重门的更正，把这个结构极致的打磨和再组合，显化成今天改变寰球的居品。
玄学性想想的创造为奈何此阴事？因为他们并不是为了找到一个优秀的解法，而是为了问出更实质的问题。
DeepSeek 跳跃第三重门了吗？我想梁文锋可能也会说，今天的 DeepSeek，还莫得展现出这种原创（玄学性）的更正。但我却在读他们的笔墨中，瞟见了藏在背后的但愿。
第一个例子，是对于 MLA 的产生，开始于一个磋磨者 “总结了 Attention 架构的演进规则”：
第二个例子，是 DeepSeek-Math 著述中很大篇幅，分享了对所有后锻真金不怕火历程的调和框架的意志。尽管有雷同的想想存在过，但你似乎不错感受到那些背后庞杂界的横蛮参谋。
第三个例子，则是他们在 R1 中伸开的 R1-Zero 的探索，这个斗胆的尝试，但愿跳过所有的后锻真金不怕火要领，让大模子在直观模子的基础上，王人备不依赖标注数据，自我演进成一个有想维才智的模子。R1-Zero 没灵验到最终的 R1居品 中，但论文中却浓墨重彩的探讨他的启发真谛。对，以及阿谁 Aha Moment，原文是这样写的：“这不单是是模子的 Aha，亦然不雅察模子的磋磨者的 Aha！”
是以，你感受到了吗？在克制的技能言语背后，藏着一种无法隐讳的甘心和怜爱。这是庞杂界的有趣心的滋味，这是迫不足待想和寰球分享的滋味。
是原创的、玄学式的想想，呼之欲出的滋味。
终末一块拼图我不知说念梁文锋是不是中国的 Ilya Sutskever，但我确信一个跨过更正三重门的组织，需要一个想想性的魁首。说到这里，今天 OpenAI 最缺的，不即是这个吗？（写第一篇时的热枕重现）
谁都无法量度畴昔。但也许哪一天，在 DeepSeek 的新论文中，会出现 Transformer 和 AlphaZero 级别的全新想想。
更斗胆少量，若是咱们在 DeepSeek 的启发下，产生了许多全新期间的更正型组织，在各自的领域跨过更正的第一重门和第二重门，并进一步产生了一批颠覆式的想考者，和原创的、玄学性的想想。
再斗胆少量，若是这些想想和更正效果，以透明和洞开的阵势分享给全寰球。这样的寰球，你会更欣慰参与吗？
这是 DeepSeek，会着实让历史记取的东西。
本文作家：Me.bot独创东说念主陶芳波，开始：Tao写字的场合，原文标题：《DeepSeek的更正三重门》
风险教导及免责条件 阛阓有风险，投资需严慎。本文不组成个东说念主投资建议，也未筹议到个别用户迥殊的投资宗旨、财务景况或需要。用户应试虑本文中的任何观点、不雅点或论断是否相宜其特定景况。据此投资，使命自诩。