自家芯片助力：SambaNova 推出最快 DeepSeek-R1 671B 推理云功绩
发布日期：2025-04-03 16:08 点击次数：97
IT之家 2 月 21 日音尘，AI 芯片与责罚决议企业 SambaNova 文告在其基于自研 SN40L RDU 处理器的云平台上推出堪称“市面最快”的 DeepSeek-R1 671B 模子推理云功绩，并暗示其 token 输出速率可达每 prompt 每秒 198 个。
SambaNova 的 SN40L RDU 芯片基于台积电 5nm 制程，BF16 算力可达 638 TFLOPS。其弃取了一种三层存储结构：片上的 520MB SRAM 缓存、2.5D 封装集成的 64GB HBM 内存、片外的 1.5TB 超大容量 DDR DRAM 内存，这使得单芯片能容纳的参数远超一般竞品。
此外 SN40L RDU 在结构上的天真性使得其能动态从头确立硬件资源和数据流，提高计较与访存恶果。
SambaNova 声称，其仅需一台容纳 16 个 SN40L RDU 芯片的机架就能完成 DeepSeek-R1 671B 部署。
