智算“万卡”潮起,国产AI芯片迎高光时刻
发布日期:2025-02-07 16:21 点击次数:200
文 | 半导体产业纵横
GPU万卡集群,小米下场了!摩尔线程智算集群彭胀至万卡!中国转移将商用三个自主可控万卡集群......一系列标题的袭来,让笔者一会儿矍铄到,仿佛在不经意间,智能算力诞生已然迈入万卡时期。
那么到底什么是万卡集群?万卡集群到底有哪些作用?有必要部署万卡集群吗?
01 什么是万卡集群?万卡集群,是指由卓绝一万张加快卡(如GPU、TPU或其他专用AI加快芯片)构成的高性能诡计系统,用以加快东说念主工智能模子的磨练和推理历程。
至于为什么需要一万张加快卡?
大家皆知,大模子竞赛的本色是算力竞赛。比如这里有一个超大土堆,放一个工东说念主和放一万个工东说念主,在成果上确定会有质的飞跃。
以OpenAI磨练GPT模子为例,GPT-4需要使用2.5万张英伟达A100 GPU,并行磨练100天控制的时辰,在此期间要处理13万亿个token,况兼波及不祥1.76万亿个参数。在不久的往日,开发大模子所需的算力将收场指数级的增长,关于行将亮相的GPT-5,瞻望该模子的磨练需要部署20万~30万个H100 GPU,耗时130~200 天。
如今OpenAI发布ChatGPT已有两年的时辰,从诞生进程上看,国外头部厂商在2022年、2023年一经完成万卡集群搭建。比如2023年5月,谷歌推出的AI超等诡计机A3,搭载了约26000块英伟达H100 GPU;2022年,META晓谕了一个由1.6万块英伟达A100 GPU构成的集群。到了2024岁首,META进一步扩大界限,建成了两个各含24576块GPU的集群,并设定了宏伟目的:到2024年底,构建一个包含35万块英伟达H100 GPU的庞杂基础门径。亚马逊Amazon EC2 Ultra集群弃取了2万个H100 TensorCore GPU。
再看中国的智能算力诞生情况。
02 国产万卡集群,谁在布局?日前,中国工程院院士郑纬民指出,“构开国产AI卡的万卡大模子磨练平台很难,但也很报复以及必要。”
当下,国内已有多家厂商及机构入部属手向万卡集群界限拓展业务。
字据《智算产业发展计议敷陈(2024)》傲气,在中国,超万卡集群的智算中心已达十余个。
本年以来, 中国转移 、联通、电信三大运营商均在加快鼓舞超万卡集群智算中心的诞生。
本年8月,中国电信在智算网罗诞生方面得回了权臣进展,其上海与北京两大万卡集群已奏凯投产运营。
中国转移位于呼和浩特、哈尔滨、贵阳的万卡级别的智算中心一经先后投产运行。据悉,三大集群总界限近6万张GPU卡,充分知足大模子趋附磨练需求。
中国联通正在打造上海、呼和万卡智算集群,全网智算算力超15EFLOPS,发布AICC、AICP、星罗诊治平台等五大智算居品,提供涵盖国度“东数西算”要津、31省重心城市、超600边际节点的AIDC基座。
小米也正绸缪诞生一座GPU万卡集群。据悉,小米在其大模子团队成当场一经领有6500张GPU资源。
字节在2023年就已配置起卓绝1万张卡的Ampere架构GPU (A100/A800) 集群,而后还在诞生大界限Hopper架构(H100/H800)集群。
如今,“万卡集群”被业界视作是这一轮大模子竞赛的“入场券”,以致还有不少厂商一经运行布局“十万卡集群”。
百度的百舸 4.0 通过一系列居品本事翻新,一经疏忽收场十万卡集群的高效照拂。
阿里巴巴的阿里云可收场芯片、奇迹器、数据中心之间的高效协同,撑持 10 万卡量级的集群可彭胀界限,已奇迹宇宙一半的东说念主工智能大模子企业。
腾讯已晓谕自研星脉高性能诡计网罗全面升级,星脉网罗 2.0 搭载全自研的网罗迷惑与 AI 算力网卡,疏忽撑持超 10 万卡大界限组网,网罗通讯成果比上一代普及 60%,让大模子磨练就果普及 20%。
03 国产AI芯片公司,得到利好彰着,在运营商以及科技巨头纷纷入场布局之际,国产 AI 芯片公司也迎来利好。
华为昇腾
据悉,以政府为主导的城市智能诡计中心多弃取国产A1芯片中的杰出人物如华为昇腾等,其中华为更是在统计的20多个城市为主体的智能诡计中心中占据79%的商场份额,处于国产AI芯片的起始位置。在可预感的2025年,昇腾芯片及奇迹器的商场依旧会处于弥留的供给处所。
寒武纪
2023年寒武追想念元(MLU)系列云表智能加快卡在中国转移认真上线。限度2023年12月,中国转移已有12个省公司、卓绝70个AI业务完成向寒武追想念元系列云表智能加快卡的转移。
2024年8月,中国转移云才智中心参建的全球运营商最大单集群智算中心——中国转移智算中心(哈尔滨)认真投产使用。该智算中心部署超1.8万张AI加快卡,AI芯片国产化率达100%,可提供6.9EFLOPS(每秒690亿亿次浮点运算)智能算力。据悉,该智算中心即是由寒武纪参与诞生。
南京智能诡计中心由南京市麒麟科技翻新园与海潮、寒武纪共同打造,弃取海潮AI奇迹器算力机组,搭载起始的寒武追想念元270和念念元290智能芯片及加快卡,已运营系统的AI诡计才智达每秒80亿亿次 (800P OpS)。
大模子爆火确当下,AI的磨练和推理芯片及训推一体化等芯片成为商场“香饽饽”,寒武纪在此界限的深耕研发,加快念念元系列芯片的迭代。
摩尔线程
2023 年 12 月摩尔线程 KUAE 智算中心揭幕,这是国内首个以国产全功能 GPU 为底座的大界限算力集群,以全功能 GPU 为底座,提供软硬一体化的全栈搞定决策。
2024 年 7 月,摩尔线程合股中国转移通讯集团青海有限公司、中国联通青海公司、北京德说念信科集团、中国动力诞生股份有限公司总承包公司、桂林华崛大数据科技有限公司等,差别就三个万卡集群技俩进行了计谋签约,多方将聚力共同构建好用的国产GPU集群。
燧原科技
2021年燧原科技与之江实验室在之江实验室南湖新园区签约成立“燧原-之江东说念主工智能芯片合股计议中心”。
成渝智算中心由四川并济科技投建,燧原科技提供搭建算力底座。
与此同期,燧原科技还助力太湖亿芯(无锡)智算中心、甘肃庆阳算力要津的诞生。
天数智芯
中国转移智算中心(呼和浩特)是全球运营商界限内界限最大的单体液冷智算中心,智算界限高达 6.7EFLOPS(FP16),领有国度级 N 节点万卡界限 AI 磨练场。
天数智芯在该技俩中充分发达天垓 150 居品的突出性能与粗糙适用性,与新华三信息本事强强合股,共同打造高性能 AI 磨练奇迹器。
壁仞科技
壁仞科技也参与中国转移呼和浩特智算中心技俩。
此外,壁仞科技的壁砺系列通用 GPU 算力居品还在中国电信落地千卡集群并开展交易化应用,另外皮中国电信集团新一轮国产化 GPU 集采技俩中,壁仞科技的主流 GPU 居品一经纳入中国电信的集采名录,成为中国电信的主要 GPU 供应商。
沐曦科技
2024 年 11月,由上海联通联袂加佳科技、沐曦共同打造的曦源一号 SADA 万卡集群算力技俩第一期千卡国产算力集群在上海联通临港机房认真落地。该技俩以沐曦 GPU 芯片本事居品为中枢,效用构建集算力、算法、数据、产业应用为一体的东说念主工智能产业重生态。
据悉,沐曦和加佳科技已在上海、湖南、江苏等多地建成智算中心,并绸缪于2025年6月完成10000卡国产高质料算力诞生。
04 何啻“万卡”,以致要“百万卡”从早期智算中心冗忙起步,一步步发展到如今 “万卡” 界限的算力集群纷纷落地,这无疑是巨大的飞跃。当下,行业头部厂商更是将视线进一步拓宽,已然聚焦于更为巨大的 “百万卡” 目的。
近日,在AI商场快速增长的布景下,博通市值纷乱 1 万亿好意思元,创下历史新高。
博通首席执行官陈福阳默示,他有信心在 2020 年代后期陆续加大对东说念主工智能的投资。他指出,三年内,博通的客户绸缪构建配备数百万个 AI 芯片的大界限诡计集群,从而推动商场大幅增长。
博通正与三大客户配合开发 AI 芯片,绸缪到 2027 年在网罗集群中部署 100 万个芯片。据CNBC报说念,他预料,到 2027 年,其 XPU 和 AI 网罗组件的总商场界限将达到 600 亿至 900 亿好意思元。
固然博通尚未认真公布其芯片客户,但分析师默示,该公司正在与谷歌、Meta 和字节起始配合,以加快 AI 系统的磨练和部署。据《金融时报》报说念,该公司已为此开发了定制处理器。
05 “万卡集群”确切有必要吗?先说论断,“万卡集群”的诞生一定是有必要的。
现时,我国智能算力供不应求的问题较为杰出,大模子对算力的需求增速远超单颗 AI 芯片性能的普及设施。有关敷陈傲气,2023 年,中国智能算力需求达 123.6EFLOPS,而供给仅为 57.9EFLOPS,供需缺口一目了然。利用集群互联弥补单卡性能短板,或是现阶段缓解 AI 算力荒最值得探索与执行的灵验路子。
不外,在鼓舞 “万卡集群” 诞生进程中,有两大流弊贫窭亟待搞定:其一,何如高质料完成诞生任务,保证集群在相识性、高效性、兼容性等多方面达到标准条目;其二,建成后怎么充分挖掘其应用价值,使其在东说念主工智能磨练、大数据分析等适配场景发达最大作用,阻绝资源空置与花消表象。
起始,不妨将 “万卡集群” 类比为参与 “多东说念主多足” 游戏的团队,行家都了了,让一群东说念主如合并个东说念主般整王人整齐地前行并非易事,要诊治上万张诡计卡协同高效功课、达成性能的线性彭胀、确保任务无圮绝运行,这对集群的联想、诊治以及容错才智都提倡了极高挑战。
其次,智算中心的诞生仅仅一个起原,更报复的是后续的灵验哄骗。
据报说念,由于智算中心的投资、诞生、运营常常由不同主体负责,前期诞生方常常对后续运营格局、奇迹标准穷乏满盈考量,出现 “只管诞生、不顾运营”、诞生与运营脱节的情况,影响了客户体验,致使不少城市所建智算中心的机架利用率不尽东说念观点。
从交易格局来讲,智算中心大多以出租或售卖算力为主要盈利技能,相关词因行业尚未调理算力订价标准,不同智算中心价钱互异悬殊,商场摄取程度受限。
近期,多位智算中心界限从业者拜访国内各地智算中心后,他们中的一些东说念主向《智能深刻》响应,现时国内算力中心商场较为低迷。一位业内东说念主士披露:“就当今所掌抓情况,多数机房出租率大致在 20% - 30% 区间浮动,部分企业级智算中心出租率以致低至 10% 控制。”
要了了,智算中心不仅前期需要参预无数资金购置 GPU 等 AI 芯片,后续运营阶段相似需要赓续注资。
《智能深刻》不久前发文指出,一台英伟达 H100 奇迹器(8 卡)租出价钱,已从岁首的 12- 18万元/月,下滑至当今的7.5万元/月,降幅约50%。
若按照现时机房20%的利用率来算,一个英伟达H100千卡集群智算中心每年营收仅2300 万元(即7.5 万元/月×12个月×128台奇迹器×20%),这意味着,即便算力中心拼集保管运营,所得收入基本只可隐敝一半的平常运营成本,前期参预的老本根柢无从回本。
要而言之,“万卡集群”已成为智能算力时期的报复里程碑,记号着我国在东说念主工智能界限的算力诞生迈上了新的台阶。从小米、中国转移等科技巨头正积极布局万卡集群,以期在这场大模子竞赛中占据故意地位。相关词,万卡集群的诞生并非易事,智算中心需要多万古辰才能通过运营收入收回投资,行业也还需更多的探索。
上一篇:今夜挥发近1.7万亿!英伟达新品发布后股价暴跌,市集为何仍不舒心
下一篇:没有了