狂揽16亿大单！云天励飞：作念最懂大模子的边际计议居品及职业
发布日期：2024-12-05 15:59 点击次数：88
作家 | 三北裁剪 | 漠影
AI上市公司深圳云天励飞，最近在算力居品及职业迹务板块完成诸多大额订单。
率先是11月5日，云天励飞晓示已完成近16亿元的AI大单的录用职责，为北京德元方惠科技开发有限背负公司（简称“德元方惠”）提供AI教练及推理算力职业。同期，第一批算力职业（对应协议中约60%的算力限制）的验收联系职责已完成，上线日历为2024年10月1日。
▲云天励飞最新公告部分截取
而就在不久前的9月，云天励飞刚中标了约1.3亿元的“天府智算中心（一期）方法开拓采购及监理职业采购方法”，连下两城。
自昨年以来，大模子催生了巨额教练及推理算力需求，天下各路云计议大厂、职业器厂商、AI企业以及一些跨界玩家纷纷运行参加智算行业。
看成一家作念AI算法起家的企业，云天励飞拿下这些项指标背后，有什么样的本事和交易逻辑？这又能为AI企业同业带来什么样的启示？
通过对话云天励飞副CFO兼本钱中心总司理陈腾宇，本文对此进行了真切探讨。
一、大模子狂飙500天，教练及推理算力需求激增自2023年大模子爆火以来，催生了巨额教练及推理算力需求。
大模子朝超大参数限制发展，OpenAI提议的百万卡的智算集群念念路照旧被考据，推动智算中心如棋布星罗般清晰。左证工信部最新数据，浪漫2024年上半年，国内照旧缔造和正在缔造的智算中心跨越250个。2024年上半年智算中心招投标联系事件791起，同比增长高达407.1%。
提早预判到这么的趋势，云天励飞于2023岁首涉足异构算力规模，这是国内AI企业最早布局智算的要领之一。陈腾宇向智东西谈及其时的机会：短期来看，云天励飞在研发经过中有巨额的本事千里淀不错撑执异构算力集群的高后果运行，而其盈利材干亦较为可不雅；另一方面，教练背后的推理需求是更大的蓝海，将给云天励飞自研推理芯片提供广泛的应用场景。
操办一年多，时分来到2024年7月，云天励飞与德元方惠一举签下16亿元的AI大单，在产业里一战成名。
按照合约，云天励飞将为后者提供智能算力转化及AI大模子开发职业平台配套职业，算力总限制约4000PFLOPS，用于大模子教练及推理。
方法限制之大、业务之聚焦，许多业内东谈主士意思意思，云天励飞能惩办这个方法吗？
陈腾宇告诉智东西，当前这一方法已全面完成录用，并参加调试及验收阶段。同期，方法交易化也不成问题，左证云天励飞官方公告，这一方法畴昔三年瞻望每年为公司新增营收约5亿元，三年累计产生利润5.39亿元。
本年9月，云天励飞紧接着再下一城，中标了约1.3亿元的天府智算中心方法。
据悉，该方法当前也照旧参加录用经过，瞻望进一步为云天励飞的功绩带来直接纳益。
大方法纷纷录用，秀丽着云天励飞异构算力业务步入正轨，成为一条新的增长弧线。
不错看到，比较国内其他AI规模同业，云天励飞是在该规模跑得较快的AI企业。究其原因，率先照旧因为公司较快地看到并收拢了这波AI机遇。
但提早布局AI算力的企业不在少数，为什么云天励飞约略解围？
二、为什么是云天励飞？左手算法，右手芯片AI算力混战处所执续已一年多。
自昨年以来，尽管云巨头接踵推出令东谈主眼馋的大模子训推“全家桶”，但骨子可用的算力仍是稀缺资源，职业器厂商、AI企业都在布局智算，致使跨界玩家都入局了，竞争好不浓烈。
之是以约略在群雄混战的AI算力阛阓站住脚，陈腾宇合计，云天励飞的中枢竞争力还在于本事储备，主要体当前算法和芯片两大方面。
1、自研大模子教养千里淀用具，助客户晋升算力愚弄后果
在算法层面，云天励飞于2023年推出了自研千亿级“云天天书”大模子，并在大模子的研发经过中积攒了一系列算力调优、晋升模子教练后果的本事平台和相应用具。
这些教养及用具都被云天励飞千里淀到居品和职业中，可匡助客户晋升模子教练及算力愚弄后果，以更低成本教练大模子。
具体到集群管制方面，云天励飞智能教练平台及算力转化平台，约略按任务转化到卡，并进行任务管制、任务编排、教练告警、大模子断点续训。
此外，其数据管制（DataHub）支执数据可视化、挖掘、治理等多维管制，在保证数据安全性的基础上罢了数据金钱化；此外皮集群管制中的通讯优化、日记集群、监控告警等方面也积攒了多个用具链。
具体到软件平台方面，云天励飞推出了智能算法标注平台，为算法教练提供了可靠的底层数据支执，可支执图像和文本自动化标注，据称比较东谈主工标注后果提高40%傍边。
除此以外，支执大模子负载平衡的部署平台，支执在多个主流硬件平台进行零代码、自动化的模子发布的模子发布平台，提供竣工用具和资源的模子评测平台，全面笼罩内容审核过滤的智能内容审核平台等，都不错大大提高算法教练后果。
2、算法芯片化，自研大模子芯片提供高效推理职业
在芯片层面，云天励飞基于对AI算法本事特色及行业场景计议需求的剖判，通过自界说教导集、处理器架构及用具链的协同设想，罢了算法本事芯片化，构建了神经聚积处理器平台，不错支执其算力居品及职业。
同期，云天励飞已具备自研的推理卡，依托更始的D2D chiplet架构，可承载大模子应用落地的大限制推理计议。据悉，从2022年运行其就运行针对大模子的Transformer架构作念优化，罢了流片，可见其对阛阓感知的前瞻性。
尽管在软件生态上还存在差距，但与国际高性能算力比较较，一些国产推理芯片照旧在某些专项上占据上风。比如说云天励飞X6000一体机，选定Mesh互联本事，在多卡互联时可罢了有储分享、最大化推崇带宽上风，从而晋升大模子推理后果，针对70B模子的推理后果已达60 Tokens/s，而针对MoE架构模子，如mistral08*7B，推理后果达到260 Tokens/s。
具体到大模子推理的实务中，许多客户更多眷注的是带宽能不成充分愚弄起来这个问题。云天励飞在卡间互联、堆叠式设想等多方面的研发储备，使其约略自尊客户的这一中枢需求。
不错看到，之是以约略拿下近20亿元大单，还因为云天励飞设置了双重护城河：左手算法，右手芯片，使其在群雄混战的AI算力阛阓杀出一条血路。
三、本事立身，作念最懂大模子的算力居品及职业纵不雅算力产业，动辄一个项指标金额达数亿致使数十亿元，周期长、工程量大、后续运营职业需求高。
针对这么的业务特征，陈腾宇告诉智东西，关于大客户来说，他们在采用算力职业提供商时，率先照旧要辩论这家公司是否靠谱。主要考试的方面除了本事储备，还包括行业教养、供应链和录用材干、运营踏实性及资金实力等一系列详尽材干。
而跟着百模大战不息鼓励，集群运营濒临的最大挑战还在于合座的运营材干，以及跟着阛阓趋势变化，通过软硬件协同迭代，不休自尊客户的新需求。
谈及云天励飞在这些“软实力”方面的储备，陈腾宇谈谈，云天励飞照旧搭建材干板块较为王人全的业务团队，包含本事研发、运营及销售、本事运维及录用等东谈主员，保险业务顺利开展、进行。
同期，该业务板块已有限制化落地。左证云天励飞官方公告，其已落地西南、华南区域三个高性能算力集群，运营算力限制接近5000P。在拿下两个多半大单前，浪漫2024年5月末，公司已搭建异构计议集群算力超800P。
此外，云天励飞还积攒了多个行业的客户资源。通过前期业务拓展触达、高下流生态搭建等方式，云天励飞积攒较多具备大模子教练及推理需求客户，包括AI初创公司、科研院所、互联网企业、自动驾驶企业、运营商等客户资源。
不错看到，恰是这么的团队储备、落地案例及客户资源积攒，联接“算法芯片化”策略及本事储备，让云天励飞的异构算力业务稳步发展起来。
关于AI行业来说，云天励飞开辟了一条AI企业在大模子期间的新出息——不啻于算法攻关，而是将算法与算力教养聚拢布局算力居品和职业，这对AI同业有一定的启迪作用。
结语：趁势而为，构筑AI企业新价值回归曩昔一年多，AI算力在“百模大战”怒潮之中成为竞争焦点；站在当前看畴昔，行业已资格过一波大浪淘沙，越过重围的玩家如云天励飞，正真枪实剑披挂上阵，构筑AI企业的新价值壁垒。
智算中心正从“建起来”走向“用起来”，也对云天励飞们提议了新挑战。“咱们的材干构建和交易化照旧作念得比较好了，下一步咱们会不息作念深，绑定多个行业龙头，尽可能地挖掘客户需求，同期借用他们的行业教养去迭代我方的推理算力。”陈腾宇说。