AI Phone：先是芯片，再是模子，临了才是手机厂商
发布日期：2024-12-05 08:13 点击次数：59
文 | aiAR究诘媛
卖铲子比拟簇拥去淘金，恒久是更好的聘用。
在大模子风靡全球、蕴含极大贸易价值的今天，「先进铲子」之间的竞赛，正趋向尖锐化。
大模子期间的掘金铲子：AI诡计加快芯片如今的AI诡计加快芯片头昏脑胀。GPU、NPU、TPU、VPU，新办法层出叠现，手机 SoC、PC 惩处器、车端智驾和座舱芯片、高性能 AI 诡计大规模行状器集群，AI 诡计加快果真无处不在。
然则换汤不换药，按诡计的通用性，AI 诡计未必不错分为 CPU、GPU、FPGA、和 ASIC（NPU/TPU），按使用场景，不错分为考试芯片、云表推理芯片和旯旮侧的推理芯片。咱们知谈 CPU 遵照传统的存储-适度-运算的冯·诺依曼架构，中枢是存储行动/数据，串行法令实践。
CPU 的架构需要多数的空间去舍弃高速缓存单位和适度单位，当代 CPU 在分支展望和乱序实践上的要求更高，不休新增的长指示集更进一步强化了复杂的逻辑适度单位，比拟之下 CPU 诡计单位只占据了很小的一部分。大规模并行诡计方面，CPU 自然的效率很低，更合适惩处复杂的逻辑适度和通用诡计。
与 CPU 比拟，GPU 80% 以上的晶体管面积王人是诡计中枢，即 GPU 领有十分多的用于数据并行惩处的诡计单位，不错高效出手物理诡计、比特币挖矿算法等。GPU 还不错为两种，一种是主要搞图形渲染的，咱们庄重的 GPU（游戏）显卡；另一种是主要搞诡计的，叫作念 GPGPU，也叫通用诡计图形惩处器（科学诡计），A100、H100 即是代表。GPGPU 芯片去掉了针对图形渲染的专用加快硬件单位，但保留了 SIMT（单指示多线程）架构和通用诡计单位，诡计的通用性更强，不错适用于多种算法，在许多前沿科学诡计领域，GPGPU 是最好聘用。
FPGA 是一种半定制芯片，当作无邪可编程的硬件平台，同期具有较高的诡计性能和可定制性，芯片硬件模块、电路遐想更为无邪，但症结是专用 AI 诡计的着力比 ASIC 差一些。
ASIC 是一种为特料想法而遐想的芯片（全定制），凭证特定算法定制的芯片架构，算力坚韧，但专科性强缩减了其通用性，算法一朝改造，诡计智力会大幅下落，需要从头定制。咱们知谈的 NPU、TPU 即是这种架构，王人属于 ASIC 定制芯片。
CPU、GPU、NPU 架构区别如下图，CPU 最为平衡，不错惩处多种类型的任务，各式组件比例适中；GPU 则减少了适度逻辑的存在但多数增多了 ALU 诡计单位，提供给咱们以高诡计并行度；而 NPU 则是领有多数 AI Core，这不错让咱们高效完成针对性的 AI 诡计任务。
GPU 比拟 CPU 有更多的并行诡计中枢NPU 比拟 CPU 和 GPU，有多数特意进行大矩阵乘法和卷积运算的 AI Core
ASIC 想想下的 AI 芯片当作一种专用惩处器，通过在硬件层面优化深度学习算法所需的大矩阵乘法、张量运算、卷积运算等环节运算，不错权臣加快 AI 应用的实践速率，裁汰功耗。与在通用 CPU 上用软件模拟这些运算比拟，AI 芯片能带来数目级的性能提高。因此，AI 芯片已成为如今大模子考试和推理的环节载体。
AI 专用惩处器的发展最早不错讲究到 2015 年。2015 年 6 月，谷歌 I/O 开采者大会上推出第一代神经蓄积诡计专用芯片 TPU，特意用于加快 TensorFlow 框架下的机器学习任务。区别于 GPU，谷歌 TPU 是一种 ASIC 芯片决议，一般来说 ASIC 芯片开采时辰长、研发老本高，行状于专用诡计，已毕的卑劣任务较为固定和窄小。而后，谷歌又不时推出了多个 TPU 系列居品，不休优化其架构和性能。
结尾推理侧的AI芯片：AI Phone的环节智力尽管 AI 芯片的种类、已毕的任务和部署格式各样且复杂，但其功能最终不错归结为两种：考试和推理。
在考试阶段，AI 芯片需要援救大规模的数据惩处和复杂的模子考试。这需要芯片具有坚韧的并行诡计智力、高带宽的存储器打听以及无邪的数据传输智力。NVIDIA 最新的 H100 GPU、华为昇腾 Ascend NPU、谷歌 TPU 等特意为 AI 考试遐想的芯片，领有超强的诡计智力、超大显存和极高的带宽，能够惩处海量数据，非常合适考试访佛 GPT 等大言语模子。
在推理阶段，AI 芯片需要在功耗、老本和及时性等方面进行优化，以称心不同应用场景的需求。云表推理频繁对性能和隐隐量要求较高，因此需要使用高性能的 AI 芯片，旯旮和端侧推理对功耗和老本愈加明锐，因此需要使用低功耗、低老本的 AI 芯片，如特意为桌面、迁徙和镶嵌式建树遐想的 NPU等。
英特尔最新的酷睿 Ultra 旗舰惩处器，基于 x86 平台的异构AI诡计，集成的 GPU 和 NPU 性能越来越高。高通和 MediaTek 最新的高端迁徙惩处器，针对不同任务的 AI 诡计加快，扫数这个词 SoC 微架构上，NPU 的重要性也越来越超过。
相较于考试芯片在云表成为某种“基础设施”，端侧的推理芯片则站在了 AI 应用的前沿。将考试好的模子为实践宇宙提供智能行状，非常是当今也曾成为“个东谈主信息Hub”的手机结尾，某种道理道理上也曾成为了平淡东谈主新滋长出来的器官，当大模子与手机和会，不依赖蓄积和云表算力就能让手机具备大模子智力，AI Phone 的贸易想象力高大。
高通 VS MediaTek ，最新的迁徙旗舰芯片大模子推理正在向手机、PC、智能汽车等结尾浸透。但是，在结尾部署 AI 大模子时，仍濒临着多模态模子压缩、存储与诡计瓶颈、数据传输带宽死心、模子 always-on 建树功耗和发烧、软硬件聚会调优等多重挑战。非常是在手机端，芯片必须在保证高性能的同期，尽量裁汰功耗，这要求芯片遐想在硬件架构和算法加快时刻上进行优化，以提高诡计效率并减少动力耗尽。
以高通最新的骁龙旗舰芯片为例，“为了已毕更快的 AI 推感性能，高通提高了扫数（AI诡计）加快器内核的隐隐量，还为标量和向量加快器增多了更多内核，称心增长的生成式AI运算需求，尤其是面向大言语模子(LLM)和大视觉模子(LVM)用例，以在惩处过程中援救更长的高下文。至于民众眷注的能耗，高通此次将每瓦特点能提高 45%。结尾愈加高效，不需要多数耗尽电板续航。”
凭证高通的官方形容：高通最新的旗舰迁徙芯片，骁龙 8 至尊版初次接受了一系列当先时刻，包括第二代定制的高通 Oryon CPU、全新切片架构的高通 Adreno GPU 和增强的高通Hexagon NPU，能够为用户带来结尾体验的全面纠正。当作高通迄今为止最快的CPU，Oryon CPU 领有 2 个主频高达 4.32GHz 的超等内核和 6 个主频 3.53GHz 的性能内核。其单核性能和多核性能比拟前代均提高了 45%，浏览器性能提高了 62%，可为多数的多任务惩处、马上网页浏览和疾速游戏反应体验提供坚韧的性能和能效援救。同期，骁龙8至尊版还援救高达 10.7Gbps 速率的 LPDDR5X 内存，为用户带来更为丰富的结尾侧 AI 使用体验。
基于全新的高通 Hexagon NPU，骁龙 8 至尊版初次援救结尾侧个性化多模态 AI 助手，能够赋能规模更大且愈加复杂的多模态生成式 AI 用例在结尾侧高效出手。在惩处器上，高通 Hexagon NPU 增多了非凡内核，领有 6 核向量惩处器和 8 核标量惩处器，能够进一步称心生成式 AI 运算不休增长的需求。
获利于在软件上的不休优化、Hexagon NPU 新增的惩处器中枢以及多模态模子，骁龙 8 至尊版能已毕更快的 AI 惩处速率。其 AI 性能提高了 45%，每瓦特点能提高 45%，并援救 70+ tokens/sec 的输入，用户不错上传更大的文档、音频和图像，让手机在惩处复杂任务时能够愈加行使自由。
有了全新 Hexagon NPU 的援救，不论是在拍照时的智能识别与优化，如故游戏中的及时渲染与诡计，骁龙 8 至尊版王人能为用户提供坚韧的 AI 引擎援救，匡助用户能够遍地随时开启灵感宇宙，创造无尽可能。在影像惩处智力上，通过 AI-ISP 和 Hexagon NPU 的深度和会，骁龙 8 至尊版可带来封锁性的拍摄体验，让用户在拍照时得到更多的AI加握，其援救 4.3GP/s 像素惩处智力，数据隐隐量比拟上代提高了 33%，能够援救三个 4800 万像素图像传感器同期进行 30fps 视频拍摄。
骁龙 8 至尊版援救无尽语义分割功能，不错对图像进行跨越 250 层语义识别和分割，针对性优化图像中的每个细节。在无尽语义分割基础上，骁龙 8 至尊版的及时皮肤和天外算法不错利用 Hexagon NPU 来识别光辉条款并进行修图，即使在光辉条款不及的情况下，也能拍出具有当然驱散的皮肤和天外颜色。
基于Hexagon NPU，骁龙8至尊版还援救及时 AI 补光时刻，让用户即使在近乎暗澹的环境下，也能生动记载 4K 60fps 的视频。在视频通话或者直播时遭受背光情况，及时 AI 补光时刻仿佛增多了一个假造的可迁徙光源，让用户时刻王人能展现我方好意思好的一面。在坚韧算力的援救下，骁龙 8 至尊版还援救视频魔法擦除功能，用户不错平直在视频中聘用需要擦除的对象将其摈弃，而无需将视频上传到云表。
此外，骁龙 8 至尊版还领有 AI 宠物拍摄套件，能够澄澈记载萌宠们“放飞自我”的顽皮时刻，不论是快速驱驰如故嬉戏打闹，王人能被精确捕捉。
在高通发布骁龙 8 之前，多年蝉联手机迁徙芯片市集份额第一的 MediaTek，也在最新的天玑 9400 旗舰芯集成 MediaTek 第八代 AI 惩处器 NPU 890，在其援救下，天玑 9400 援救时域张量（Temporal Tensor）硬件加快时刻、端侧高画质视频生成时刻，赋能端侧出手 Stable Diffusion 的性能提高了 2 倍，不仅能够已毕高分歧率生图，更援救端侧动图和视频生成，已毕更多新玩法。
凭证 MediaTek 官方形容：天玑 9400 领有强悍的端侧多模态 AI 运算性能，惩处智力高达 50 tokens/秒；出手各式主流大模子，平均功耗可省俭 35%，为手机结尾用户带来更机灵、更省电的 AI 智能体互动。跟着大言语模子智力的提高，智能体多轮对话与复杂场景的判断需求越来越重要。天玑 9400 已能援救到至高 32K tokens 的文本长度，是上一代的 8 倍!为了强化端侧模子的数据安全和个东谈主秘密作用，MediaTek 天玑 9400 援救端侧 LoRA 考试，无谓传府上上云，每位用户在端侧就不错宽心享受及时的个性化考试与生成，还可用个东谈主像片创建各式画风的数字形象，并更换各式姿势和布景，让秘密更安全。
AI Phone算力芯片的环节策画：Prefill阶段首Token蔓延，以及Decoding阶段Token生成速率不论云表模子如故端侧大模子，内容是“一堆参数”。手机结尾实践大模子推理的过程：用户输入文本（辅导词，也即常说的 Prompt)编码更始为向量，内存加载参数，激活参数实践 AI 诡计，输出向量解码。
大模子推理的基本经过，用户提供一个 prompt（辅导词），手机出手的推理框架凭证输入的辅导词生成呈报。推理过程频繁分为两个阶段：prefill 阶段和 decoding 阶段。在 Prefill 阶段，内存加载模子参数，推理框架接考中户的辅导词输入，然后实践模子参数诡计，直到输出第一个 token。这个阶段只出手一次，耗时较长。
接下来是 Decoding 阶段，这个阶段是一个自转头的过程，每次生成一个 token。具体来说，它会将上一时刻的输出 token 当作面前时刻的输入，然后诡计下一时刻的 token。要是用户的输出数据很长，这个阶段就会出手许屡次。Decoding 阶段的 Token 隐隐率，即常说的推理速率 XXToken/sec。
怎样评价不同品牌的AI Phone 的大模子出手性能的优劣？出手一样参数尺寸（比如3B)的端侧模子，模子的“常识密度”交流的情况下，Prefill 阶段的首 Token 蔓延，以及 Decoding 阶段 Token 生成速率是两个最直不雅的策画，它平直反馈一款AI Phone出手大模子是否通顺，用户体验感知最说明。诚然 AI Phone 出手模子时的内存占用压缩，量化精度耗损，AI Phone 出手的多模态模子和文本基座模子自己的性能和功能，模子层的优劣影响亦然决定性的。一个高效压缩、功能全面、性能强悍、跨算力平台兼容性好的端侧模子，还莫得公认的最硬汉。
当今，AI Phone 算力芯片援救的推理框架，适配优化援救的模子种类和数目，正在肉眼可见的增长和首肯。端侧模子出手在不同结尾，针对不同 ASIC 芯片 NPU 的兼容，进行 AI 诡计硬件加快和更始优化的空间还十分大，这是一个触及结尾厂商、芯片厂商、模子厂商三方的生态构建。谁能提前布局，不辞笨重更多作念幕后看不到的“有效功”，大模子期间它一定得到市集的“加快”。