华为东谈主工智能模子量化关连专利公布 可减少AI模子占用的内存
发布日期：2025-03-23 06:17 点击次数：193
天眼查App表示，近日，华为时刻有限公司肯求的“东谈主工智能模子的量化体式、措置系统和量化单位”专利公布。
概要表示，量化单位不错基于初始AI模子的野心建筑的各个野心单位的措置粒度，将量化矩阵分割成多个适用于各个野心单位的措置粒度的分块量化矩阵。量化单位不错对分块量化矩阵进行量化措置，以获取量化后的分块量化矩阵，并存储在存储器中，不错减少AI模子占用的内存。量化矩阵不错是权重矩阵，也不错是激活矩阵。量化单位量化经由中，是基于初始AI模子的野心建筑的各个野心单位的措置粒度进行量化，并不需要基于张量级别进行离群值的统计，杀青AI模子对权重矩阵和激活矩阵皆不错进行及时量化。
