比扩散模子快50倍！OpenAI发布多模态模子及时生成进展
发布日期：2024-11-13 14:41 点击次数：148
西风 发自 凹非寺
量子位 | 公众号 QbitAI
两位清华学友，在OpenAI发布最新征询——
生成图像，但速率是扩散模子的50倍。
路橙、宋飏再次简化了一致性模子，仅用两步采样，就能使生成质地与扩散模子相比好意思。
他们得手将一语气时代一致性模子的老到限制推广到了前所未有的15亿参数，并完了了在512×512分手率的ImageNet数据集上的老到。
参数15亿模子在单张A100 GPU上无需任何推理优化即可在0.11秒内生成一个样本。
团队还暗示通过定制系统优化，不错进一步加快，为及时生成图像、音频和视频提供新的可能。
值得一提的是，论文仅有的两位作家还都是清华学友。
该项征询发布后得到纷乱网友点赞转发。
把正在放假的Openai总裁Greg Brockman都炸出来了：
多模态模子正迈向及时生成。
那么，sCM是若何完了的？
两步采样，50倍加快一致性模子是一种快速的扩散模子替代决策。
刻下扩散模子的采样挨次陆续需要数十到数百个一语气要领才能生成单个样本，这截止了其及时哄骗的后果和可推广性。
与幽静通过纷乱去噪要领生成样本的扩散模子不同，它旨在一步平直将噪声转移为无噪声样本。
OpenAI最新这项征询提议了一种矫正一语气时代一致性模子（Continuous-time Consistency Models）的详尽挨次，主要包含题目中提到的三个要害点：简化、踏实和推广。
论文指出，现存一致性模子主要取舍冲突时代步老到，这种挨次会引入特别的超参数并容易产生冲突化罪过。尽管一语气时代公式不错幸免这些问题，但之前的责任中一语气时代一致性模子永恒濒临老到不踏实的挑战。
为此，论文领先提议了TrigFlow，微妙地长入了EDM（Exponential Diffusion Model）和Flow Matching两种挨次。
TrigFlow使扩散历程、扩散模子参数化、PF-ODE、扩散老到缱绻和一致性模子参数化都概况领有直爽的抒发式，如下所示。
在此基础上，征询东谈主员深切分析了导致老到一语气时代一致性模子不踏实的原因。
在TrigFlow框架的基础上引入了几项表面上的矫正，重心是参数化、汇聚架构和老到缱绻。
一语气时代一致性模子老到的要害是：
取决于：
经过进一步分析，征询东谈主员发现不踏实源自于时代导数：
并据此提议了三个要害矫正：
取舍恒等时代变换c_noise(t)=t代替原有的对数正切变换，幸免了t接近π/2时的数值不踏实性；使用位置时代镶嵌替代傅里叶镶嵌，减少了导数震撼；引入自适当双重归一化层替代AdaGN，在保抓模子抒发能力的同期提升了老到踏实性。此外，论文还矫正了老到缱绻，包括切向量归一化和自适当权重等技艺。
以上种种矫正使得征询东谈主员得手将时代一致性模子的老到限制推广到15亿参数，并在多个基准数据集上发扬优异。
CIFAR-10上的FID（越低越好）为2.06，ImageNet 64×64上为1.48，ImageNet 512×512上为1.88。
终点值得选藏的是，这些模子只需要两步采样就能达到接近最佳的扩散模子的生成质地（FID差距在10%以内），而估量支拨仅为后者的10%。
征询东谈主员还相比了矫正后的一致性模子与变分分数蒸馏（VSD）挨次的区别，发现一致性模子能产生更各样的样本，何况在更高的领导水平下发扬更好。
他们还有一个要害发现，跟着teacher扩散模子的限制扩大，sCM的矫正也呈比例加多。
用FID分数的比率来估量样实质地的相对各别在模子大小不同的限制上是一致的，这意味着当模子限制加多时，样实质地的全都各别会减小。
此外，加多sCM的采样要领不错进一步减少质地差距。
作家简介
路橙
客岁在清华大学TSAIL实验室，在朱军教训指挥下取得博士学位；2019年获清华大学估量机科学与技艺系学士学位。
面前他是OpenAI征询科学家，对大限制深度生成模子和强化学习算法感趣味。
可爱在数学表面和试验哄骗手段之间找到理思的均衡点。
他对一致性模子、扩散模子、归一化流和基于能量的模子过火在图像生成、3D 生成和强化学习中的哄骗有丰富的征询警戒。
宋飏
宋飏在清华大学获数学和物理学士学位后，在斯坦福大学取得了估量机科学博士学位，导师Stefano Ermon。
其征询缱绻是确立概况判辨、生成并科罚多种款式高维数据的广阔AI模子。
面前，宋飏专注于矫正生成模子，包括它们的老到挨次、架构想象、对皆、鲁棒性、评估手段及推理后果。
他对探索生成模子行动科学发现器具的后劲也很感趣味。
参考皆集：[1]https://x.com/OpenAI/status/1849139783362347293[2]https://luchengthu.github.io/[3]https://yang-song.net/
— 完 —
量子位 QbitAI · 头条号签约
眷注咱们，第一时代获知前沿科技动态