字节最新技艺一键「迁徙」容貌心绪，东说念主东说念主齐是演技派
发布日期：2024-12-06 15:20 点击次数：159
近日，字节逾越和清华大学在 GitHub 上聚会推出了一款最新的东说念主像动画技艺「X-Portrait 2」。
具体来讲，X-Portrait 2 是一款「生成式东说念主像改变模子」，其使用秩序十分直不雅和苟简：用户只需要提供一张静态肖像图和一段含有容貌变化的「扮演」视频，这个技艺就能一键将容貌「迁徙」至肖像上头，从而使前者也「动起来」。
就像底下这么：
不错看到，左下角是「静态肖像」，右下角则是「扮演视频」，而 X-Portrait 2 的功能即是让左边的扮装作念出同右边东说念主物险些一模一样的容貌。
除了「容貌」除外，就连「心绪」也险些是像素级复刻：
眉眼和笑脸之中所包含的「奸诈」和「粗劣」，一齐齐精确地呈现出来了。
头部扭动幅度较大的情况下，X-Portrait 2 也澈底不错胜任，容貌也并未失真：
一个比较「求实」的使用场景，是它不错用来「对口型」，就怕不错配合后期修改台词的需要：
不仅复刻精确，况且也充足认知当然。发布者也因此将其称为「极具证明力的肖像动画」。
较着，这个模子大略竣事跨作风和跨界限的容貌改变，隐蔽写实肖像和卡通图像；况且稳健性较强，大略用于包括试验天下的故事讲明注解、动画扮装的呈现、诬捏代理以过甚他视觉成果。
在电影或者动画的后期殊效制作方面，X-Portrait 2 无疑大大简化了现存的行为捕捉、扮装动画和实质创作历程。
相较于其原型 X-Portrait，X-Portrait 2 的升级和更动谓之「进化」齐不为过。
X-Portrait 2 禁受了一个更先进的容貌编码器，这个编码器在大范围数据集上进行磨练，其大略更精确地捕捉和再现东说念主物的精巧容貌，包括嘟嘴、饱读腮和蹙眉等细节，规复了容貌的复杂性，并普及了其真确感。
同期，X-Portrait 2 竣事了外不雅和行为的有用鉴识，这意味着在迁徙容貌时，原始图像的外不雅特征得以保留，容貌变化不会影响东说念主物的基本面庞，提高了动画的当然进程和一致性。
值得一提的是，X-Portrait 2 还更动地引入了生成式扩散模子，这种模子大略处理不同视角下的容貌变化，生成愈加认知和真确的动画成果，搞定了传统秩序在视角变化时可能出现的容貌不相助问题。
此外，X-Portrait 2 还增强了跨界限的容貌迁徙智商以及动画的真确感和动态证明力。
和早先发布的同类竞品——Runway 的 Act-One 比较，X-Portrait 2 也绝不失容。一样是「Nice 老爷爷」的喜感容貌，Act-One 的生成成果是这么的：
▲图源：虎嗅
似乎只作念到了「迁徙」，况且容貌的夸张进程衰减较着，还稍许有点僵硬。淌若遮住原视频，可能根底看不出来这是在师法谁。
团结个容貌，以下是 X-Portrait 2 的生成成果：
除了容貌的复刻愈加精确细巧除外，咱们似乎还能感受到那种当然泄漏的「喜感」。这才是 X-Portrait 2 的狠恶之处。
关于 X-Portrait 2 的上风，配置者是这么说的：
与 X-Portrait 和最近发布的 Runway Act-One 等早先进的秩序比较，咱们的模子不错诚笃地传递快速的头部畅通、眇小的容貌变化和浓烈的个情面感。这些方面关于高质料动画实质创作（举例动画和电影制作中的实质）至关遑急。
与 X-Portrait 和最近发布的 Runway Act-One 等早先进的秩序比较，咱们的模子不错诚笃地传递快速的头部畅通、眇小的容貌变化和浓烈的个情面感。这些方面关于高质料动画实质创作（举例动画和电影制作中的实质）至关遑急。
来看一个愈加直不雅的对比：
不言而谕，同初代 X-Portrait 比较，X-Portrait 2 的进步在于愈加「当然认知」；而同 Act-One 比较，X-Portrait 2 则愈加「精确细巧」。
不管何如，X-Portrait 2 的推出不息发达了「用生成式 AI 代替动捕」这个可能的主张，况且使它愈加进修，距离落地商用又近了一步。
| · ·
肖像模子东说念主东说念主动画容貌声明：该文不雅点仅代表作家本东说念主，搜狐号系信息发布平台，搜狐仅提供信息存储空间做事。