ReSyncer：统一音视频同步面部表演者

ReSyncer 是一个统一框架，旨在有效地同步广义视听面部信息。

ReSyncer 框架包括两个阶段，设计简单且易于实现。

ReSyncer 的关键设计特征是重新审视和重新连接基于 Style 的生成器，以高效采用由原理注入的 Transformer 所预测的3D 面部动态。

ReSyncer 的贡献包括强大的唇同步能力，支持在虚拟表演者创建中的各种有趣特性，以及高保真换脸。

ReSyncer 超越了现有解决方案，通过统一处理虚拟表演者创建中更广泛的需求，并支持个性化微调和身份交换。

ReSyncer 可以同时满足高保真换脸和唇同步，具有卓越的时间一致性和丰富的面部细节保留。

ReSyncer 从音频输入中预测3D 面部动态，并将预测的网格覆盖在目标帧上，以提供强大的空间引导，实现准确的同步。

ReSyncer 用于广义唇同步的训练数据包括具有伴随音频片段特征的视频片段，旨在根据音频片段和参考帧恢复原始帧。

ReSyncer 在唇同步质量、视频生成质量和视频真实感方面超越了现有方法，展现了在视觉质量和真实感方面的显著改进。

一项包含30名参与者的用户研究显示，ReSyncer 在唇同步质量、视频生成质量和视频真实感方面优于四个对比方法，突出显示了 ReSyncer 框架的强大和优越性。