ReSyncer：統一視聽同步面部表演者

ReSyncer 是一個統一框架，旨在有效同步廣義的視聽面部信息。

ReSyncer 框架包含兩個階段，設計簡單且易於實施。

ReSyncer 的核心設計特徵是重新訪問並重新設計基於樣式的生成器，以高效採用由原則性樣式注入的 Transformer 預測的 3D 面部動態。

ReSyncer 的貢獻包括強大的唇同步能力、對虛擬表演者創作中各種有趣特性的支持以及高保真換臉功能。

ReSyncer 超越了現有解決方案，統一解決了虛擬表演者創作中需求的更廣泛範圍，並支持個性化微調和身份交換。

ReSyncer 可同時滿足高保真換臉和唇同步的需求，具有出色的時間一致性和豐富面部細節的保留能力。

ReSyncer 從音頻輸入中預測 3D 面部動態，並將預測的網格重疊到目標帧上，以提供準確同步的強大空間指導。

ReSyncer 的廣義唇同步訓練數據包括帶有音頻剪輯特徵的視頻剪輯，目的是給定音頻剪輯和參考圖片的情況下恢復原始帧。

ReSyncer 在唇同步質量、視頻生成質量和視頻真實感方面勝過現有方法，展示了視覺質量和真實感的顯著提升。

一項有30位參與者的用戶研究表明，ReSyncer 在唇同步質量、視頻生成質量和視頻真實感方面超過了四個對比對象，突顯了 ReSyncer 框架的強大和優越性。