ReSyncer: 統一されたオーディオビジュアル同期フェイシャルパフォーマー

ReSyncerは、一般的な音声および視覚的な顔情報を効果的に同期させるために設計された統一フレームワークです。

ReSyncerフレームワークは、シンプルな設計で実装が容易な2つの段階から成ります。

ReSyncerの重要な設計特徴は、原則に基づいたスタイル注入トランスフォーマーにより予測された3D顔ダイナミクスを効率的に採用できるように、スタイルベースのジェネレーターを再検討し再配線することです。

ReSyncerの貢献には、強力なリップシンクの能力、多様な仮想パフォーマー作成の興味深いプロパティのサポート、高忠実度の顔交換が含まれます。

ReSyncerは、仮想パフォーマー作成における幅広いニーズに対して一貫して対応し、パーソナライズされた微調整やアイデンティティの交換をサポートすることで、既存のソリューションを超えています。

ReSyncerは、高忠実度の顔交換とリップシンクを同時に満たし、優れた時間的一貫性と豊かな顔のディテールの維持を提供します。

ReSyncerは音声入力から3D顔ダイナミクスを予測し、予測されたメッシュを目標のフレームに重ねて正確な同期のための強力な空間ガイダンスを提供します。

ReSyncerの一般的なリップシンクのためのトレーニングデータは、音声クリップの特徴とともにビデオクリップで構成されており、音声クリップと参照フレームを与えられた元のフレームを復元することを目指しています。

ReSyncerは既存の方法よりもリップシンクの品質、ビデオ生成の品質、ビデオのリアルさにおいて優れた性能を発揮し、視覚的な品質とリアリズムにおいて大幅な改善を示しています。

30人の参加者によるユーザースタディは、ReSyncerがリップシンクの品質、ビデオ生成の品質、およびビデオのリアリズムにおいて4つの対抗手段を上回ることを示し、ReSyncerフレームワークの強力さと優位性を強調しました。