ReSyncer: Pelaku Mimik Wajah dengan Sinkronisasi Audio-Visual Terpadu

ReSyncer adalah kerangka kerja terpadu yang dirancang untuk menyinkronkan informasi wajah audio-visual secara efektif.

Kerangka kerja ReSyncer terdiri dari dua tahap yang dirancang dengan sederhana dan mudah diimplementasikan.

Fitur desain utama dari ReSyncer adalah mengunjungi kembali dan menghubungkan ulang generator berbasis Gaya untuk mengadopsi dinamika wajah 3D yang diprediksi oleh Transformer yang diinjeksi gaya secara efisien.

Kontribusi ReSyncer meliputi kapabilitas lip-syncing yang kuat, dukungan untuk berbagai properti menarik dalam pembuatan penghibur virtual, dan pertukaran wajah dengan fidelitas tinggi.

ReSyncer melampaui solusi yang ada dengan secara seragam menangani berbagai kebutuhan dalam pembuatan penghibur virtual dan mendukung penyesuaian pribadi serta pertukaran identitas.

ReSyncer memungkinkan pemenuhan simultan dari pertukaran wajah berkualitas tinggi dan lip-syncing, dengan konsistensi temporal yang superior dan preservasi detail wajah yang kaya.

ReSyncer memprediksi dinamika wajah 3D dari input audio dan menumpuk mesh yang diprediksi ke frame target untuk memberikan panduan spasial yang kuat untuk sinkronisasi yang akurat.

Data pelatihan untuk lip-sync tergeneralisasi dalam ReSyncer terdiri dari klip video dengan fitur klip audio yang menyertainya, bertujuan untuk memulihkan frame asli yang diberikan klip audio dan frame referensi.

ReSyncer mengungguli metode-metode yang ada dalam kualitas lip-sync, kualitas generasi video, dan realisme video, memperlihatkan peningkatan substansial pada kualitas visual dan realisme.

Sebuah studi pengguna dengan 30 peserta menunjukkan bahwa ReSyncer mengungguli empat rekan dalam kualitas lip-sync, kualitas generasi video, dan realisme video, menyoroti kekuatan dan keunggulan kerangka kerja ReSyncer.