ReSyncer: مؤدٍّ مرئي-صوتي متزامن موحد

ReSyncer هو إطار عمل موحد مصمم لمزامنة المعلومات الوجهية الصوتية والمرئية بشكل فعال.

يتكون إطار عمل ReSyncer من مرحلتين تم تصميمهما ببساطة وسهولة في التنفيذ.

الميزة التصميمية الرئيسية لـ ReSyncer هي إعادة زيارة وإعادة توصيل المولد المبني على الأنماط لاعتماد ديناميكا الوجه ثلاثي الأبعاد المتنبأ بها بواسطة Transformer المحقون بالأنماط.

تشمل مساهمات ReSyncer قدرات قوية على مزامنة الشفاه، ودعم خصائص متنوعة مثيرة في خلق المؤدي الافتراضي، واستبدال الوجوه بجودة عالية.

يتجاوز ReSyncer الحلول الحالية من خلال التعامل الموحد مع نطاق أوسع من الاحتياجات في إنشاء المؤدي الافتراضي ودعم التخصيص الدقيق وتبديل الهوية.

يسمح ReSyncer بتحقيق التوافق العالي في مزامنة الشفاه واستبدال الوجوه في الوقت نفسه، مع الحفاظ على الاتساق الزمني الفائق وتركيز التفاصيل الوجهية الغنية.

يتنبأ ReSyncer بديناميكا الوجه ثلاثي الأبعاد من إدخال للصوت ويضع الشبكة المتنبأ بها على الإطار الهدف لتقديم إرشادات مكانية قوية لتحقيق مزامنة دقيقة.

تتكون بيانات التدريب لمزامنة الشفاه العامة في ReSyncer من مقاطع فيديو مصحوبة بميزات مقطع صوتي، بهدف إعادة الإطار الأصلي باستخدام المقطع الصوتي وإطار مرجعي.

يتفوق ReSyncer على الطرق الحالية في جودة مزامنة الشفاه، وجودة توليد الفيديو، وواقعية الفيديو، مما يظهر تحسينات كبيرة في الجودة المرئية والواقعية.

أظهرت دراسة مع 30 مشاركًا أن ReSyncer تفوق على أربعة نظائر في جودة مزامنة الشفاه، وجودة توليد الفيديو، وواقعية الفيديو، مما يبرز قوة وإجمالية إطار عمل ReSyncer.