ReSyncer: ผู้ทำการแสดงใบหน้าที่ซิงก์ด้วยเสียงและภาพอย่างประสาน

ReSyncer เป็นกรอบการทำงานที่รวมสร้างขึ้นเพื่อซิงโครไนซ์ข้อมูลใบหน้าแบบเสียงและภาพอย่างมีประสิทธิภาพ

กรอบการทำงานของ ReSyncer ประกอบด้วยสองขั้นตอนที่ออกแบบมาอย่างง่ายและสามารถนำไปใช้ได้ง่าย

คุณลักษณะการออกแบบหลักของ ReSyncer คือการทบทวนและเชื่อมต่อใหม่ตัวสร้างแบบ Style-based เพื่อยอมรับการไดนามิกของใบหน้า 3D ที่ทำนายโดย Transformer ที่มีการฉีดสไตล์

การสนับสนุนของ ReSyncer รวมถึงความสามารถในการซิงค์ริมฝีปากที่มีประสิทธิภาพ, การสนับสนุนคุณสมบัติที่น่าสนใจต่างๆ ในการสร้างนักแสดงเสมือนจริง, และการเปลี่ยนใบหน้าคุณภาพสูง

ReSyncer ก้าวข้ามข้อเสนออื่นๆ โดยให้การแก้ปัญหาอย่างสม่ำเสมอสําหรับความต้องการที่หลากหลายในการสร้างนักแสดงเสมือนจริง และสนับสนุนการปรับแต่งส่วนบุคคลและการแลกเปลี่ยนตัวตน

ReSyncer ช่วยให้สามารถทำให้ความต้องการเปลี่ยนใบหน้าคุณภาพสูงและการซิงค์ริมฝีปากเป็นไปได้พร้อมกัน, พร้อมกับความสม่ำเสมอของเวลาและการอนุรักษ์รายละเอียดใบหน้าอย่างสมบูรณ์

ReSyncer ทำนายไดนามิกของใบหน้า 3D จากอินพุตเสียงและวางตาข่ายที่ทำนายไว้บนเฟรมเป้าหมายเพื่อให้คำแนะนำทางพื้นที่ที่แข็งแกร่งสำหรับการซิงโครไนซ์ที่แม่นยำ

ข้อมูลการฝึกอบรมสำหรับการซิงค์ริมฝีปากแบบทั่วไปใน ReSyncer ประกอบด้วยคลิปวิดีโอพร้อมคุณสมบัติคลิปเสียงที่แนบมากับวิดีโอ ซึ่งมีเป้าหมายในการกู้คืนเฟรมต้นฉบับโดยใช้คลิปเสียงและเฟรมอ้างอิง

ReSyncer มีคุณภาพการซิงค์ริมฝีปากส่งเสริมมากกว่าวิธีที่มีอยู่เดิม, พร้อมกับคุณภาพการสร้างวิดีโอและความสมจริงของวิดีโอที่สูงขึ้น, แสดงให้เห็นถึงการปรับปรุงคุณภาพภาพและความสมจริงอย่างมีนัยสำคัญ

การศึกษาผู้ใช้กับผู้เข้าร่วม 30 ท่านแสดงให้เห็นว่า ReSyncer ส่งเสริมกว่าวิธีการอื่นๆ สี่วิธีในด้านคุณภาพการซิงค์ริมฝีปาก, คุณภาพการสร้างวิดีโอ, และความสมจริงของวิดีโอ, ส่งสัญญาณถึงพลังและความเหนือกว่าของกรอบการทำงาน ReSyncer