ReSyncer: Einheitlich Audio-Visuell Synchronisierter Gesichts-Darsteller
ReSyncer: Vereinheitlichtes Rahmenwerk für audio-visuelle Gesichts-Synchronisation. Hochwertiges Lippen-Synchronisieren, Gesichtstausch und Stiltransfer für virtuelle Darsteller. Innovative 3D-Gesichtsdynamik.
Häufig gestellte Fragen
Haben Sie Fragen zu ReSyncer? Wir haben die Antworten. Durchsuchen Sie unsere FAQs, um mehr über ReSyncer zu erfahren.
ReSyncer ist ein einheitliches Framework, das darauf ausgelegt ist, allgemeine audiovisuelle Gesichtsinformationen effektiv zu synchronisieren.
Das ReSyncer-Framework besteht aus zwei Phasen, die einfach gestaltet und leicht zu implementieren sind.
Das Schlüssel-Designmerkmal von ReSyncer besteht darin, den Style-basierten Generator zu überarbeiten und neu zu verkabeln, um effizient 3D-Gesichtsdynamiken zu übernehmen, die von einem prinzipiellen style-injizierten Transformer vorhergesagt werden.
Die Beiträge von ReSyncer umfassen leistungsstarke Lippen-Synchronisierungsfähigkeiten, Unterstützung für verschiedene interessante Eigenschaften bei der Erstellung virtueller Performer und hochauflösendes Gesichtstausch.
ReSyncer geht über bestehende Lösungen hinaus, indem es ein breiteres Spektrum an Bedürfnissen bei der Erstellung virtueller Performer einheitlich adressiert und personalisierte Feinabstimmungen sowie Identitätstausch unterstützt.
ReSyncer ermöglicht die gleichzeitige Erfüllung von hochauflösendem Gesichtstausch und Lippen-Synchronisierung mit überlegener zeitlicher Konsistenz und Erhaltung reichhaltiger Gesichtsdetails.
ReSyncer sagt 3D-Gesichtsdynamiken auf Basis von Audioeingaben voraus und überlagert das vorhergesagte Mesh auf den Zielrahmen, um eine starke räumliche Führung für eine genaue Synchronisierung zu bieten.
Die Trainingsdaten für die allgemeine Lippen-Synchronisierung in ReSyncer bestehen aus Videoclips mit begleitenden Audio-Clip-Funktionen, mit dem Ziel, den Originalrahmen unter Berücksichtigung des Audio-Clips und eines Referenzrahmens wiederherzustellen.
ReSyncer übertrifft bestehende Methoden in Bezug auf Lippen-Synchronisierungsqualität, Videogenerationsqualität und Videorealismus und zeigt wesentliche Verbesserungen in visueller Qualität und Realismus.
Eine Nutzerstudie mit 30 Teilnehmern zeigte, dass ReSyncer vier andere Lösungen in den Bereichen Lippen-Synchronisierungsqualität, Videogenerationsqualität und Videorealismus übertraf und die Stärke und Überlegenheit des ReSyncer-Frameworks hervorhebt.