ReSyncer : Performeur facial synchronisé audio-visuel unifié
ReSyncer : Cadre unifié pour la synchronisation audio-visuelle faciale. Synchronisation labiale haute fidélité, permutation de visages, et transfert de style pour les artistes virtuels. Dynamique faciale 3D innovante.
Questions Fréquemment Posées
Vous avez des questions sur ReSyncer ? Nous avons des réponses. Parcourez notre FAQ pour en savoir plus sur ReSyncer.
ReSyncer est un cadre unifié conçu pour synchroniser efficacement les informations faciales audio-visuelles généralisées.
Le cadre ReSyncer se compose de deux étapes simplement conçues et faciles à mettre en œuvre.
La caractéristique clé de la conception de ReSyncer est de revisiter et de recâbler le générateur basé sur le style pour adopter efficacement des dynamiques faciales 3D prédites par un Transformer injecté de style principiel.
Les contributions de ReSyncer incluent de puissantes capacités de synchronisation labiale, le soutien de diverses propriétés intrigantes dans la création de performeurs virtuels, et un échange de visage haute-fidélité.
ReSyncer va au-delà des solutions existantes en répondant de manière uniforme à une gamme plus large de besoins dans la création de performeurs virtuels et en soutenant la personnalisation fine et l'échange d'identité.
ReSyncer permet de satisfaire simultanément un échange de visage haute-fidélité et une synchronisation labiale, avec une cohérence temporelle supérieure et une préservation des riches détails faciaux.
ReSyncer prédit les dynamiques faciales 3D à partir de l'entrée audio et superpose le maillage prédit sur la trame cible pour fournir une forte orientation spatiale pour une synchronisation précise.
Les données d'entraînement pour la synchronisation labiale généralisée dans ReSyncer consistent en des clips vidéo avec des fonctionnalités de clip audio accompagnatrices, visant à récupérer la trame originale donnée le clip audio et une trame de référence.
ReSyncer surpasse les méthodes existantes en termes de qualité de synchronisation labiale, de qualité de génération vidéo et de réalisme vidéo, montrant des améliorations substantielles en qualité visuelle et en réalisme.
Une étude utilisateur avec 30 participants a montré que ReSyncer surpassait quatre homologues en termes de qualité de synchronisation labiale, de qualité de génération vidéo et de réalisme vidéo, mettant en évidence la puissance et la supériorité du cadre ReSyncer.