ReSyncer: Intérprete Facial Sincronizado Audio-Visualmente Unificado
ReSyncer: Marco unificado para la sincronización audio-visual facial. Sincronización labial de alta fidelidad, intercambio de rostros y transferencia de estilo para artistas virtuales. Dinámicas faciales 3D innovadoras.
Preguntas Frecuentes
¿Tienes preguntas sobre ReSyncer? Tenemos respuestas. Consulta nuestras preguntas frecuentes para obtener más información sobre ReSyncer.
ReSyncer es un marco unificado diseñado para sincronizar de manera efectiva información facial audiovisual generalizada.
El marco ReSyncer consta de dos etapas que son simplemente diseñadas y fáciles de implementar.
La característica clave del diseño de ReSyncer es revisar y reestructurar el generador basado en estilo para adoptar eficientemente las dinámicas faciales en 3D predichas por un Transformer inyectado en estilo.
Las contribuciones de ReSyncer incluyen poderosas capacidades de sincronización labial, soporte para diversas propiedades intrigantes en la creación de intérpretes virtuales y el intercambio de rostros de alta fidelidad.
ReSyncer va más allá de las soluciones existentes al abordar de manera uniforme una gama más amplia de necesidades en la creación de intérpretes virtuales y al apoyar la personalización fina y el intercambio de identidad.
ReSyncer permite satisfacer simultáneamente el intercambio de rostros de alta fidelidad y la sincronización labial, con una consistencia temporal superior y la preservación de ricos detalles faciales.
ReSyncer predice dinámicas faciales 3D a partir de la entrada de audio y superpone la malla predicha en el marco objetivo para proporcionar una guía espacial fuerte para una sincronización precisa.
Los datos de entrenamiento para la sincronización labial generalizada en ReSyncer consisten en clips de video con características de clips de audio acompañantes, con el objetivo de recuperar el marco original dado el clip de audio y un marco de referencia.
ReSyncer supera a los métodos existentes en calidad de sincronización labial, calidad de generación de video y realismo de video, mostrando mejoras sustanciales en la calidad visual y el realismo.
Un estudio de usuarios con 30 participantes mostró que ReSyncer superó a cuatro contrapartes en calidad de sincronización labial, calidad de generación de video y realismo de video, destacando el poder y la superioridad del marco ReSyncer.