ReSyncer: Intérprete Facial Sincronizado em Áudio e Visual Unificado

ReSyncer é uma estrutura unificada projetada para sincronizar informações faciais áudio-visuais generalizadas de forma eficaz.

O framework ReSyncer consiste em duas etapas que são simplesmente projetadas e fáceis de implementar.

A principal característica de design do ReSyncer é revisitar e religar o gerador baseado em estilo para adotar eficientemente dinâmicas faciais 3D previstas por um Transformer injetado de estilo.

As contribuições do ReSyncer incluem poderosas capacidades de sincronização labial, suporte para várias propriedades intrigantes na criação de performers virtuais e troca de rostos de alta fidelidade.

O ReSyncer vai além das soluções existentes abordando de forma uniforme uma gama mais ampla de necessidades na criação de performers virtuais e apoiando ajustes personalizados e troca de identidades.

O ReSyncer permite a satisfação simultânea de troca de rostos de alta fidelidade e sincronização labial, com superior consistência temporal e preservação de ricos detalhes faciais.

O ReSyncer prevê dinâmicas faciais 3D a partir da entrada de áudio e sobrepõe a malha prevista ao quadro alvo para fornecer uma forte orientação espacial para uma sincronização precisa.

Os dados de treinamento para sincronização labial generalizada no ReSyncer consistem em clipes de vídeo com recursos de clipe de áudio acompanhantes, visando recuperar o quadro original dado o clipe de áudio e um quadro de referência.

O ReSyncer supera os métodos existentes em qualidade de sincronização labial, qualidade de geração de vídeo e realismo de vídeo, mostrando melhorias substanciais na qualidade visual e no realismo.

Um estudo com 30 participantes mostrou que o ReSyncer superou quatro contrapartes em qualidade de sincronização labial, qualidade de geração de vídeo e realismo de vídeo, destacando o poder e a superioridade do framework ReSyncer.