ReSyncer: एकीकृत ऑडियो-दृश्य रूप से सिंक्रनाइज़ चेहरा प्रदर्शन करने वाला कलाकार

ReSyncer एक एकीकृत फ्रेमवर्क है जिसका उद्देश्य सामान्यीकृत ऑडियो-विज़ुअल चेहरे की जानकारी को प्रभावी ढंग से सिंक्रोनाइज़ करना है।

ReSyncer फ्रेमवर्क दो चरणों से मिलकर बना है, जो सरल और लागू करने में आसान हैं।

ReSyncer की मुख्य डिज़ाइन विशेषता स्टाइल-आधारित जनरेटर को पुनःसमीक्षा और पुनःसंविधान करना है ताकि इसे सिद्धांतित स्टाइल-इंजेक्टेड ट्रांसफार्मर द्वारा भविष्यवाणी किए गए 3D चेहरे की गतिशीलताओं को कुशलतापूर्वक अपनाने में सक्षम बनाया जा सके।

ReSyncer के योगदानों में शक्तिशाली लिप-सिंकिंग क्षमताएँ, वर्चुअल परफ़ॉर्मर निर्माण में विभिन्न आकर्षक गुणों का समर्थन, और उच्च-गुणवत्ता वाले फेस-स्वैपिंग शामिल हैं।

ReSyncer मौजूदा समाधानों से आगे बढ़कर वर्चुअल परफॉर्मर निर्माण की व्यापक आवश्यकताओं को समान रूप से संबोधित करता है और व्यक्तिगत फाइन-ट्यूनिंग और पहचान स्वैपिंग का समर्थन करता है।

ReSyncer उच्च-गुणवत्ता वाले फेस-स्वैपिंग और लिप-सिंकिंग की एकसाथ पूर्ति की अनुमति देता है, जो उत्कृष्ट समयबद्धता और समृद्ध चेहरे के विवरणों का संरक्षण प्रदान करता है।

ReSyncer ऑडियो इनपुट से 3D चेहरे की गतिशीलताओं की भविष्यवाणी करता है और लक्षित फ्रेम पर भविष्यवाणी की गई जाल को ओवरले करता है ताकि सटीक सिंक्रोनाइज़ेशन के लिए मजबूत स्थानिक मार्गदर्शन प्रदान किया जा सके।

ReSyncer में सामान्यीकृत लिप-सिंक के लिए प्रशिक्षण डेटा वीडियो क्लिप्स और उनके साथ ऑडियो क्लिप फीचर्स का उपयोग करता है, जिसका उद्देश्य ऑडियो क्लिप और एक संदर्भ फ्रेम को देखते हुए मूल फ्रेम को पुनर्प्राप्त करना है।

ReSyncer मौजूदा तरीकों की तुलना में लिप-सिंक गुणवत्ता, वीडियो निर्माण गुणवत्ता, और वीडियो यथार्थवाद में उत्कृष्टता प्राप्त करता है, जिसमें दृश्य गुणवत्ता और यथार्थवाद में महत्वपूर्ण सुधार दर्ज किए गए हैं।

30 प्रतिभागियों के साथ किए गए एक उपयोगकर्ता अध्ययन ने दिखाया कि ReSyncer ने चार प्रतिस्पर्धियों की तुलना में लिप-सिंक गुणवत्ता, वीडियो निर्माण गुणवत्ता, और वीडियो यथार्थवाद में उत्कृष्टता प्राप्त की, जो ReSyncer फ्रेमवर्क की शक्ति और श्रेष्ठता को दर्शाता है।