Bit News Meta kısa süre önce, bir dizi gerçekçi NPC karakter modeli oluşturabilen ve mevcut seslendirme dosyalarının yardımıyla karakter modellerini otomatik olarak "dudak senkronizasyonu" yapabilen ve "poz verebilen" audio2photoreal adlı bir AI çerçevesini duyurdu.
Resmi araştırma raporu, dublaj dosyasını aldıktan sonra, Audio2 fotoreal çerçevesinin önce bir dizi NPC modeli oluşturacağına ve daha sonra niceleme teknolojisinin çerçeve için eylem örneği referansı sağladığı model eylemleri oluşturmak için niceleme teknolojisini ve difüzyon algoritmasını kullanacağına dikkat çekti ve çerçeve tarafından oluşturulan karakter eylemlerinin etkisini iyileştirmek için difüzyon algoritması kullanılır.
Kontrollü deneydeki değerlendiricilerin yüzde kırk üçü, çerçeve tarafından oluşturulan karakter diyalog sahnelerinden "güçlü bir şekilde memnundu", bu nedenle araştırmacılar Audio2 fotogerçekçi çerçevesinin "daha dinamik ve etkileyici" hareketler üretebildiğini hissettiler. Araştırma ekibinin artık ilgili kodu ve veri setini GitHub'da herkese açık hale getirdiği bildiriliyor.
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Meta, dublaj dosyalarını girerek karakter diyalog sahneleri oluşturabilen audio2photoreal AI çerçevesini duyurdu
Bit News Meta kısa süre önce, bir dizi gerçekçi NPC karakter modeli oluşturabilen ve mevcut seslendirme dosyalarının yardımıyla karakter modellerini otomatik olarak "dudak senkronizasyonu" yapabilen ve "poz verebilen" audio2photoreal adlı bir AI çerçevesini duyurdu.
Resmi araştırma raporu, dublaj dosyasını aldıktan sonra, Audio2 fotoreal çerçevesinin önce bir dizi NPC modeli oluşturacağına ve daha sonra niceleme teknolojisinin çerçeve için eylem örneği referansı sağladığı model eylemleri oluşturmak için niceleme teknolojisini ve difüzyon algoritmasını kullanacağına dikkat çekti ve çerçeve tarafından oluşturulan karakter eylemlerinin etkisini iyileştirmek için difüzyon algoritması kullanılır.
Kontrollü deneydeki değerlendiricilerin yüzde kırk üçü, çerçeve tarafından oluşturulan karakter diyalog sahnelerinden "güçlü bir şekilde memnundu", bu nedenle araştırmacılar Audio2 fotogerçekçi çerçevesinin "daha dinamik ve etkileyici" hareketler üretebildiğini hissettiler. Araştırma ekibinin artık ilgili kodu ve veri setini GitHub'da herkese açık hale getirdiği bildiriliyor.