A NVIDIA lançou uma demo de jogo em que os jogadores podem interagir com NPCs por meio de voz, obter informações sobre os objetivos da fase e otimizar a configuração do equipamento, e em seguida, ajustar as cores das armas e iniciar a batalha. NVIDIA ACE é uma plataforma que permite aos desenvolvedores criar NPCs de jogos inteligentes usando IA generativa. Em resumo, o ACE pode criar personagens de jogos totalmente dinâmicos e com voz.

A Meta revelou recentemente uma estrutura de IA chamada audio2photoreal, que é capaz de gerar uma série de modelos de personagens NPC realistas e automaticamente "sincronizar os lábios" e "posar" os modelos de personagens com a ajuda de arquivos de voz existentes. O relatório oficial da pesquisa apontou que, após receber o arquivo de dublagem, o framework fotoreal Audio2 primeiro gerará uma série de modelos NPC e, em seguida, usará tecnologia de quantização e algoritmo de difusão para gerar ações de modelo, em que a tecnologia de quantização fornece referência de amostra de ação para o framework e o algoritmo de difusão é usado para melhorar o efeito das ações de caracteres geradas pelo quadro. Quarenta e três por cento dos avaliadores no experimento controlado estavam "fortemente satisfeitos" com as cenas de diálogo de personagens geradas pelo quadro, então os pesquisadores sentiram que a estrutura fotorreal Audio2 foi capaz de gerar movimentos "mais dinâmicos e expressivos" do que os produtos concorrentes na indústria. É relatado que a equipe de pesquisa já tornou o código relevante e o conjunto de dados públicos no GitHub.

De acordo com Pinplay, a Meta anunciou recentemente uma estrutura de IA chamada audio2photoreal, que é capaz de gerar uma série de modelos realistas de personagens NPC, e automaticamente "sincronizar os lábios" e "posar" os modelos de personagens com a ajuda de arquivos de dublagem existentes. O relatório oficial da pesquisa apontou que, após receber o arquivo de dublagem, o framework fotoreal Audio2 primeiro gerará uma série de modelos NPC e, em seguida, usará tecnologia de quantização e algoritmo de difusão para gerar ações de modelo, em que a tecnologia de quantização fornece referência de amostra de ação para o framework e o algoritmo de difusão é usado para melhorar o efeito das ações de caracteres geradas pelo quadro. Quarenta e três por cento dos avaliadores no experimento controlado estavam "fortemente satisfeitos" com as cenas de diálogo de personagens geradas pelo quadro, então os pesquisadores sentiram que a estrutura fotorreal Audio2 foi capaz de gerar movimentos "mais dinâmicos e expressivos" do que os produtos concorrentes na indústria. É relatado que a equipe de pesquisa já tornou o código relevante e o conjunto de dados públicos no GitHub.