NVIDIA libera como open source el modelo de animación Audio2Face

NVIDIA liberó como open source los modelos y el SDK de Audio2Face, de modo que cada desarrollador de videojuegos y aplicaciones 3D pueda crear y desplegar personajes de alta fidelidad con animaciones de vanguardia. NVIDIA también liberará como open source el Audio2Face Training Framework, para que cualquier persona pueda ajustar y personalizar modelos preexistentes según lo desee. 

NVIDIA Audio2Face acelera la creación de personajes digitales realistas mediante animación facial y lip-sync en tiempo real impulsados por IA generativa. A partir de una entrada de audio, la tecnología analiza características acústicas como fonemas y entonación para generar un flujo de datos de animación, que se asigna a las expresiones faciales del personaje. Estos datos pueden renderizarse en modo offline para contenido pregrabado o transmitirse en tiempo real, lo que permite dar vida a personajes dinámicos con sincronización labial precisa y expresiones emocionales naturales. 

El modelo de Audio2Face está ampliamente implementado en las industrias de videojuegos, medios y entretenimiento, así como en atención al cliente. Numerosos ISVs y desarrolladores de videojuegos integran Audio2Face en sus aplicaciones. Entre los desarrolladores se incluyen Codemasters, GSC Games World, NetEase, Perfect World Games, mientras que entre los ISVs se encuentran Convai, Inworld AI, Reallusion, Streamlabs y UneeQ. 

A continuación, encontrarás la lista completa de herramientas open source, además de más información en NVIDIA ACE for Games.