NVIDIA libera como open source los modelos y el SDK de Audio2Face, de modo que cada desarrollador de videojuegos y aplicaciones 3D pueda crear y desplegar personajes de alta fidelidad con animaciones de vanguardia. NVIDIA también liberará como open source el Audio2Face Training Framework, para que cualquier persona pueda ajustar y personalizar modelos preexistentes según lo desee.
NVIDIA Audio2Face acelera la creación de personajes digitales realistas mediante animación facial y lip-sync en tiempo real impulsados por IA generativa. A partir de una entrada de audio, la tecnología analiza características acústicas como fonemas y entonación para generar un flujo de datos de animación, que se asigna a las expresiones faciales del personaje. Estos datos pueden renderizarse en modo offline para contenido pregrabado o transmitirse en tiempo real, lo que permite dar vida a personajes dinámicos con sincronización labial precisa y expresiones emocionales naturales.
El modelo de Audio2Face está ampliamente implementado en las industrias de videojuegos, medios y entretenimiento, así como en atención al cliente. Numerosos ISVs y desarrolladores de videojuegos integran Audio2Face en sus aplicaciones. Entre los desarrolladores se incluyen Codemasters, GSC Games World, NetEase, Perfect World Games, mientras que entre los ISVs se encuentran Convai, Inworld AI, Reallusion, Streamlabs y UneeQ.
A continuación encontrarás la lista completa de herramientas open source, además de más información en NVIDIA ACE for Games.
|
Paquete |
Uso |
|
Audio2Face SDK |
Bibliotecas y documentación para crear y ejecutar animaciones faciales en el dispositivo o en la nube. |
|
Autodesk Maya plugin |
Plugin de referencia (v2.0) con ejecución local que permite a los usuarios enviar entradas de audio y recibir animación facial para personajes en Maya. |
|
Unreal Engine 5 plugin |
Plugin para UE5 (v2.5) compatible con UE 5.5 y 5.6 que permite enviar entradas de audio y recibir animación facial para personajes en Unreal Engine 5. |
|
Audio2Face Training Framework |
Framework (v1.0) para crear modelos de Audio2Face con tus propios datos. |
|
Audio2Face Training Sample Data |
Datos de ejemplo para comenzar a usar el training framework. |
|
Audio2Face Models |
Modelos de regresión (v2.2) y de difusión (v3.0) para generar lip-sync. |
|
Audio2Emotion Models |
Modelos de producción (v2.2) y experimentales (v3.0) para inferir el estado emocional a partir de audio. |