Nvidia lanza Dynamo para acelerar la inferencia en IA

Nvidia ha presentado Dynamo 1.0, un software de código abierto que define como el primer “sistema operativo” distribuido para fábricas de inteligencia artificial, diseñado para optimizar la inferencia en grandes centros de datos.

El lanzamiento, anunciado en la conferencia GTC, llega en un momento en que la inferencia —clave para generar respuestas en modelos de IA— se ha convertido en uno de los principales retos para empresas que despliegan inteligencia artificial a gran escala.

Un sistema para exprimir las GPUs

Dynamo permite dividir las cargas de trabajo entre múltiples GPUs, separando procesos y dirigiendo las solicitudes hacia los recursos más eficientes en cada momento.

El sistema gestiona de forma dinámica la memoria y enruta las peticiones para maximizar el uso de datos en caché, mejorando el rendimiento en entornos de alta demanda.

Hasta 7 veces más rendimiento

Según Nvidia, Dynamo puede multiplicar hasta por siete el rendimiento de inferencia en sus GPUs Blackwell, reduciendo además el coste por token para los operadores.

El software también incorpora soporte para modelos de generación de vídeo y una función que acelera el arranque de la inferencia sin necesidad de cargar repetidamente los modelos.

Integración con el ecosistema abierto

La plataforma es compatible con frameworks de código abierto como vLLM, SGLang y LangChain, además de integrarse con TensorRT-LLM de Nvidia.

Incluye módulos específicos para transferencia de datos entre GPUs y gestión avanzada de memoria, lo que facilita su adopción en entornos complejos.

Apoyo de grandes tecnológicas y empresas

Principales proveedores cloud como Amazon Web Services, Microsoft Azure, Google Cloud y Oracle han adoptado la tecnología, junto a compañías como CoreWeave o Together AI.

Empresas como Pinterest, PayPal, ByteDance o Perplexity ya están implementando Dynamo para escalar sus aplicaciones de inteligencia artificial en producción.