Cloudera y NVIDIA presentan AI Inference para desplegar modelos LLM 36 veces más rápido

Cloudera, la única plataforma realmente híbrida para datos, analítica e IA, en el marco de celebración de su evento anual Evolve en Nueva York, ha comunicado el lanzamiento del nuevo servicio Cloudera AI Inference. Impulsado por los microservicios NVIDIA NIM, Cloudera AI Inference permite optimizar y gestionar modelos de IA a gran escala, permitiendo a las empresas aprovechar el verdadero potencial de sus datos para desplegar proyectos de GenAI.

Un informe reciente de Deloitte revela que las mayores preocupaciones para la adopción de GenAI en las empresas son los riesgos de cumplimiento y la gobernanza. Aun así, la adopción de la Inteligencia Artificial Generativa está avanzando a un ritmo bastante rápido, con más de dos tercios de las organizaciones aumentando sus presupuestos en el tercer trimestre de este año. Para reducir estas preocupaciones, las empresas pueden recurrir a ejecutar modelos y aplicaciones de IA propias, ya sea on premise o en nubes públicas. Este cambio requiere soluciones seguras y escalables que eviten complejidades.

Cloudera AI Inference protege los datos sensibles de posibles filtraciones a modelos de IA alojados por terceros, al ofrecer un desarrollo y despliegue seguro, controlado en todo momento por la empresa. Impulsado por la tecnología de NVIDIA, este servicio ayuda a unificar una base sólida para obtener una IA de confianza. Su rendimiento permite el desarrollo eficiente de chatbots, asistentes virtuales y aplicaciones con agentes de IA, mejorando tanto la productividad como el crecimiento de negocio.

El lanzamiento de Cloudera AI Inference se produce tras el acuerdo anunciado hace unos meses con NVIDIA, lo que refuerza el compromiso de Cloudera con la innovación en IA para empresas en un momento como el actual, en el que todos los sectores tienen que afrontar los retos de la transformación digital y la integración de esta tecnología.

De este modo, los desarrolladores pueden construir, personalizar y desplegar modelos de lenguaje de gran tamaño (LLM) a nivel empresarial con una velocidad de rendimiento 36 veces mayor utilizando GPUs NVIDIA Tensor Core, y una tasa de casi 4 veces más de rendimiento comparado con CPUs.

Como la experiencia de usuario está integrada, conecta la interfaz gráfica y las API directamente con los contenedores de microservicios NIM de NVIDIA, eliminando la necesidad de interfaces y sistemas de monitorización separados. La integración del servicio con el Registro de Modelos de IA de Cloudera también mejora la seguridad y la gobernanza, gracias a que se pueden gestionar controles de acceso tanto para los puntos finales de los modelos como para las operaciones. Los usuarios se benefician así de una plataforma unificada donde todos los modelos, ya sean despliegues de LLM o modelos tradicionales, se gestionan sin problemas bajo un solo servicio.

“Estamos muy felices de colaborar con NVIDIA para lanzar Cloudera AI Inference al mercado, proporcionando una única plataforma de IA y ML que soporta casi todos los modelos y casos de uso. Así las empresas pueden crear potentes aplicaciones de IA con nuestro software además de ejecutarlas directamente en nuestra plataforma”, añade Dipto Chakravarty, Director de Producto de Cloudera.

“Hoy en día, las empresas necesitan integrar la IA generativa con su infraestructura de datos existente de manera fluida para obtener mejores resultados de negocio», añade Kari Briski, vicepresidenta de software, modelos y servicios de IA en NVIDIA. «Al incorporar los microservicios NVIDIA NIM en la plataforma AI Inference de Cloudera, estamos dando más herramientas a los desarrolladores para que creen fácilmente aplicaciones de IA generativa de calidad».