NVIDIA NIM revoluciona la implementación de modelos

NVIDIA anuncia que los 28 millones de desarrolladores del mundo ya pueden descargar NVIDIA NIM —microservicios de inferencia que proporcionan modelos como contenedores optimizados— para implementar en nubes, centros de datos o estaciones de trabajo, lo que les brinda la posibilidad de crear fácilmente aplicaciones de IA generativa para copilotos, chatbots y más, en minutos en lugar de semanas.

Estas nuevas aplicaciones de IA generativa se están volviendo cada vez más complejas y con frecuencia utilizan múltiples modelos con diferentes capacidades para generar texto, imágenes, video, voz y mucho más. NVIDIA NIM aumenta considerablemente la productividad del desarrollador ofreciendo una forma simple y estandarizada de añadir IA generativa a sus aplicaciones.

NIM, además, permite que las empresas maximicen sus inversiones en infraestructura. Por ejemplo, ejecutar Meta Llama 3-8B en un NIM produce hasta 3 veces más de tokens de IA generativa en una infraestructura acelerada que sin NIM. Esto permite a las empresas aumentar la eficiencia y utilizar la misma cantidad de infraestructura informática para generar más respuestas.

Casi 200 socios de tecnología, entre ellos Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI y Synopsys, están integrando NIM en sus plataformas con el fin de acelerar las implementaciones de IA generativa para aplicaciones de dominios específicos, como copilotos, asistentes de código y avatares humanos digitales. Hugging Face ahora ofrece NIM, empezando por Meta Llama 3.

“Todas las empresas están buscando añadir IA generativa a sus operaciones, pero no todas las empresas tienen un equipo dedicado de investigadores de IA”, declara Jensen Huang, fundador y CEO de NVIDIA. “Integrado en plataformas de todo el mundo, accesible a desarrolladores de todo el mundo y funcionando en todos lados, NVIDIA NIM está ayudando al sector de la tecnología a poner la IA al alcance de todas las organizaciones”.

Las empresas pueden desarrollar aplicaciones de IA con NIM mediante la plataforma de software NVIDIA AI Enterprise. A partir del próximo mes, los miembros del Programa para desarrolladores NVIDIA pueden acceder sin cargo a NIM para investigación, desarrollo y pruebas en su infraestructura preferida.

Más de 40 microservicios NIM potencian los modelos de IA generativa en todas las modalidades

Los contenedores con NIM están preconstruidos para acelerar la implementación del modelo de inferencia acelerada en la GPU y pueden incluir software NVIDIA CUDA, NVIDIA Triton Inference Server y software NVIDIA TensorRT-LLM.

Más de 40 modelos de NVIDIA y de la comunidad están disponibles para experimentar como puntos finales NIM en ai.nvidia.com, incluidos Databricks DBRX, el modelo abierto Gamma de Google, Meta Llama 3, Microsoft Phi-3, Mistral Large, Mixtral 8x22B y Snowflake Arctic.

Los desarrolladores ya pueden acceder a microservicios de NVIDIA NIM para modelos Meta Llama 3 de la plataforma de IA Hugging Face. Esto permite a los desarrolladores acceder y ejecutar fácilmente el NIM de Llama 3 en unos pocos clics con Hugging Face Inference Endpoints, impulsados por GPU NVIDIA en su nube preferida.

Las empresas pueden utilizar NIM para ejecutar aplicaciones de generación de texto, imágenes y video, voz y humanos digitales. Con los microservicios NIM de NVIDIA BioNeMo para biología digital, los investigadores pueden crear nuevas estructuras proteínicas para acelerar el descubrimiento de fármacos.

Docenas de compañías del sector sanitario están implementando NIM para potenciar la inferencia de IA generativa en una variedad de aplicaciones, entre ellas la planificación quirúrgica, los asistentes digitales, el descubrimiento de fármacos y la optimización de los ensayos clínicos.

“Con estas nuevas aplicaciones de IA generativa, muchos socios podrán incorporar estos microservicios de inferencia NIM para optimizar sus puestos de trabajo de manera más efectiva. Esto permitirá avances significativos en el sector salud, industria, entre otras áreas que están utilizando estas soluciones tecnológicas”, destaca Marcio Aguiar, director de la división Enterprise de NVIDIA para América Latina.

Con los nuevos microservicios NVIDIA ACE NIM, los desarrolladores pueden construir y manejar fácilmente humanos digitales interactivos y realistas en aplicaciones para servicio al cliente, telemedicina, educación, juegos y entretenimiento.

Cientos de socios del ecosistema de IA integran NIM

Los proveedores de plataformas como Canonical, Red Hat, Nutanix y VMware (adquirida por Broadcom) admiten NIM en KServe de código abierto o soluciones empresariales. Las compañías de aplicación de IA Hippocratic AI, Glean Kinetica y Redis también están implementando NIM para impulsar la inferencia de IA generativa.

Los principales socios de herramientas de IA y MLOps, como Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot, deepset, Domino Data Lab, LangChain, Llama Index, Replicate, Run.ai, Saturn Cloud, Securiti AI y Weights & Biases también han integrado NIM en sus plataformas para permitir a los desarrolladores crear e implementar aplicaciones de IA generativa específicas de un dominio con inferencia optimizada.

Los integradores mundiales de sistemas y socios de prestación de servicios Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS y Wipro han creado competencias de NIM para ayudar a las empresas de todo el mundo a desarrollar e implantar rápidamente estrategias de producción de IA.

Las empresas pueden ejecutar aplicaciones habilitadas para NIM prácticamente en cualquier lugar, incluso en sistemas certificados por NVIDIA del fabricante mundial de infraestructuras Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo y Supermicro, así como los fabricantes de servidores ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron y Wiwynn. Los microservicios NIM también se han integrado a Amazon Web Services, Google Cloud, Azure y Oracle Cloud Infrastructure.

Los titanes de la industria potencian la IA generativa con NIM

Los líderes del sector Foxconn, Pegatron, Amdocs, Lowe’s, ServiceNow y Siemens están entre las empresas que usan NIM para aplicaciones de IA generativa en fabricación, salud, servicios financieros, ventas minoristas, servicios al cliente y más:

• Foxconn, el mayor fabricante mundial de electrónica, está utilizando NIM en el desarrollo de grandes modelos de lenguaje (LLM) de dominio específico integrados en diversos sistemas y procesos internos de sus fábricas de IA para fabricación inteligente, ciudades inteligentes y vehículos eléctricos inteligentes.
• Pegatron, una empresa taiwanesa de fabricación de productos electrónicos, está utilizando NIM para el Proyecto TaME (Taiwan Mixtral of Experts), un modelo diseñado para impulsar el desarrollo de grandes modelos de lenguaje (LLM) locales para las industrias.
• Amdocs, proveedor líder mundial de software y servicios para empresas de comunicación y medios de comunicación, está utilizando NIM para ejecutar un LLM de facturación de clientes que reduce significativamente el costo de los tokens, mejora la precisión hasta en un 30 % y reduce la latencia en un 80 %, impulsando respuestas casi en tiempo real.
• Lowe’s, una empresa FORTUNE^® 50 de mejoras del hogar, está utilizando IA generativa para diversos casos de uso. Por ejemplo, el minorista está aprovechando los microservicios de inferencia NVIDIA NIM para elevar las experiencias de asociados y clientes.
• ServiceNow, la plataforma de IA para la transformación empresarial, anunció a principios de este año que era uno de los primeros proveedores de plataformas en acceder a NIM para permitir un desarrollo e implantación de grandes modelos de lenguaje (LLM) rápidos, escalables y más rentables para sus clientes. Los microservicios NIM están integrados en el modelo multimodal Now AI y están a disposición de los clientes que tienen instalada la experiencia de IA generativa de ServiceNow, Now Assit.
• Siemens, una empresa tecnológica mundial centrada en la industria, las infraestructuras, el transporte y la sanidad, está integrando su tecnología operativa con microservicios NIM para cargas de trabajo de IA en el taller. También están construyendo una versión local de su Copiloto Industrial para operadores de máquinas que utilizan NIM.

Los desarrolladores pueden experimentar con los microservicios de NVIDIA en ai.nvidia.com sin costo alguno. Las empresas pueden implementar microservicios NIM de nivel de producción con NVIDIA AI Enterprise ejecutándose en sistemas certificados por NVIDIA y plataformas de nube líderes. A partir del mes que viene, los miembros del programa para desarrolladores NVIDIA obtendrán acceso libre a NIM para investigación y pruebas.

Mire el discurso de apertura de Huang en COMPUTEX para obtener más información sobre NVIDIA NIM.