NVIDIA lanza microservicios de Inteligencia Artificial generativa

NVIDIA lanzó docenas de microservicios de IA generativa de nivel empresarial que las empresas pueden utilizar para crear e implementar aplicaciones personalizadas en sus propias plataformas mientras conservan la propiedad y el control total de su propiedad intelectual.

Construido sobre la plataforma NVIDIA CUDA, el catálogo de microservicios nativos de la nube incluye NVIDIA NIM para la inferencia optimizada en más de dos docenas de modelos populares de IA de NVIDIA y su ecosistema de socios. Además, ahora se puede acceder a los kits, bibliotecas y herramientas de desarrollo de software acelerado de NVIDIA como microservicios NVIDIA CUDA-X para generación aumentada de recuperación (RAG), barreras de seguridad, procesamiento de datos, HPC y más. NVIDIA también anunció por separado más de dos docenas de microservicios NIM y CUDA-X para atención médica.

La selección curada de microservicios agrega una nueva capa a la plataforma informática de pila completa de NVIDIA. Esta capa conecta el ecosistema de IA de desarrolladores de modelos, proveedores de plataformas y empresas con una ruta estandarizada para ejecutar modelos de IA personalizados optimizados para la base instalada de CUDA de NVIDIA de cientos de millones de GPU en nubes, centros de datos, estaciones de trabajo y PC.

“Las plataformas empresariales establecidas cuentan con una mina de oro de datos que pueden transformarse en copilotos de IA generativa”, afirma Jensen Huang, fundador y director ejecutivo de NVIDIA. “Creados con nuestro ecosistema de socios, estos microservicios de IA en contenedores son los pilares para que las empresas de todos los sectores se conviertan en empresas de IA”.

Entre los primeros en acceder a los nuevos microservicios de IA generativa de NVIDIA disponibles en NVIDIA AI Enterprise 5.0 se encuentran los principales proveedores de plataformas de aplicaciones, datos y ciberseguridad, incluidos Adobe, Cadence, CrowdStrike, Getty Images, SAP, ServiceNow y Shutterstock.

Los microservicios de inferencia NIM aceleran las implementaciones de semanas a minutos

Los microservicios NIM proporcionan contenedores prediseñados con tecnología de software de inferencia NVIDIA, incluidos Triton Inference Server y TensorRT-LLM, que permiten a los desarrolladores reducir los tiempos de implementación de semanas a minutos.

Proporcionan API estándar de la industria para dominios como el lenguaje, el habla y el descubrimiento de fármacos para permitir a los desarrolladores crear rápidamente aplicaciones de IA utilizando sus datos patentados alojados de forma segura en su propia infraestructura. Estas aplicaciones pueden ampliarse a medida que se necesiten, lo que proporciona flexibilidad y rendimiento para ejecutar IA generativa en producción en plataformas informáticas aceleradas por NVIDIA.

Los microservicios NIM proporcionan el contenedor de IA de producción más rápido y de mayor rendimiento para implementar modelos de NVIDIA, A121, Adept, Cohere, Getty Images y Shutterstock, así como modelos abiertos de Google, Hugging Face, Meta, Microsoft, Mistral AI y Stability AI.

ServiceNow anunció que está utilizando NIM para desarrollar e implementar nuevos copilotos de dominio específico y otras aplicaciones de IA generativa de manera más rápida y rentable.

“Los microservicios de IA generativa son una innovación ágil y personalizada. A través de esta tecnología, los desarrolladores tienen el poder de dar forma al futuro de las aplicaciones empresariales y podrán ayudar a las empresas en la revolución de la IA”, afirma Marcio Aguiar, director de la división Enterprise de NVIDIA para América Latina.

Los clientes tendrán acceso a microservicios NIM de Amazon SageMaker, Google Kubernetes Engine y Microsoft Azure AI, e integrarse a marcos de IA populares, como Deepset, LangChain y LlamaIndex.

Microservicios CUDA-X para RAG, procesamiento de datos, Guardrails, HPC

Los microservicios CUDA-X proporcionan componentes básicos de extremo a extremo para la preparación, personalización y entrenamiento de datos con el fin de acelerar el desarrollo de la IA de producción en todas las industrias.

Para acelerar la adopción de la IA, las empresas pueden utilizar los microservicios CUDA-X, incluidos NVIDIA Riva para una IA de voz y traducción personalizable, NVIDIA cuOpt para optimización de enrutamiento, y NVIDIA Earth-2 para simulaciones climáticas y meteorológicas de alta resolución.

Los microservicios NeMo Retriever permiten a los desarrolladores vincular sus aplicaciones de IA con sus datos comerciales (incluidos texto, imágenes y visualizaciones como gráficos de barras, diagramas de líneas y gráficos circulares) para generar respuestas muy precisas y adaptadas al contexto. Con estas capacidades de RAG, las empresas pueden ofrecer más datos a copilotos, chatbots y herramientas de productividad de IA generativa para elevar la precisión y el conocimiento.

Próximamente estarán disponibles más microservicios NVIDIA NeMo para el desarrollo de modelos personalizados. Estos incluyen NVIDIA NeMo Curator para crear conjuntos de datos limpios para entrenamiento y recuperación, NVIDIA NeMo Customizer para ajustar los LLM con datos específicos del dominio, NVIDIA NeMo Evaluator para analizar el rendimiento del modelo de IA, así como NVIDIA NeMo Guardrails para LLM.

El ecosistema potencia las plataformas empresariales con microservicios de IA generativa

Además de los principales proveedores de aplicaciones, los proveedores de plataformas informáticas, de datos y de infraestructura en todo el ecosistema de NVIDIA están trabajando con los microservicios de NVIDIA para llevar la IA generativa a las empresas.

Los principales proveedores de plataformas de datos, incluidos Box, Cloudera, Cohesity, Datastax, Dropbox y NetApp están trabajando con los microservicios de NVIDIA para ayudar a los clientes a optimizar sus canales RAG e integrar sus datos patentados en aplicaciones generativas de IA. Snowflake aprovecha NeMo Retriever para manejar datos empresariales para la creación de aplicaciones de IA.

Las empresas pueden implementar microservicios de NVIDIA incluidos con NVIDIA AI Enterprise 5.0 en la infraestructura de su elección, como las nubes líderes Amazon Web Services (AWS), Google Cloud, Azure y Oracle Cloud Infrastructure.

Los microservicios NVIDIA también son compatibles con más de 400 NVIDIA-Certified Systems, iincluidos servidores y estaciones de trabajo de Cisco, Dell Technologies, Hewlett Packard Enterprise (HPE), HP, Lenovo y Supermicro. Por otra parte, HPE anunció hoy la disponibilidad de la solución informática empresarial de HPE para IA generativa, con la integración planificada de los modelos NIM y NVIDIA AI Foundation en el software de IA de HPE.

Los microservicios NVIDIA AI Enterprise están llegando a plataformas de software de infraestructura, incluida VMware Private AI Foundation con NVIDIA. Red Hat OpenShift admite los microservicios NIM de NVIDIA para ayudar a las empresas a integrar más fácilmente capacidades de IA generativa en sus aplicaciones con capacidades optimizadas de seguridad, cumplimiento y controles. Canonical está agregando compatibilidad con Charmed Kubernetes para los microservicios de NVIDIA a través de NVIDIA AI Enterprise.

El ecosistema de NVIDIA de cientos de socios de IA y MLOps, incluidos Abridge, Anyscale, Dataiku, DataRobot, Glean, H2O.ai, Securiti AI, Scale AI, OctoAI y Weights & Biases, están agregando soporte para los microservicios de NVIDIA a través de NVIDIA AI Enterprise.

Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis y Weaviate se encuentran entre los proveedores de búsqueda vectorial que trabajan con los microservicios NVIDIA NeMo Retriever para potenciar las capacidades RAG de respuesta para empresas.

Los desarrolladores pueden experimentar con los microservicios de NVIDIA en ai.nvidia.com sin costo alguno. Las empresas pueden implementar microservicios NIM de nivel de producción con NVIDIA AI Enterprise 5.0 ejecutándose en sistemas certificados por NVIDIA y plataformas de nube líderes.

Para obtener más información, vea la repetición del discurso de apertura de Huang en el GTC y visite el stand de NVIDIA en el GTC, que se lleva a cabo en el San Jose Convention Center hasta 21 de marzo del 2024.