NVIDIA Cosmos acelera el desarrollo de la Inteligencia Artificial física

NVIDIA anunció NVIDIA Cosmos, una plataforma que incluye la tecnología de modelos de base globales, de última generación, tokenizadores avanzados, mecanismos de protección y un pipeline de procesamiento acelerado de videos construido para avanzar en el desarrollo de sistemas de IA física como vehículos autónomos (AV) y robots.

Los modelos de IA física son costosos de desarrollar y requieren enormes cantidades de pruebas y datos del mundo real. Los modelos de base globales (WFM, por sus siglas en inglés) Cosmos ofrecen a los desarrolladores datos sintéticos para entrenar y evaluar sus modelos existentes. Los desarrolladores también pueden construir modelos personalizados ajustando los WFM de Cosmos.

Los modelos de Cosmos estarán disponibles bajo una licencia de modelo abierto para acelerar el trabajo de la comunidad de robótica y de vehículos autónomos. Los desarrolladores pueden previsualizar los primeros modelos en el catálogo NVIDIA API, o descargar la familia de modelos y el marco de optimización desde el catálogo NVIDIA NGC o Hugging Face.

“Se acerca el momento ChatGPT para la robótica. Al igual que los modelos de lenguaje de gran tamaño, los modelos de base globales son fundamentales para avanzar en el desarrollo de robots y vehículos autónomos, pero no todos los desarrolladores tienen el conocimiento, la experiencia y los recursos para entrenar a los suyos”, afirma Jensen Huang, fundador y CEO de NVIDIA. “Creamos Cosmos para democratizar la IA física y poner la robótica general al alcance de todos los desarrolladores”.

Empresas líderes en robótica y automotrices, entre ellas 1X, Agile Robots, Agility, Figure AI, Foretellix, Fourier, //medium.com/@xk.li/galbot-leverages-nvidia-cosmos-to-accelerate-humanoid-development-35be9f8a54d9″ >Galbot, Hillbot, IntBot, Neura Robotics, Skild AI, Virtual Incision, Waabi y XPENG, junto con el gigante de los servicios de transporte compartido Uber, están entre los primeros en adoptar Cosmos.

Modelos de base globales abiertos para acelerar la próxima ola de IA

El conjunto de modelos abiertos de NVIDIA Cosmos significa que los desarrolladores pueden personalizar los WFM con conjuntos de datos, como grabaciones de video de viajes de vehículos autónomos o robots navegando por un almacén, según las necesidades de su aplicación de destino.

Los WFM Cosmos están especialmente diseñados para la investigación y el desarrollo de la IA física, y pueden generar videos basados en la física a partir de una combinación de entradas, como texto, imágenes y videos, así como datos de sensores o de movimiento del robot. Los modelos están diseñados para interacciones con el mundo físico, permanencia de objetos y generación de alta calidad de entornos industriales simulados —como almacenes o fábricas— y de entornos de conducción, incluidas diversas condiciones de la carretera.

En su discurso de apertura de CES, el fundador y CEO de NVIDIA, Jensen Huang, mostró las formas en que los desarrolladores de IA física pueden utilizar los modelos Cosmos, entre otras, para lo siguiente:

• Búsqueda y comprensión de videos, que permite a los desarrolladores encontrar fácilmente entrenamientos específicos, como las condiciones de la carretera nevada o la congestión de un depósito, a partir de datos de video.
• Generación de datos sintéticos basados en física fotorrealista, utilizando modelos Cosmos para generar videos fotorrealistas a partir de escenarios 3D controlados desarrollados en la plataforma NVIDIA Omniverse.
• Desarrollo y evaluación de modelos de IA física, ya sea creando un modelo personalizado a partir de los modelos básicos, mejorando los modelos mediante Cosmos para el aprendizaje por refuerzo o probando su rendimiento en un escenario simulado específico.
• Previsióny simulación de multiverso, utilizando Cosmos y Omniverse para generar todos los posibles resultados futuros que podría tomar un modelo de IA para ayudarle a seleccionar el camino mejor y más preciso.

“Con el lanzamiento de Cosmos, estamos dando un paso esencial hacia la democratización de la IA física, ofreciendo a los desarrolladores herramientas y modelos de última generación que antes eran inaccesibles. La capacidad de generar datos sintéticos fotorrealistas basados en la física redefine la forma en que entrenamos robots y vehículos autónomos, abriendo nuevas fronteras para la innovación y la eficiencia”, afirma Marcio Aguiar, director de la división Enterprise de NVIDIA para Latinoamérica.

Herramientas avanzadas de desarrollo de modelos globales

Construir modelos físicos de IA requiere petabytes de datos de video y decenas de miles de horas de computación para procesar, depurar y etiquetar esos datos. Para ayudar a ahorrar enormes costos en curación de datos, formación y personalización de modelos, Cosmos cuenta con:

• Un pipeline de procesamiento de datos acelerado por NVIDIA AI y CUDA®, impulsado por NVIDIA NeMo Curator, que permite a los desarrolladores procesar, depurar y etiquetar 20 millones de horas de videos en 14 días utilizando la plataforma NVIDIA Blackwell, en lugar de 3 años o más utilizando un pipeline solo de CPU.
• NVIDIA Cosmos Tokenizer, un tokenizador visual de última generación para convertir imágenes y videos en tokens. Ofrece una compresión total 8 veces mayor y un procesamiento 12 veces más rápido que los principales tokenizadores actuales.
• El marco NVIDIA NeMo para el entrenamiento, la personalización y la optimización de modelos de alta eficiencia.

Los pioneros del sector de la IA física ya están adoptando las tecnologías de Cosmos.

1X, una empresa de IA y robots humanoides, lanzó el conjunto de datos 1X World Model Challenge utilizando el Cosmos Tokenizer. XPENG usará Cosmos para acelerar el desarrollo de su robot humanoide. Hillbot y SkildAI están empleando Cosmos para acelerar el desarrollo de sus robots de uso general.

“La escasez de datos y la variabilidad son retos clave para el éxito del aprendizaje en entornos robotizados”, afirma Pras Velagapudi, director de tecnología en Agility. “Las capacidades de Cosmos para convertir texto, imágenes y videos en realidad nos permiten generar y aumentar escenarios fotorrealistas en una gran variedad de tareas que podemos utilizar para entrenar modelos sin necesidad de una captura de datos tan costosa y real”.

Los líderes del transporte también están utilizando Cosmos para crear IA física para vehículos autónomos:

• Waabi, una empresa pionera en IA generativa para el mundo físico, empezando con vehículos autónomos, está evaluando Cosmos en el contexto de procura de datos para el desarrollo de software para vehículos autónomos y simulación.
• Wayve, que está desarrollando modelos de base de IA para la conducción autónoma, está evaluando Cosmos como herramienta para buscar escenarios de conducción extremos y de casos límite utilizados para seguridad y validación.
• El proveedor de cadenas de herramientas para vehículos autónomos Foretellix utilizará Cosmos, junto con NVIDIA Omniverse Sensor RTX APIs, para evaluar y generar escenarios de prueba de alta fidelidad y datos de entrenamiento a escala.
• El gigante de los servicios de transporte compartido Uber se asocia con NVIDIA para acelerar la movilidad autónoma. Los ricos conjuntos de datos de conducción de Uber, combinados con las características de la plataforma Cosmos y NVIDIA DGX Cloud, pueden ayudar a los socios de vehículos autónomos a construir modelos de IA más sólidos de manera aún más eficiente.

“La IA generativa impulsará el futuro de la movilidad, lo que requiere tanto datos abundantes como una computación muy potente”, declara Dara Khosrowshahi, CEO de Uber. “Al trabajar con NVIDIA, estamos seguros de que podemos ayudar a acelerar el calendario de soluciones de conducción autónoma seguras y escalables para la industria”.

Desarrollar una IA abierta, segura y responsable

NVIDIA Cosmos fue desarrollado en consonancia con los principios de IA confiable que priorizan la privacidad, seguridad, transparencia y la reducción de sesgos no deseados.

La IA confiable es esencial para fomentar la innovación dentro de la comunidad de desarrolladores y conservar la confianza del usuario. NVIDIA se compromete con una IA segura y confiable, en concordancia con los compromisos voluntarios de IA de la Casa Blanca y otras iniciativas globales de seguridad en IA.

La plataforma abierta Cosmos incluye mecanismos de protección diseñados para mitigar el texto y las imágenes perjudiciales, además cuenta con una herramienta para mejorar la precisión de los prompts de texto. Los videos generados con modelos autorregresivos y de difusión del catálogo NVIDIA API incluye marcas de agua invisibles para identificar el contenido generado por IA, lo que ayuda a reducir las posibilidades de desinformación y atribución errónea.

NVIDIA anima a los desarrolladores a adoptar prácticas de IA confiable y seguir mejorando las soluciones de protección y marca de agua para sus aplicaciones.

Disponibilidad

Los WMF Cosmos ahora están disponibles bajo la licencia de modelo abierto de NVIDIA en Hugging Face y el catálogo de NVIDIA NGC. Los modelos Cosmos pronto estarán disponibles como microservicios NVIDIA NIM totalmente optimizados.

Los desarrolladores pueden acceder a NVIDIA NeMo Curator fpara el procesamiento acelerado de video y personalizar sus propios modelos globales con NVIDIA NeMo. NVIDIA DGX Cloud ofrece una forma rápida y sencilla de implementar estos modelos, con soporte empresarial disponible a través de la plataforma de software NVIDIA AI Enterprise.

NVIDIA también anunció los nuevos grandes modelos de lenguaje NVIDIA Llama Nemotron y los grandes modelos de lenguaje NVIDIA Cosmos Nemotron que los desarrolladores pueden usar para casos de uso de IA en atención médica, servicios financieros, fabricación, etc.

Para más información puedes visitar la Web Oficial o seguir las redes sociales oficiales como la Cuenta de Twitter.