NVIDIA ya está moviendo ficha para la siguiente etapa de la Inteligencia Artificial, y no hablamos solo de entrenar modelos cada vez más grandes con toneladas de datos humanos, o de la famosa inferencia para trabajarlos, este es el siguiente nivel. La compañía se ha aliado con Ineffable Intelligence, el laboratorio de IA fundado en Londres por David Silver, uno de los grandes nombres detrás de AlphaGo, para trabajar en infraestructura de aprendizaje por refuerzo a gran escala, en lo que han llamado como Superlearners.
La idea gira alrededor de sistemas de IA que aprenden de forma continua mediante experiencia. Es decir, modelos que actúan, observan lo que ocurre, reciben una puntuación, corrigen su comportamiento y vuelven a intentarlo.
NVIDIA y Ineffable Intelligence se alían para buscar los Superlearners, la IA que aprende como un humano a base de prueba y error totalmente sola
El punto importante es que este enfoque no funciona igual que el preentrenamiento clásico que hemos visto hasta ahora. En el entrenamiento tradicional, el modelo recibe un conjunto fijo de datos humanos, como texto, imágenes, código o vídeo, y aprende patrones a partir de todo ese material.
En cambio, el aprendizaje por refuerzo genera sus propios datos sobre la marcha. La IA no solo consume información ya creada, sino que aprende mientras interactúa con una tarea, una simulación o un entorno específico, sea más o menos complejo.
Jensen Huang lo resume hablando de “la próxima frontera de la IA”. Según el CEO de NVIDIA, tras las declaraciones de que sus GPU son como el buen vino, afirma ahora que los superlearners serán sistemas que aprenden continuamente de la experiencia, de su propia experiencia, no de la ajena. Por eso NVIDIA e Ineffable quieren codiseñar la infraestructura necesaria para ejecutar aprendizaje por refuerzo a gran escala con estos sistemas Superlearners
Tiene que hacerlo todo sola, como un humano, sin necesidad del aprendizaje de nadie
Aquí entra la parte técnica, porque estos sistemas necesitan una pipeline de entrenamiento muy optimizada, porque el ciclo no consiste simplemente en alimentar una GPU con datos. El sistema, esta IA Superliearners, tiene que actuar, observar, puntuar y actualizarse de forma constante, con bucles muy ajustados. Eso mete mucha presión sobre la interconexión, el ancho de banda de memoria y el serving, que es la parte encargada de servir modelos y respuestas durante el proceso. En otras palabras, el hardware de IA tiene que dar otro paso y medio hacia delante si queremos avanzar hacia esta nueva era de IA.
Por eso, el trabajo empezará sobre sistemas NVIDIA Grace Blackwell y también estará entre los primeros en explorar la futura plataforma NVIDIA Vera Rubin, que evidentemente, no serán los ideales, así que ya se mira a Feynman.
El objetivo es entender qué hardware y qué software serán necesarios cuando la IA deje de depender tanto de datos humanos y pase a aprender mediante simulación y experiencia, por lo que la burbuja no va a frenar, tiene que acelerarse, hasta el punto de que ya ni se la podrá considerar burbuja como tal, sino como la nueva normalidad del mercado de la IA con estos Superlearners.
David Silver plantea el cambio de forma bastante directa: los investigadores ya han avanzado mucho en construir sistemas que conocen lo que los humanos ya sabemos, pero el siguiente reto es crear sistemas capaces de descubrir conocimiento nuevo por sí mismos. Para eso hace falta otro enfoque y hardware, mucho hardware.
Y ahí NVIDIA quiere estar desde el principio, no solo vendiendo chips, sino diseñando la infraestructura que podría alimentar esa nueva generación de IA basada en prueba, error, experiencia y aprendizaje continuo con los Superlearners.
