AWS es el proveedor de servicios de nube más grande del mercado, con un 31% del mismo. Cuando su CEO, Matt Garman, nos dice que los programadores podrían dejar de escribir código en los próximos 24 meses, parece apropiado escuchar sus palabras con detenimiento. El Sr. Garman nos está hablando de la transformación del desarrollo de software gracias a la introducción de la inteligencia artificial en el mercado.
Un modelo que piensa
El entusiasmo hacia la inteligencia artificial no es un secreto para nadie. En cuestión de meses, ChatGPT se convirtió en la aplicación con mayor adopción en la historia del mercado, destronando a titanes como Instagram y TikTok. Hoy, a casi dos años de desatar esa nueva revolución tecnológica, la misma empresa, OpenAI, está mostrando sus primeros esbozos de un nuevo modelo llamado GPT-o1, que, si hemos de creer en sus benchmarks, es lo más cercano que hemos tenido a un modelo con capacidad general de razonamiento.
¿Y qué significa eso?
Recordemos que GPT-4 y productos similares como Llama o Gemini son modelos grandes de lenguaje basados en transformadores (un tipo de arquitectura de redes neurales), esa es una forma muy elaborada de decir que son calculadoras de lenguaje; basadas en un entrenamiento previo, son capaces de predecir con un altísimo grado de precisión la palabra que debe seguir en un texto.
Esto hace que estos modelos sean extremadamente útiles para la generación rápida y automatizada de texto, pero, como hemos visto en el pasado, en la medida en que involucramos tareas de razonamiento, su desempeño comienza a bajar considerablemente. Por ejemplo, para el momento de la redacción de este artículo, Copilot estima que en el nombre «Anastasia» la vocal “a” aparece tres veces.
Recordemos que no toda forma de razonamiento es igual. Hablando del ser humano, hay tareas sencillas y secuenciales que resultan en un bajo costo de procesamiento cognitivo, mientras que otras requieren una mayor capacidad de abstracción y análisis.
La promesa de modelos como GPT-o1 radica en su capacidad para abordar esas tareas más complejas. El secreto está en lo que OpenAI ha denominado reasoning models. Todo modelo de lenguaje tiene una ventana máxima de procesamiento que denominamos contexto, es decir, la cantidad de tokens o palabras que el modelo “recuerda”, sumado a la cantidad que puede producir.
En el pasado, esos tokens solo eran usados para la memoria del modelo y la producción del texto. Pero ¿y si dedicamos algunos de esos tokens para un diálogo interno? Es decir, ¿y si nuestro modelo utilizara un poco de ese espacio para pensar sobre la respuesta que va a dar? Eso es GPT-o1.
El reto de aquí en adelante
GPT-o1 se ubica en el percentil 89 en competencias avanzadas de programación, es decir, está entre el 11% de los mejores programadores de estos eventos. Adicionalmente, es por lo menos diez veces más preciso que su antecesor GPT-4o, un resultado bastante prometedor para quienes nos interesamos en el tema.
Sin embargo, en los próximos años nos vamos a enfrentar a tres problemas importantes que pueden representar una barrera infranqueable para los modelos grandes de lenguaje y el campo de Machine Learning (ML) en general. Estos son: información para entrenar a los modelos, demanda energética y costos.
Uno de los principales obstáculos es la disponibilidad de datos de calidad para entrenar estos modelos avanzados. A medida que los modelos de lenguaje aumentan en complejidad y capacidad, también lo hace su necesidad de datos extensivos y diversos. Sin fuentes adecuadas, corremos el riesgo de entrenar sistemas con sesgos o información incompleta, lo que podría conducir a resultados inexactos o injustos.
Además, el consumo energético asociado con el entrenamiento y operación de modelos de inteligencia artificial a gran escala es considerable. Los centros de datos que alojan estos sistemas requieren enormes cantidades de energía, lo que plantea preocupaciones ambientales y de sostenibilidad. Es fundamental que la industria explore soluciones más eficientes y energéticamente sostenibles para mitigar el impacto ecológico.
Los costos financieros también son un factor determinante. El desarrollo, entrenamiento y mantenimiento de modelos avanzados de inteligencia artificial requieren inversiones significativas en infraestructura y recursos humanos especializados. Esto podría llevar a una concentración de poder en manos de unas pocas corporaciones capaces de asumir estos gastos, limitando potencialmente la innovación y competencia en el mercado, así como el acceso global a la tecnología.
A pesar de estos desafíos, las oportunidades que presenta la inteligencia artificial en el ámbito del desarrollo de software son enormes. La automatización de tareas repetitivas y mundanas permitiría a los desarrolladores centrarse en aspectos más creativos y estratégicos de sus proyectos. Podríamos presenciar el surgimiento de roles híbridos donde la colaboración entre humanos y máquinas potencie la productividad y la innovación.
Es esencial que el sistema educativo y las organizaciones inviertan en formación y desarrollo profesional. Preparar a la fuerza laboral para este nuevo paradigma implica promover habilidades en inteligencia artificial, aprendizaje automático y análisis de datos. Las instituciones académicas y las empresas deben actualizar sus programas y ofrecer oportunidades de aprendizaje continuo para mantenerse al día con los avances tecnológicos.
Por otro lado, debemos considerar las implicaciones éticas y sociales de esta transformación. La automatización podría desplazar ciertos puestos de trabajo, generando inquietudes sobre el empleo y la equidad económica. Es responsabilidad de las empresas y gobiernos implementar políticas que fomenten una transición justa, proporcionando apoyo y reconversión laboral a los afectados.
Asimismo, la transparencia en el funcionamiento de los modelos de inteligencia artificial es fundamental para generar confianza. Comprender cómo y por qué un modelo toma ciertas decisiones puede ayudar a evitar sesgos inadvertidos y asegurar que las aplicaciones de IA beneficien a toda la sociedad.
Estamos en una encrucijada interesante, donde el ingenio humano se pone a prueba frente a la pregunta de cómo seguir desarrollando esta tecnología, sea con más energía o recursos, o sea con el desarrollo de nuevos algoritmos más parsimoniosos. El futuro de la inteligencia artificial es fluctuante y difícil de predecir, lo que lo hace extremadamente emocionante.
