¿Se podría automatizar por completo la ciencia? Un equipo de investigadores de aprendizaje automático ha intentado hacerlo posible. «AI Scientist», creado por un equipo de la empresa Sakana AI, con sede en Tokio, y en laboratorios de Canadá y el Reino Unido, puede realizar el ciclo completo de investigación, desde escanear la literatura sobre un tema y formular hipótesis hasta probar soluciones y escribir un artículo. AI Scientist incluso hace parte del trabajo de los revisores y evalúa sus propios resultados.
AI Scientist se suma a una serie de esfuerzos para automatizar partes del proceso científico utilizando agentes de inteligencia artificial (IA). «Hasta donde yo sé, nadie ha hecho todavía toda la comunidad científica, todo en un solo sistema», dice el cocreador de AI Scientist, Cong Lu, un investigador de aprendizaje automático de la Universidad de Columbia Británica en Vancouver, Canadá. Los resultados se publicaron en el servidor de preimpresión de arXiv el mes pasado.
“Es impresionante que hayan hecho esto de principio a fin”, dice Jevin West, un científico social computacional de la Universidad de Washington en Seattle. “Y creo que deberíamos estar jugando con estas ideas, porque podría haber potencial para ayudar a la ciencia”.
El resultado no ha sido revolucionario hasta ahora, y el sistema solo puede realizar investigaciones en el campo del aprendizaje automático. En particular, a AI Scientist le falta lo que la mayoría de los científicos considerarían una parte crucial de la ciencia: la capacidad de hacer trabajo de laboratorio. “Todavía hay mucho trabajo por hacer desde la IA que formula una hipótesis hasta la implementación de eso en un científico robot”, dice Gerbrand Ceder, un científico de materiales en el Laboratorio Nacional Lawrence Berkeley en California. Aun así, Ceder agrega, “si miras hacia el futuro, no tengo ninguna duda de que es hacia donde irá gran parte de la ciencia”.
AI Scientist se basa en un modelo de lenguaje grande (LLM). Utiliza un algoritmo de aprendizaje automático para buscar en la literatura trabajos similares. El equipo utilizó entonces la computación evolutiva, una técnica inspirada en las mutaciones y la selección natural en la evolución darwiniana. Aplica pequeños cambios aleatorios a un algoritmo y selecciona los que mejoran la eficiencia del modelo. Para ello, AI Scientist lleva a cabo sus propios “experimentos” ejecutando los algoritmos y midiendo su rendimiento. Al final, produce un artículo y lo evalúa en una especie de revisión automatizada. Después de “aumentar la literatura” de esta manera, el algoritmo puede comenzar el ciclo nuevamente, basándose en sus propios resultados.
Los autores admiten que los artículos que produjo AI Scientist contenían solo desarrollos incrementales. Algunas otras personas fueron mordaces en sus comentarios en las redes sociales. West dice que los autores adoptaron una visión reduccionista de cómo los investigadores aprenden sobre el estado actual de su campo. Gran parte de lo que los académicos saben proviene de asistir a conferencias o charlar con colegas en la cafetería, por ejemplo, en lugar de revisar la literatura. “La ciencia es más que una pila de artículos”, dice West. “Puedes tener una conversación de cinco minutos que será mejor que un estudio de cinco horas de la literatura”.
El colega de West en Washington, Shahan Memon, está de acuerdo, pero tanto West como Memon elogian a los autores por haber hecho que su código y resultados sean completamente abiertos. Esto les ha permitido analizar los resultados de AI Scientist. Han descubierto, por ejemplo, que tiene un “sesgo de popularidad”, que favorece los artículos con un alto número de citas. Memon y West dicen que también están estudiando cómo medir si las elecciones de AI Scientist fueron las más relevantes.
AI Scientist, por supuesto, no es el primer intento de automatizar partes del trabajo de un investigador. El sueño de automatizar los descubrimientos científicos es tan antiguo como la propia IA: se remonta a la década de 1950, afirma Tom Hope, informático del Instituto Allen de IA, con sede en Jerusalén. Hace casi una década, por ejemplo, el «estadístico automático» era capaz de analizar conjuntos de datos y redactar artículos. Ceder y sus colegas incluso han automatizado algunos trabajos de laboratorio: el «químico robot» que dieron a conocer el año pasado puede sintetizar nuevos materiales y experimentar con ellos.
Hope dice que los LLM actuales “no son capaces de formular nuevas y útiles direcciones científicas más allá de las combinaciones superficiales básicas de palabras de moda”. Aun así, Ceder dice que,
incluso si la IA no podrá hacer la parte más creativa del trabajo en un futuro próximo, aún podría automatizar los aspectos repetitivos de la investigación.
El trabajo de DeepMind, con sede en Londres, de Google, por ejemplo, ha demostrado el poder de usar LLM con técnicas de IA “simbólica” para resolver problemas matemáticos. Construye reglas lógicas en un sistema en lugar de depender simplemente de que aprenda de patrones estadísticos en los datos. Pero la iteración actual es solo un comienzo. “Realmente creemos que este es el GPT-1 de la ciencia de la IA”, dice, refiriéndose a un LLM temprano creado por OpenAI en San Francisco, California.
Los resultados alimentan un debate que está en la cima de las preocupaciones de muchos investigadores en estos días, dice West. “Todos mis colegas en diferentes ciencias están tratando de averiguar dónde encaja la IA en lo que hacemos. Nos obliga a pensar qué es la ciencia en el siglo XXI: qué podría ser, qué es, qué no es”.
Davide Castelvecchi. Nature 633, 266 (2024). doi: https://doi.org/10.1038/d41586-024-02842-3.
Lu, C. et al. Preimpresión en arXiv https://doi.org/10.48550/arXiv.2408.06292 (2024).