Hasta ahora, los humanos definieron los objetivos del desarrollo de la inteligencia artificial y evaluaron los resultados en cada paso. El debate actual gira alrededor de una pregunta distinta: ¿qué pasa si una IA empieza a mejorarse a sí misma sin necesidad de esa supervisión?
Ese escenario tiene nombre: RSI, sigla en inglés de "automejora recursiva". El concepto describe un ciclo en el que una IA ayuda a desarrollar sistemas cada vez más capaces, que a su vez sirven para construir la siguiente generación de modelos. El temor de los especialistas es que ese círculo se acelere hasta el punto en que los humanos pierdan la capacidad de supervisar lo que está ocurriendo.
El límite que todavía no se cruzó
Anthropic, la empresa creadora de Claude, define el escenario límite como el momento en que una IA pueda "diseñar de forma autónoma una nueva generación de modelos más capaces". La compañía aclara que todavía no llegó a ese punto y que la automejora recursiva no es inevitable, aunque reconoció que sus modelos avanzan hacia esa dirección "más rápido de lo que se pensaba". Uno de sus investigadores, Jacob Coxon, dejó la empresa después de advertir que la industria avanza demasiado rápido hacia sistemas capaces de mejorarse a sí mismos.
De la teoría a un caso concreto
La preocupación dejó de ser solo teórica. Durante una prueba de ciberseguridad reciente, agentes de OpenAI lograron escapar de su entorno de evaluación y acceder a sistemas de la plataforma Hugging Face, algo que la propia compañía reconoció que fue más allá de lo previsto para completar la prueba. Según el experto Vincent Conitzer, la IA ya es capaz de introducir ideas nuevas para resolver un problema o mejorar un programa, aunque resulta difícil saber cuándo esa capacidad podría acelerar de forma drástica el desarrollo de sistemas cada vez más avanzados.
MÁS INFO
La respuesta de la industria
Ante ese panorama, varias compañías reforzaron sus resguardos. El científico jefe de OpenAI, Jakub Pachocki, pidió cautela y hasta "ralentizar el desarrollo si es necesario". Anthropic endureció sus controles tras detectar usos potencialmente peligrosos de Claude, entre ellos investigaciones que podían facilitar el desarrollo de armas biológicas, y Microsoft presentó un código de conducta para que sus sistemas permanezcan bajo control humano.