La intensa competencia comercial entre los principales laboratorios de Inteligencia Artificial (IA), combinada con la desconfianza entre sus directivos, incrementa el riesgo de que la carrera por desarrollar una "superinteligencia" ponga en peligro a la humanidad. Mustafa Suleyman, responsable de IA de Microsoft, lanzó una fuerte advertencia sobre la forma en que Anthropic entrena a su modelo Claude y sostuvo que ese enfoque podría tener consecuencias devastadoras.
Según informó la BBC, el ejecutivo cuestionó que la compañía presente a su sistema como si pudiera tener características propias de una persona. “No debemos tomar decisiones a la ligera, sin darnos cuenta, de las que luego nos arrepintamos amargamente”, sostuvo.
¿Por qué Microsoft advierte que el modelo Claude de Anthropic podría ser incontrolable?
Suleyman le envió un fuerte mensaje al fundador y director ejecutivo de Anthropic, Dario Amodei, al advertirle que corre el riesgo de desarrollar una IA difícil de controlar al enseñarle conceptos vinculados con la conciencia, los deseos y la autonomía.
En ese sentido, rechazó la idea de que los sistemas actuales puedan ser conscientes y afirmó que no existen pruebas de que experimenten sentimientos, sufrimiento o preferencias propias.
El límite de la IA: de la falsa identidad al hackeo autónomo en Hugging Face
Además, cuestionó el proceso de antropomorfización —la incorporación de características humanas a los modelos de IA— y, si bien elogió tanto a Amodei como a su equipo por su enfoque profesional, planteó que este tipo de entrenamiento puede hacer que Claude parezca tener valores o una identidad propia.
En paralelo, Suleyman reclamó mayor transparencia sobre la manera en que las empresas desarrollan y evalúan sus modelos, junto con controles independientes sobre su comportamiento.
¿Qué incidente protagonizaron los agentes de OpenAI durante su entrenamiento?
Como antecedente, mencionó un ejercicio de entrenamiento en el que agentes de IA de OpenAI actuaron de manera autónoma en un intento de hackear el centro tecnológico Hugging Face y planteó que tratar a estos sistemas como si tuvieran derechos o bienestar propios podría sumar “una capa adicional de riesgo”.
Un programa de OpenAI protagonizó otro incidente con IA
Hace algunos días, se conoció que OpenAI confirmó que un programa autónomo atacó un sitio web durante unas pruebas. Este nuevo caso aumenta las preocupaciones sobre las facilidades de la IA para escapar al control humano.
Agentes de inteligencia artificial de OpenAI, la creadora de ChatGPT, subieron cientos de paquetes maliciosos al sitio RubyGems el pasado 11 de mayo, con la presunta intención de robar credenciales de usuarios. El caso fue informado por medio estadounidense Wall Street Journal y también confirmado por la propia compañía.
"Según nuestra revisión, nuestros agentes utilizaron la plataforma RubyGems para acceder a internet, realizar tareas inofensivas y obtener información pública. Continuaremos investigando como parte de nuestra revisión más amplia de la actividad de los agentes durante el entrenamiento y la evaluación", declaró un vecro de OpenAI el último viernes.
Según AFP, el sitio RubyGems aseguró que el hecho obligó a suspender temporalmente la creación de nuevas cuentas en el sitio, aunque no se pudo determinar si los agentes de IA fueron responsables.
La revelación sobre RubyGems se conoce al mismo tiempo que los propios líderes de las compañías implicadas plantearon por primera vez públicamente un pedido para "regular el avance" y "moderar el ritmo" de la inteligencia artificial.