En el Mes de la Ciberseguridad, la inteligencia artificial (IA) aparece como uno de los principales desafíos para las empresas. Su adopción avanzó más rápido que las políticas internas destinadas a controlar su uso y esto generó un fenómeno conocido como shadow AI: empleados que utilizan herramientas de IA sin supervisión del área de sistemas, incluso para procesar información sensible.
Según explica Balmaceda, referente de SONDA, uno de los riesgos más habituales ocurre cuando un trabajador copia contratos, bases de clientes u otros documentos en un chatbot gratuito para agilizar una tarea. De esta manera, información que debería permanecer dentro del entorno de la compañía puede quedar fuera de su perímetro de control. Para el especialista, la solución no pasa por prohibir estas herramientas, sino por establecer una gobernanza de datos que determine qué información es pública, sensible o crítica.
Los riesgos de la IA dentro de las empresas
La falta de controles también puede afectar a los desarrollos de IA realizados a medida. Un chatbot corporativo, por ejemplo, puede convertirse en un punto vulnerable si no existe una correcta segmentación de los datos que puede consultar o mostrar. A esto se suman las inyecciones de prompt, que buscan manipular el comportamiento de estos sistemas mediante instrucciones diseñadas para evadir sus controles.
Otro riesgo aparece en procesos de Recursos Humanos y cotizaciones comerciales. En estos casos, se detectó el uso de texto oculto en documentos, como letras blancas sobre fondos blancos o fuentes prácticamente invisibles, con el objetivo de influir en el análisis de una IA. El problema no implica necesariamente que el sistema siga esas instrucciones de manera automática, pero sí que el contenido pueda introducir sesgos si no existen mecanismos de detección y supervisión humana.
Cuánta responsabilidad delegar en un algoritmo
Para Balmaceda, el desafío más importante está en determinar qué decisiones pueden quedar en manos de una IA. Procesos como la aprobación de créditos, la selección de candidatos o la administración de accesos pueden tener consecuencias importantes para personas y empresas.
Por eso, cuanto mayor sea el impacto de una decisión, mayor debería ser la supervisión humana. En el sector público, además, plantea la necesidad de auditorías independientes, trazabilidad de las decisiones automatizadas y control sobre dónde y bajo qué jurisdicción se procesan los datos.
Frente al uso de plataformas gratuitas, el especialista menciona soluciones empresariales como Copilot de Microsoft, que funcionan dentro de entornos con controles de seguridad y gobernanza definidos por cada organización. En estos casos, los datos no se utilizan para entrenar modelos públicos y las interacciones quedan sujetas a los permisos y acuerdos de confidencialidad correspondientes.
De cara a los próximos años, el desafío será lograr que la seguridad y la gobernanza acompañen el avance de la inteligencia artificial, para que la transformación digital no se convierta en una nueva puerta de entrada para incidentes de ciberseguridad.