Por Franco Andrés Mena Chávez a - Gerente de IA en Ionix Latam · Soluciones Digitales
Hemos hablado de inteligencia artificial pensando principalmente en lo que podía generar: textos, imágenes, código o respuestas.
La siguiente etapa está en sistemas capaces de actuar.
Los llamados agentes de IA pueden planificar tareas, utilizar herramientas, interactuar con sistemas y ejecutar acciones con distintos grados de autonomía.
De hecho, NIST ya está trabajando específicamente en estándares para la identidad y autorización de estos agentes, porque el desafío deja de ser solamente qué puede responder una IA y pasa a ser qué puede hacer, con qué permisos y en nombre de quién.
Y aquí aparece una pregunta que todavía no estamos haciendo lo suficiente:
¿Qué ocurre cuando esa capacidad de actuar se utiliza para defraudar un sistema?
El riesgo no está necesariamente en que una IA “quiera” cometer fraude. Está en que un atacante pueda utilizarla para automatizar y escalar acciones que antes requerían intervención humana.
Por ejemplo, un agente podría utilizarse para:
- ejecutar múltiples intentos de creación de cuentas;
- adaptar sus acciones según las respuestas que recibe de un sistema;
- interactuar con diferentes aplicaciones;
- automatizar ataques a gran escala;
- utilizar información obtenida previamente para hacer que una interacción parezca legítima.
El problema cambia de dimensión cuando una máquina deja de limitarse a entregar información y empieza a tomar decisiones y ejecutar acciones dentro de un proceso.
NIST señala precisamente que los agentes de IA introducen nuevos desafíos relacionados con identificación, autorización, auditoría y no repudio.
También advierte que su capacidad de acceder a diferentes datos, herramientas y aplicaciones amplía la superficie de riesgo.
Esto obliga a repensar algo que durante mucho tiempo dimos por sentado:
La identidad digital de quien está interactuando con un sistema.
Hasta ahora, muchas arquitecturas fueron diseñadas alrededor de una relación relativamente simple:
persona → identidad → autenticación → acción.
Con agentes de IA, esa relación puede volverse mucho más compleja:
persona → agente → herramientas → sistemas → acción.
Entonces aparecen nuevas preguntas:
¿Quién está actuando? ¿Quién autorizó esa acción? ¿Qué puede hacer ese agente? ¿Qué información utilizó? ¿Y cómo podemos demostrarlo después?
No se trata de frenar el desarrollo de la IA.
Se trata de entender que, a medida que aumenta su autonomía, también aumenta la importancia de gestionar el riesgo de identidad asociado a cada acción.
En procesos digitales críticos, saber quién inició una interacción puede no ser suficiente.
También necesitamos saber qué entidad está ejecutando la acción, bajo qué autorización y dentro de qué contexto.
La evolución de la IA, entonces, no solo plantea nuevos desafíos para la inteligencia artificial.
También está obligando a replantear cómo construimos identidad digital, autenticación y protección de procesos críticos.
La pregunta ya no es solamente qué puede hacer la IA.
Es qué estamos dispuestos a permitirle hacer y cómo vamos a controlarlo.
Las opiniones compartidas y expresadas por los analistas son libres e independientes, y de ellas son responsables sus autores. No reflejan ni comprometen el pensamiento u opinión de Colombia Fintech, por lo cual no pueden ser interpretadas como recomendaciones emitidas por la Asociación. Esta plataforma es un espacio abierto para promover la diversidad de puntos de vista sobre el ecosistema Fintech.
Artículos relacionados
Descubre más artículos interesantes aquí.