Autonomía gradual para agentes de IA: permisos que se ganan y se pierden

Del acceso binario a la confianza graduada

Los agentes de IA que pueden consultar datos, abrir incidencias o ejecutar cambios suelen desplegarse con uno de dos modelos: acceso completo o acceso de solo lectura. El primero amplía su utilidad, pero también el impacto de una decisión errónea. El segundo reduce el riesgo, aunque limita mucho las tareas que el agente puede completar. En una propuesta publicada por AWS, Dev Arora, Meera Kezhukoot y Sathish Kumar Prabakaran plantean una tercera vía: la autonomía gradual.

La idea es tratar la confianza como un estado operativo que cambia con el comportamiento observado. Un agente empieza con permisos reducidos, obtiene capacidad adicional después de demostrar un rendimiento sostenido y retrocede inmediatamente cuando aparecen señales de riesgo. No es una afirmación de que el modelo sea fiable por sí mismo; es una forma de diseñar el entorno para que la autorización dependa de evidencias y pueda revocarse.

Seis capas para controlar el ciclo

La arquitectura descrita separa seis responsabilidades. Un motor de puntuación calcula un nivel de confianza a partir de precisión, seguridad, consistencia, cumplimiento y eficiencia. El sistema de niveles traduce esa puntuación a cuatro escalones: probation, supervisado, confiable y autónomo. La propuesta usa una ventana móvil de 50 acciones y mantiene la seguridad como un umbral independiente, para que buenos resultados de eficiencia no compensen una conducta peligrosa.

Los agentes nuevos comienzan en el nivel más restrictivo. Las promociones requieren mantener el resultado durante toda la ventana; las degradaciones pueden ser inmediatas. La histéresis, con un margen adicional para promocionar, evita que un agente oscile entre dos niveles cuando su puntuación está cerca del límite.

La tercera capa inspecciona cada llamada antes de ejecutarla. Busca indicios de inyección, secretos en los argumentos, herramientas destructivas, desviaciones del patrón habitual, exceso de confianza y ausencia de una justificación suficiente. AWS insiste en que estos filtros rápidos no deben ser la única defensa. Una capa de aplicación puede equivocarse o ser manipulada.

Por eso la autorización efectiva se sitúa fuera del proceso del agente. AgentCore Gateway puede aplicar políticas Cedar con denegación por defecto y reglas de prohibición que prevalecen sobre los permisos. Así, una promoción modifica las capacidades disponibles sin confiar en que el modelo elija comportarse correctamente.

Evidencia, recuperación y despliegue

Después de cada acción, el sistema registra el recorrido completo: razonamiento, plan, política aplicada, resultado y efecto sobre la confianza. Capturar el estado anterior a la acción es importante porque permite investigar y recuperar cambios incorrectos. Para evitar que una versión modificada llegue directamente a producción, los cambios en instrucciones, configuración o herramientas pasan por pruebas con casos reales y adversariales. Una llamada no autorizada durante esas pruebas bloquea la entrega.

El patrón también propone casos señuelo, parada de emergencia y una política que reduce a cero las capacidades del agente sin redesplegarlo. Para sistemas multiagente, el nivel efectivo puede ser el mínimo de toda la cadena de delegación, evitando que un agente consiga más privilegios a través de otro.

La lección técnica es concreta: la seguridad de un agente no termina en el prompt ni en el proveedor del modelo. Requiere identidad, políticas externas, observabilidad, evaluación continua y una ruta de recuperación. La autonomía gradual no elimina el riesgo, pero convierte una decisión estática de permisos en un circuito operativo que puede medir, limitar y corregir el comportamiento.