Las declaraciones de Satya Nadella sobre asumir que todos los modelos de Inteligencia Artificial están comprometidos y deben ser contenidos desde el diseño reflejan un cambio fundamental en la arquitectura de seguridad que debemos adoptar a nivel de sistemas. En el desarrollo tradicional, un comportamiento anómalo se depura analizando el flujo de ejecución línea por línea. Con los modelos de lenguaje (LLMs), nos enfrentamos a cajas negras no deterministas. No podemos predecir con total certeza cómo reaccionará un modelo ante un prompt diseñado con fines maliciosos.
El riesgo real de los agentes autónomos no deterministas
El riesgo crítico actual no es la simple generación de respuestas incorrectas, sino la proliferación de agentes autónomos de IA que consumen herramientas externas (function calling). Si un agente tiene acceso a bases de datos, APIs de mensajería o herramientas de despliegue en la nube, una inyección de prompts indirecta podría permitir que un tercero tome el control del agente, forzándolo a exfiltrar datos sensibles o a manipular recursos de infraestructura.
Desacoplar la inteligencia de la autorización de ejecución
Para neutralizar este vector de ataque, es imprescindible desacoplar la capacidad cognitiva de la capacidad de ejecución. El modelo de IA puede proponer una acción o estructurar un comando, pero la autorización técnica y la ejecución final deben recaer en microservicios tradicionales deterministas gobernados por políticas de control de acceso estrictas. La IA no debe poseer las credenciales de los sistemas finales ni ejecutar código de forma directa en la máquina host.
Medidas de mitigación en la infraestructura de IA
Cualquier arquitectura corporativa o proyecto de homelab que integre llamadas a LLMs debe aplicar medidas defensivas específicas. Primero, implementar pasarelas de seguridad intermedias (como NeMo Guardrails o proxies específicos de seguridad para IA) que analicen el flujo de entrada y salida bloqueando patrones de inyección comunes. Segundo, aislar la ejecución de las herramientas que consume el agente en entornos de red segregados, utilizando contenedores efímeros sin conectividad hacia recursos críticos internos. Finalmente, es crucial configurar el principio de mínimo privilegio en los tokens de acceso de las herramientas, tratando al agente de IA como un usuario externo no confiable sujeto a monitoreo continuo.
Comentarios