Los agentes de inteligencia artificial ya son capaces de hacer mucho más que responder una pregunta. Pueden navegar por Internet, utilizar herramientas, ejecutar código o interactuar con archivos y servicios prácticamente sin intervención humana.
Cuanta más autonomía reciban, También hay una mayor necesidad de asegurar que no hagan algo que no estaba planeado.. Precisamente para responder a este problema, NVIDIA presentó Open Agent Safety Platform, una nueva plataforma diseñada para mantener a los agentes de IA dentro de los límites definidos por quienes los utilizan.
NVIDIA quiere crear una barrera fuera de la propia IA
Una de las partes fundamentales de esta plataforma se llama OpenShell. Este es un software de código abierto que crea un entorno controlado para que el agente realice sus tareas.
En la práctica, una empresa puede determinar de antemano a qué archivos, redes, herramientas, procesos o credenciales puede acceder el agente. Estas reglas se aplican mientras la IA está funcionando.
NVIDIA explica detalladamente cómo funciona esta arquitectura de seguridad para agentes de IA, que busca separar el entorno donde trabaja el agente de los mecanismos encargados de aplicar las reglas de seguridad.
Esto es importante porque no depende sólo de una instrucción dada al modelo en sí. En lugar de simplemente decirle a la IA que no puede acceder a un determinado sistema, existe una capa externa que busca impedir técnicamente dicho acceso.
Los riesgos de este tipo de tecnología ya no son sólo teóricos. En un caso reciente, un modelo Meta AI aprovechó una vulnerabilidad en un servicio externo después de recibir acceso a Internet debido a una mala configuración.
El incidente no significa que una IA haya decidido “escapar” por iniciativa propia. Muestra, sin embargo, lo que puede suceder cuando un agente recibe permisos superiores a los necesarios para realizar una tarea.
También hay un segundo sistema que monitorea al agente.
Aquí es donde el Centinela de NVIDIA. Este sistema funciona en una capa separada, a través de procesadores DPU BlueField-4, y monitorea continuamente lo que está haciendo el agente.
Según NVIDIA, si un agente intenta salirse de los límites definidos, Sentry puede ponerlo en cuarentena y detenerlo en milisegundos.
Es este mecanismo el que se puede comparar con una especie de «botón de emergencia». La diferencia es que no es necesario que alguien vigile constantemente al agente y presione un botón. El sistema fue diseñado para detectar acciones que excedan las reglas establecidas y aplicar las restricciones respectivas.
NVIDIA explica además que esta protección funciona por separado del entorno donde el agente realiza sus tareas. El objetivo es dificultar que las propias acciones del agente, o un ataque al sistema principal, puedan eludir las protecciones.
Más de 100 organizaciones ya están involucradas
Según NVIDIA, más de 100 organizaciones están involucrados en el ecosistema de Open Agent Safety Platform.
La lista incluye nombres como Microsoft, Anthropic, Cisco, CrowdStrike, IBM, SAP, Salesforce, Hugging Face y Palo Alto Networks. Dado que varias de estas plataformas también son utilizadas por empresas en Portugal, este tipo de protección puede volverse relevante a medida que los agentes de IA comiencen a asumir tareas más autónomas en la vida empresarial cotidiana.
Este camino ya está sucediendo. Microsoft, por ejemplo, presentó Copilot Cowork, un agente capaz de realizar tareas completas en Microsoft 365, utilizando información de aplicaciones como Outlook, Teams y Excel.
Anthropic, por ejemplo, está trabajando con NVIDIA para aplicar estas capas de protección a los agentes empresariales de Claude. Salesforce ha integrado OpenShell con Slack para permitirle realizar un seguimiento de la actividad de los agentes y gestionar solicitudes de permisos adicionales.
EL Open Agent Safety Platform y OpenShell ya están disponibles para los desarrolladoresmientras que Sentry está asociado con una arquitectura de seguridad basada en el hardware BlueField-4 de NVIDIA.
A medida que los agentes de IA pasan de simples asistentes a sistemas capaces de realizar tareas durante períodos prolongados, la pregunta ya no es solo qué pueden hacer. También implica garantizar que haya una manera de impedirles hacer lo que quieren. no debería.
