NVIDIA quiere detener a las IA fuera de control en milisegundos, pero hay un problema
Elígenos como tu fuente preferida en Google.
NVIDIA presenta una solución para aislar agentes de inteligencia artificial descontrolados en cuestión de milisegundos, aunque la detección previa sigue siendo el verdadero reto.
Los agentes de inteligencia artificial ya pueden abrir aplicaciones, consultar todo tipo de datos e incluso ejecutar instrucciones por cuenta de una empresa.
Los avances tecnológicos han llevado a que haya unos elevados niveles de autonomía que los convierten en herramientas muy útiles, pero al mismo tiempo plantean algunas dudas relacionadas con lo que sucede una vez que las IA están fuera de control.
Ante este riesgo, desde NVIDIA han presentado una plataforma de seguridad diseñada para vigilar estas acciones y ser capaces de aislar a un agente en milisegundos si es necesario.
La propuesta fue anunciada a finales del pasado mes de septiembre y combina OpenShell, un programa que fija límites a lo que puede hacer el agente de IA, con Sentry, un diseño de referencia que vigila su actividad desde un componente de hardware separado.
Sentry está pensado para funcionar sobre procesadores BlueField-4 y aplicar una serie de controles independientemente de que el agente o el sistema donde trabaja se comporten de una manera inesperada. La promesa de detener a un agente IA fuera de control en milisegundos se refiere a su actuación tras detectar que infringe los límites.
Es muy importante tener en cuenta esta distinción. Un sistema puede reaccionar de inmediato a una alarma, pero aun así puede tardar en entender que una acción que aparentemente está autorizada puede ser peligrosa.
Desde NVIDIA se asegura que la detección es un proceso separado de la contención y que depende de las señales existentes. Por lo tanto, los milisegundos indicados no miden todo el tiempo transcurrido desde que empieza el comportamiento peligroso hasta que se identifica y bloquea.
Todo tiene que ver con que un agente puede consultar información y comunicarse con diferentes servicios, una petición que a priori puede parecer normal, incluso utilizando credenciales válidas obtenidas por un ciberdelincuente. El reto consiste en reconocer el patrón a tiempo para actuar con suficiente rapidez antes de que sea demasiado tarde.
La velocidad de respuesta depende de la detección
Los expertos en ciberseguridad recalcan que una identidad legítima se puede utilizar con fines ilícitos sin activar una señal evidente de intrusión. Otras acciones, consideradas por separado, quizá no parezcan sospechosas hasta que se examinan juntas. El riesgo concreto, por lo tanto, depende de los permisos concedidos al agente de IA, de los servicios a los que este se pueda conectar y del instante en el que el sistema detecta el problema.
Sentry aboga por colocar la vigilancia fuera del entorno donde trabaja la IA, de forma que el propio agente no pueda controlar fácilmente a quien lo observa.
Desde NVIDIA se indica que esta separación permite aplicar políticas a las conexiones con datos, herramientas y servicios. OpenShell, por su parte, determina límites durante la ejecución. Ambos componentes pretenden que las restricciones dependan de controles externos y no solo de las instrucciones dirigidas al modelo.
En cualquier caso, aún falta conocer cómo será capaz de rendir el sistema ante situaciones comparables a las que afrontan otras herramientas de seguridad. Lo que está claro es que el control de los agentes de inteligencia artificial es una de las grandes prioridades de las empresas, de forma que puedan detectar riesgos y amenazas y actuar de manera oportuna para evitarlas.
Para las empresas, más allá de instalar un mecanismo de detección, deben decidir en primer lugar lo que puede hacer cada agente, a qué información puede acceder y qué acciones requieren de supervisión. Con esa información, luego podrán evaluar cuánto tarda una herramienta en reconocer el riesgo y cuánto en detenerlo.