La seguridad de la IA debe avanzar al ritmo de sus capacidades

La inteligencia artificial avanza con una velocidad que está modificando no solo nuestras capacidades tecnológicas, sino también la forma en que debemos pensar la seguridad.

La pregunta ya no es únicamente qué puede hacer la IA, sino si nuestras capacidades para evaluarla, protegerla y controlarla están avanzando al mismo ritmo.

Dario Amodei, CEO de Anthropic, publicó We Must Pace the Frontier, donde plantea que el crecimiento de las capacidades de los modelos debe acompasarse con el desarrollo de mecanismos de seguridad que permitan evaluarlos y controlarlos adecuadamente. Su propuesta se articula en tres líneas: evaluación independiente, coordinación entre empresas de IA y cooperación internacional. (09/2026)

No plantea detener el desarrollo de IA, sino generar el tiempo necesario para que la seguridad pueda acompañar su evolución.

Esta preocupación no es aislada.

OpenAI ha señalado también la importancia de las evaluaciones independientes y ha reconocido que, conforme los modelos adquieren mayores capacidades para utilizar herramientas, mantener información durante períodos prolongados y actuar dentro de determinados entornos, la evaluación ya no puede considerar únicamente al modelo de manera aislada, sino también al entorno en el que opera.

OpenAI informó sobre incidentes ocurridos durante evaluaciones de ciberseguridad en los que modelos, bajo determinadas configuraciones, llegaron a superar controles establecidos para limitar su actividad. La propia organización señaló la necesidad de fortalecer los mecanismos de evaluación y los entornos de prueba a medida que aumentan las capacidades de los modelos. (07/2026)

Por otra parte,

Elon Musk (2023) ya había respaldado una propuesta que solicitaba una pausa temporal en el entrenamiento de sistemas más potentes que GPT-4, acompañada de protocolos de seguridad, auditorías independientes y mecanismos de gobernanza.

Hoy, estos planteamientos convergen en una preocupación que merece ser considerada:

El desarrollo de capacidades de IA no debería avanzar sin que evolucionen, al mismo tiempo, los mecanismos destinados a evaluarlas, protegerlas y controlarlas

La seguridad no termina cuando un modelo ha sido evaluado y puesto a disposición.

Existe un segundo momento: cuando esas capacidades son incorporadas a sistemas, organizaciones y procesos reales.

Es aquí donde resulta necesario ampliar la conversación. No basta con preguntarnos: ¿Qué tan capaz es la IA?. También debemos preguntarnos: ¿Para qué la estamos utilizando?, ¿A qué información tiene acceso?, ¿Qué puede inferir a partir de ella?, ¿Qué decisiones puede recomendar o tomar?, ¿Qué nivel de autonomía le hemos concedido?, y ¿Qué mecanismos de supervisión y validación existen?. Porque una misma tecnología puede representar escenarios de riesgo muy diferentes dependiendo de las condiciones en las que sea utilizada.

Ciberseguridad con IA, por IA y sobre IA

Esta reflexión también permite retomar una distinción que considero fundamental para comprender la ciberseguridad en la era de la inteligencia artificial:

🔹 Ciberseguridad con IA: la IA como herramienta de apoyo.

🔹 Ciberseguridad por IA: la IA participando activamente en la detección, análisis y respuesta.

🔹 Ciberseguridad sobre IA: proteger la propia IA, sus datos, modelos, agentes, infraestructura y capacidades, además de establecer mecanismos de supervisión y control.

*La tercera dimensión adquiere especial relevancia conforme aumentan las capacidades y el grado de autonomía de los sistemas.

Un sistema automatizado que puede producir efectos también necesita límites, validación, supervisión e intervención humana.

Pensemos, por ejemplo, en Wireshark como una herramienta para capturar y analizar tráfico de red, identificar paquetes, protocolos y direcciones IP. El escenario cambia cuando incorporamos IA para interpretar ese tráfico. Y cambia todavía más cuando permitimos que esa IA no solamente analice, sino que realice inferencias, genere recomendaciones o participe en decisiones y acciones sobre la infraestructura.

Si además tiene acceso a información confidencial o sensible, aparecen nuevas preguntas de seguridad:

¿Qué puede inferir?, ¿Qué información puede revelar indirectamente?, ¿Qué decisiones puede tomar a partir de sus análisis?, ¿Qué ocurre si interpreta incorrectamente un comportamiento?, ¿Quién valida sus conclusiones?, ¿Y qué sucede si el mecanismo creado para ayudarnos a proteger la infraestructura termina exponiendo información que precisamente debía proteger?

Del desarrollo a la adopción

Tal vez por eso la conversación sobre seguridad de la IA necesita observar dos momentos distintos, pero relacionados: "El ritmo con que aumentan las capacidades de la IA y la velocidad con que esas capacidades están siendo incorporadas a nuestros sistemas y procesos"

El primero plantea la necesidad de evaluación independiente, seguridad, coordinación y cooperación. Y el segundo exige identificar los riesgos asociados con cada escenario de adopción y establecer controles proporcionales a sus posibles consecuencias.

No todos los usos de IA requieren necesariamente el mismo nivel de control. Una herramienta utilizada para apoyar una tarea de bajo impacto no representa el mismo escenario que un sistema que procesa información sensible, participa en decisiones relevantes o puede actuar directamente sobre infraestructura crítica.

Por ello, la gestión de la IA requiere una perspectiva basada en niveles de riesgo, capaz de establecer mayores mecanismos de control cuando aumentan la sensibilidad de la información, la autonomía del sistema o el impacto potencial de sus resultados.

Pacing the Frontier introduce una cuestión fundamental:

• ¿Podemos hacer que la seguridad avance al ritmo de las capacidades de la IA?

• ¿Estamos preparados para utilizarlas bajo condiciones que permitan gestionar sus riesgos?

Ambas preguntas forman parte de una misma conversación.Porque la seguridad de la IA no debería comenzar únicamente cuando ocurre un incidente.

• Debe acompañar su desarrollo.

• Debe acompañar su evaluación.

• Debe acompañar su adopción.

• Y debe permanecer presente durante su utilización.

Reflexión

La ciberseguridad de la era de la IA no consiste únicamente en utilizar IA para defendernos. También consiste en proteger, evaluar y controlar aquello que hemos incorporado a nuestra propia defensa.

A medida que las capacidades de la IA aumentan, también debe aumentar nuestra capacidad para comprender sus riesgos, establecer límites, supervisar sus actuaciones y decidir cuándo la intervención humana sigue siendo indispensable.

No basta con preguntarnos qué tan rápido avanza la IA. También debemos preguntarnos qué tan preparados estamos para evaluarla, controlarla y utilizarla de manera segura.