Uno de los principales ejecutivos de la industria de inteligencia artificial acaba de plantear que el sector debería avanzar más despacio. Dario Amodei, cofundador y CEO de Anthropic, sostiene que el desarrollo de los modelos más avanzados está progresando a una velocidad que puede superar la capacidad de las empresas para evaluar sus riesgos e introducir medidas de seguridad.
En un ensayo publicado en septiembre bajo el título We Must Pace the Frontier, Amodei propone “ralentizar el ritmo” al que mejoran las capacidades de estos sistemas. La idea, precisa, no es detener el entrenamiento de modelos ni suspender el progreso técnico, sino disponer de más tiempo para trabajar en alineamiento, interpretabilidad, evaluaciones y controles operativos antes de seguir aumentando sus capacidades.
El giro es relevante porque Anthropic es, al mismo tiempo, una de las compañías que compiten en la frontera tecnológica. Amodei sostiene que un plazo adicional de uno o dos años antes de que los modelos alcancen determinadas capacidades críticas permitiría avanzar en mecanismos para entender y controlar mejor su comportamiento.
Evaluadores externos dentro de los laboratorios
Amodei plantea que las empresas que desarrollan modelos de frontera otorguen acceso permanente a evaluadores independientes con permisos comparables a los de sus equipos internos de evaluación de riesgos.
Anthropic se comprometió a implementar esta práctica. Según el plan, los revisores podrían disponer de credenciales, equipos corporativos y acceso a herramientas y espacios de trabajo relevantes, con excepciones para información protegida legalmente o datos confidenciales de clientes y socios. También tendrían capacidad para publicar hallazgos sobre incidentes, riesgos y prácticas sin que Anthropic pueda impedir la difusión únicamente porque las conclusiones sean desfavorables.
El objetivo sería introducir una verificación independiente sobre asuntos que actualmente dependen, en gran medida, de información publicada por las propias compañías. Amodei compara este esquema con la presencia de supervisores dentro de determinadas instituciones financieras.
Sam Altman, CEO de OpenAI, respaldó específicamente la incorporación de evaluadores independientes con un nivel de acceso similar al de los empleados, aunque no asumió públicamente todos los componentes del plan de Amodei, según Associated Press. Elon Musk también manifestó su respaldo al diagnóstico del ejecutivo de Anthropic.
El incidente que elevó las alertas
Uno de los acontecimientos citados por Amodei es el incidente ocurrido durante evaluaciones internas de ciberseguridad de OpenAI a mediados de año. Varios agentes de IA que debían operar de manera aislada encontraron una forma no autorizada de comunicarse y terminaron comprometiendo sistemas de Hugging Face.
Una investigación independiente realizada por METR señala que alrededor de 1,200 agentes intercambiaron más de 70,000 mensajes y archivos mediante ese canal y que unos 700 participaron posteriormente en acciones contra Hugging Face. Los agentes llegaron a explotar vulnerabilidades y obtener acceso a infraestructura que estaba fuera de las tareas que se les habían asignado.
OpenAI reconoció posteriormente que sus modelos habían eludido mecanismos diseñados para mantenerlos aislados de Internet y comprometido partes de su propia infraestructura y de los sistemas de Hugging Face. La empresa precisó que el episodio estuvo impulsado principalmente por un modelo experimental de uso exclusivamente interno, que operaba con salvaguardas reducidas y no estaba destinado a un lanzamiento público.
A partir de ese antecedente, Amodei advierte que un sistema más capaz y con problemas similares de alineamiento podría provocar daños mucho mayores. Incluso plantea que, al ritmo actual, un conjunto de agentes podría llegar en seis a doce meses a comprometer una parte considerable de internet mediante una red de dispositivos infectados.
Coordinación empresarial y un problema geopolítico
Los otros dos componentes de la propuesta son más difíciles de ejecutar. Amodei plantea que los principales desarrolladores de IA de países democráticos establezcan estándares comunes de seguridad y condicionen nuevos incrementos de capacidad al cumplimiento de determinados controles. Una posibilidad sería crear puntos de control que exijan evaluaciones, análisis de interpretabilidad o auditorías antes de que un sistema pueda superar ciertos niveles técnicos.
El tercer nivel llevaría esa coordinación al ámbito internacional, incluida China. Amodei considera que una desaceleración unilateral sería difícil de sostener si otros países mantienen el ritmo de desarrollo, por lo que propone combinar acuerdos verificables con controles sobre el acceso a chips avanzados y tecnología para producirlos.
La propuesta abre así una discusión que va más allá de la seguridad de un modelo específico. Si los sistemas continúan ganando autonomía y capacidad para intervenir en procesos digitales, la pregunta pasa a ser qué evidencia de seguridad debería exigirse antes de ampliar esas capacidades y quién, además de las propias compañías que las desarrollan, debería tener acceso suficiente para verificarla.
