¿Pueden las IA construir bombas atómicas? Anthropic tiene un plan para evitarlo

A finales de agosto, la empresa de IA Anthropic anunció que su chatbot Claude no ayudaría a nadie a construir un arma nuclear. Según Anthropic, se había asociado con el Departamento de Energía de Estados Unidos (DOE) y la Administración Nacional de Seguridad Nuclear (NNSA) para asegurarse de que Claude no revelaría secretos nucleares.

La fabricación de armas nucleares es a la vez una ciencia precisa y un problema resuelto. Gran parte de la información sobre las armas nucleares más avanzadas de Estados Unidos es Top Secret, pero la ciencia nuclear original tiene 80 años. Corea del Norte demostró que un país dedicado con interés en adquirir la bomba puede hacerlo, y no necesitó la ayuda de un chatbot.

¿Cómo y por qué?

¿Cómo, exactamente, trabajó el gobierno de EE UU con una empresa de inteligencia artificial para asegurarse de que un chatbot no estaba revelando secretos nucleares sensibles? Y también: ¿Hubo alguna vez peligro de que un chatbot ayudara a alguien a construir una bomba nuclear?

La respuesta a la primera pregunta es que recurrió a Amazon. La respuesta a la segunda pregunta es más complicada.

Amazon Web Services (AWS) ofrece servicios en la nube Top Secret a clientes gubernamentales donde pueden almacenar información sensible y clasificada. El DOE ya tenía varios de estos servidores cuando empezó a trabajar con Anthropic.

«Desplegamos una versión de Claude en un entorno de alto secreto para que la NNSA pudiera probar sistemáticamente si los modelos de IA podían crear o exacerbar riesgos nucleares», explica a WIRED Marina Favaro, responsable de Política de Seguridad Nacional y Asociaciones de Anthropic. «Desde entonces, la NNSA ha estado probando modelos Claude sucesivos en su entorno de nube segura y nos ha proporcionado información».

El proceso de red-teaming de la NNSA (es decir, la comprobación de los puntos débiles) ayudó a Anthropic y a los científicos nucleares estadounidenses a desarrollar una solución proactiva para los programas nucleares asistidos por chatbot. Juntos, «desarrollaron un clasificador nuclear, que se puede considerar como un filtro sofisticado para las conversaciones de IA», según Favaro. Lo construimos utilizando una lista elaborada por la NNSA de indicadores de riesgo nuclear, temas específicos y detalles técnicos que nos ayudan a identificar cuándo una conversación puede desviarse hacia territorio perjudicial». La lista en sí está controlada pero no clasificada, lo cual es crucial, porque significa que nuestro personal técnico y otras empresas pueden aplicarla.»

Favaro indica que hicieron falta meses de ajustes y pruebas para que el clasificador funcionara. «Capta conversaciones preocupantes sin marcar discusiones legítimas sobre energía nuclear o isótopos médicos», destaca.

Wendin Smith, administrador de la NNSA y subsecretario adjunto para la lucha contra el terrorismo y la proliferación, afirma a WIRED que «la aparición de tecnologías basadas en la inteligencia artificial ha modificado profundamente el espacio de la seguridad nacional». La autorizada experiencia de la NNSA en seguridad radiológica y nuclear nos sitúa en una posición única para ayudar al despliegue de herramientas que protejan contra riesgos potenciales en estos ámbitos, y que nos permitan ejecutar nuestra misión de forma más eficiente y eficaz.»

¿Vale la pena?

Tanto la NNSA como Anthropic fueron vagos sobre los «riesgos potenciales en estos dominios», y no está claro qué tan útil sería Claude o cualquier otro chatbot en la construcción de un arma nuclear.

«No desestimo estas preocupaciones, creo que vale la pena tomarlas en serio», señala a WIRED Oliver Stephenson, experto en IA de la Federación de Científicos Estadounidenses. «No creo que los modelos en su iteración actual sean increíblemente preocupantes en la mayoría de los casos, pero sí creo que no sabemos dónde estarán dentro de cinco años… y vale la pena ser prudentes ante ese hecho».