OpenAI y Anthropic colaboran para compartir modelos de inteligencia artificial con el Instituto de Seguridad de IA de EE. UU. con el fin de mejorar la seguridad y la supervisión.

OpenAI y Anthropic han firmado un acuerdo significativo para compartir sus modelos de IA—tanto antes como después de su lanzamiento público—con el recién creado Instituto de Seguridad de IA de EE. UU. Este organismo, establecido por un decreto presidencial de Biden en 2023, proporcionará retroalimentación esencial sobre seguridad para mejorar los modelos de las empresas. El CEO de OpenAI, Sam Altman, insinuó esta colaboración a principios de este mes.

Aunque el Instituto de Seguridad de IA de EE. UU. no ha mencionado a otras empresas relacionadas con la IA, un portavoz de Google indicó que la compañía está en conversaciones con la agencia y proporcionará más detalles en su momento. Es relevante señalar que Google ha comenzado a lanzar actualizaciones para sus chatbots y modelos generadores de imágenes bajo el programa Gemini.

"La seguridad es fundamental para avanzar en la innovación tecnológica. Con estos acuerdos, estamos ansiosos por colaborar técnicamente con Anthropic y OpenAI para mejorar la seguridad de la IA", expresó Elizabeth Kelly, directora del Instituto de Seguridad de IA de EE. UU. "Estos acuerdos son solo el inicio de nuestros esfuerzos por guiar de manera responsable el futuro de la IA".

El Instituto opera dentro del Instituto Nacional de Estándares y Tecnología (NIST) y es responsable de crear pautas, pruebas de referencia y mejores prácticas para evaluar sistemas de IA potencialmente peligrosos. La vicepresidenta Kamala Harris enfatizó, a finales de 2023, la doble naturaleza del impacto de la IA, destacando sus potenciales avances significativos y riesgos serios, incluidos ataques cibernéticos impulsados por IA y armas biológicas.

Este innovador acuerdo se formaliza a través de un Memorando de Entendimiento no vinculante, que permite al instituto acceder a los principales nuevos modelos de cada empresa tanto antes como después de su lanzamiento público. El Instituto de Seguridad de IA de EE. UU. caracteriza estos acuerdos como esfuerzos de investigación colaborativa centrados en evaluar capacidades y garantizar la seguridad. Además, colaborará con el Instituto de Seguridad de IA del Reino Unido.

Con la intención de establecer medidas de seguridad para la IA, la asamblea estatal de California aprobó recientemente un proyecto de ley de seguridad para IA (SB 10147). Esta legislación exige pruebas de seguridad para los modelos de IA que cuesten más de $100 millones en desarrollo o que requieran una potencia de cómputo sustancial. También exige a los desarrolladores de IA implementar interruptores de emergencia para apagar modelos que se vuelvan "ingobernables o incontrolables".

A diferencia del acuerdo voluntario con el gobierno federal, el proyecto de ley de California incluye disposiciones ejecutables, lo que permite al fiscal general del estado tomar acciones legales contra los desarrolladores de IA que no cumplan, especialmente durante eventos de amenaza crítica. El proyecto de ley espera una última votación de procesamiento y la firma del gobernador Gavin Newsom, quien tiene plazo hasta el 30 de septiembre para aprobarlo.