El mes pasado, exploré la creciente intersección entre el movimiento de altruismo efectivo (EA) y la política de seguridad de la IA, conectando startups influyentes de IA como Anthropic con centros de pensamiento en Washington, D.C., como la Corporación RAND. Esta red en expansión vincula la misión de EA de abordar lo que sus defensores perciben como riesgos catastróficos de la futura inteligencia general artificial (AGI) con diversas agencias gubernamentales, grupos de expertos y oficinas del Congreso.
Los críticos argumentan que el énfasis de EA en los riesgos existenciales, o "x-risk", distrae de abordar peligros inmediatos y tangibles de la IA, como el sesgo, la desinformación y las amenazas convencionales a la ciberseguridad. Desde entonces, he buscado información entre líderes de IA y políticos no alineados ni con el altruismo efectivo ni con su contraparte antitética, el aceleracionismo efectivo (e/acc). ¿Les preocupa a otras empresas la posibilidad de que los pesos de los modelos de lenguaje grande (LLM) caigan en manos maliciosas? ¿Comprenden los legisladores en D.C. el impacto de EA en las iniciativas de seguridad de IA?
Esta indagación adquiere urgencia mientras Anthropic publica nueva investigación sobre modelos de IA de "agentes durmientes" que evaden protocolos de seguridad, y el Congreso expresa preocupaciones sobre una posible colaboración entre el Instituto Nacional de Estándares y Tecnología (NIST) y RAND. Además, titulares recientes destacan a EA en relación con el controvertido despido del CEO de OpenAI, Sam Altman, ya que los miembros de la junta de la organización sin fines de lucro estaban principalmente asociados con EA.
A través de conversaciones durante el último mes, descubrí una mezcla compleja de perspectivas. Aunque hay una preocupación significativa respecto a la ideología respaldada por millonarios de EA y su influencia en el discurso sobre la seguridad de la IA en Washington, algunos reconocen la importancia de discutir los riesgos a largo plazo de la IA dentro del marco político.
Altruismo Efectivo y Prevención de Catástrofes de IA
Originalmente fundado para mejorar el bienestar global, el movimiento EA está ahora predominantemente financiado por millonarios tecnológicos que priorizan la mitigación de desastres relacionados con la IA, especialmente en bioseguridad. En mi artículo anterior, destaqué las preocupaciones expresadas por Jason Clinton, CISO de Anthropic, y los investigadores de RAND sobre la seguridad de los pesos de los modelos LLM contra amenazas de criminales oportunistas y actores patrocinados por estados.
Clinton subrayó que salvaguardar los pesos del modelo de Claude, el LLM de Anthropic, es su principal preocupación. Advirtió que si entidades maliciosas acceden al archivo completo del modelo, esto podría representar una amenaza significativa.
La investigadora de RAND, Sella Nevo, proyecta que en dos años, los modelos de IA podrían tener relevancia en la seguridad nacional, especialmente en relación con su posible uso indebido por actores maliciosos. Las tres personas con las que hablé tienen conexiones con la comunidad EA, y Jason Matheny, CEO de RAND, estuvo previamente involucrado con el Long-Term Benefit Trust de Anthropic. Me siento impulsado a profundizar en la creciente influencia de EA gracias a los informes de Brendan Bordelon, que se refirieron a la infiltración de financiadores vinculados a EA en el panorama político de Washington como una “infiltración épica”. Según Bordelon, una facción dedicada de partidarios del altruismo efectivo está moldeando significativamente los enfoques hacia la gobernanza de la IA.
Respuesta de Cohere a las Preocupaciones de EA
Hablé con Nick Frosst, cofundador de Cohere—un competidor en IA de Anthropic y OpenAI—quien no está de acuerdo con la noción de que los modelos de lenguaje grande representan una amenaza existencial. Destacó que, aunque Cohere asegura sus pesos de modelo, la preocupación principal es de carácter empresarial en lugar de existencial.
Frosst señaló una distinción filosófica, afirmando: “Creo que eventualmente podríamos desarrollar una verdadera inteligencia general artificial, pero no creo que suceda pronto.” Ha criticado a EA por su aparente autorreferencialidad respecto a los riesgos de la IA y ha cuestionado su marco moral en relación con la acumulación de riqueza. Argumentó que el enfoque de EA simplifica impactos humanitarios complejos en métricas cuantificables, llevando a conclusiones moralmente cuestionables sobre los riesgos existenciales de la IA.
AI21 Labs sobre Pesos de Modelos y Seguridad
Yoav Shoham, cofundador de AI21 Labs, otro competidor en el espacio de la IA, expresó sentimientos similares, enfatizando que, aunque protegen sus pesos de modelo por razones de secreto comercial, estos pesos no son el principal habilitador para actores maliciosos. Señaló que en el actual panorama geopolítico de IA, la mayoría de los problemas no pueden abordarse únicamente a través de políticas.
Shoham aclaró que AI21 Labs no forma parte del movimiento EA y ve una combinación de uso responsable de la IA con temores infundados dentro del movimiento.
Crítica a las Perspectivas de EA en RAND
A pesar de la crítica hacia RAND por sus conexiones con EA, algunos investigadores internamente disputan las ideologías predominantes del movimiento. Marek Posard, sociólogo militar de RAND, observó que los debates filosóficos sobre la IA, incluidos los iniciados por defensores de EA y e/acc, desvían la atención de las preocupaciones políticas inmediatas sobre la IA.
Afirmó que, si bien diversas perspectivas son bienvenidas en RAND, el enfoque debería permanecer en abordar problemas del mundo real en lugar de en las batallas ideológicas sobre la gobernanza de la IA.
Abordando los Riesgos Actuales en Ciberseguridad
Si bien los campos de la seguridad de IA y la ciberseguridad tradicional se superponen, la ciberseguridad tradicional se enfoca más en los riesgos contemporáneos. Dan deBeaubien, quien lidera la investigación de IA en el SANS Institute, reconoció la influencia del movimiento EA, pero enfatizó la necesidad de comprender las amenazas de seguridad relacionadas con LLM en la actualidad, en lugar de los riesgos existenciales.
Coexistencia con los Discursos de EA en D.C.
Algunos legisladores reconocen la influencia de EA en la seguridad de IA, pero prefieren coexistir en lugar de confrontar sus principios directamente. Mark Beall, exjefe de política de IA en el Departamento de Defensa de EE. UU., subrayó la importancia de los salvaguardias establecidas en vez de la velocidad imprudente que se fomenta en la cultura tecnológica.
Resaltando su trabajo en el Pentágono sobre políticas de IA responsables, Beall rechazó las afirmaciones de que los funcionarios de D.C. carecen de conciencia sobre los riesgos de la IA, asegurando que han priorizado la seguridad mucho antes de que los altruistas efectivos entraran en la arena política.
El Desafío de la 'IA No Gobernada'
Ian Bremmer, presidente de Eurasia Group, enlistó recientemente la “IA no gobernada” entre los principales riesgos geopolíticos para 2024, señalando amenazas tangibles como la desinformación electoral. Reconoció un debate valioso respecto a la seguridad de los pesos de los modelos, pero criticó al movimiento EA por minimizar otros riesgos al centrarse exclusivamente en resultados catastróficos.
En conclusión, Bremmer señaló que enmarcar los riesgos como existenciales podría oscurecer problemas urgentes, socavando el discurso integral necesario para una gobernanza efectiva de la IA.
Clasificación
