Un grupo de 11 investigadores, incluidos empleados actuales y antiguos de OpenAI, junto con un miembro de Google DeepMind y un exinvestigador de Anthropic, han publicado una carta abierta instando a las empresas de inteligencia artificial a adoptar cuatro principios destinados a proteger a los denunciantes y críticos que abordan cuestiones de seguridad en la IA.
Titulado “Derecho a Advertir”, el documento subraya los graves riesgos asociados con las tecnologías de IA, afirmando que “estos riesgos van desde la perpetuación de desigualdades existentes hasta la manipulación, la desinformación y la posible pérdida de control sobre sistemas de IA autónomos, lo que podría llevar a la extinción humana”.
Entre las principales preocupaciones expresadas en la carta se encuentran la supervisión inadecuada, los motivos de lucro y la supresión de voces disidentes dentro de las organizaciones que desarrollan tecnologías avanzadas de IA.
Para abordar estas cuestiones, los firmantes proponen los siguientes cuatro principios para las empresas de IA:
1. No imponer acuerdos que restrinjan comentarios críticos ni retaliar contra individuos por expresar preocupaciones sobre riesgos.
2. Establecer un proceso confidencial y verificable para informar sobre problemas relacionados con riesgos a la junta directiva de la empresa, reguladores y organizaciones independientes.
3. Fomentar una cultura de transparencia que aliente a los empleados a discutir públicamente los posibles riesgos, protegiendo al mismo tiempo los secretos comerciales.
4. Prohibir la retaliación contra empleados que divulguen información confidencial sobre riesgos si otros métodos de reporte han fallado.
Publicada hoy por The New York Times, la carta ha recibido apoyo de líderes en IA como Yoshua Bengio, Geoffrey Hinton y Stuart Russell. Los firmantes notables incluyen a ex empleados de OpenAI como Jacob Hilton, Daniel Kokotajlo, William Saunders y Daniel Ziegler, así como a Ramana Kumar de Google DeepMind y Neel Nanda, actualmente en DeepMind.
En una serie de publicaciones en X (anteriormente Twitter) tras la publicación del artículo, Kokotajlo elaboró sobre su renuncia de OpenAI, citando una pérdida de confianza en el compromiso de la empresa con el desarrollo responsable de la IA. Enfatizó la necesidad de una mayor transparencia y estándares éticos en el avance de las tecnologías de IA.
Kokotajlo reveló que renunció a su capital accionario para poder criticar libremente a la empresa, expresando su decepción porque OpenAI no priorizó la investigación sobre seguridad a medida que sus sistemas evolucionaban. También informó haber recibido un acuerdo de no desprestigio al dejar la empresa, lo cual consideró poco ético.
Estas afirmaciones siguen a revelaciones anteriores sobre las prácticas de OpenAI, incluidas filtraciones de documentos que muestran tácticas coercitivas utilizadas contra ex empleados. Sin embargo, OpenAI ha afirmado que no hará cumplir los acuerdos de confidencialidad, que son comunes en la industria tecnológica.
La carta llega en un período turbulento para OpenAI, que comenzó con el despido controvertido de su CEO, Sam Altman, en noviembre de 2023, debido a supuestos problemas de comunicación con la junta. Altman fue rápidamente restituido debido a la presión de los inversores, pero algunos miembros de la junta expresaron preocupaciones continuas sobre la rendición de cuentas y la transparencia, temas que han sido respaldados por figuras públicas como Scarlett Johansson, quien criticó a la empresa por utilizar su voz sin consentimiento.
A pesar de estos desafíos, la empresa intenta abordar las preocupaciones sobre seguridad formando un nuevo Comité de Seguridad, anunciado junto con la capacitación de su último modelo de IA.
Clasificación
