Um especialista em políticas de IA dos EUA comentou recentemente: “Se você não está explorando a influência do altruísmo eficaz (AE), está perdendo uma história importante.” Refletindo sobre isso, percebo que deixei de lado uma perspectiva crucial na minha cobertura na semana passada.
Ironia das ironias, eu achava que meu artigo sobre as preocupações em garantir a segurança dos pesos de modelos de linguagem grande (MLG) era um sucesso evidente. A recente Ordem Executiva sobre IA da Casa Branca exige que as empresas de modelos fundacionais documentem a propriedade e as medidas de segurança para modelos de uso dual, tornando esse tema atual e relevante. Em minha matéria, entrevistei Jason Clinton, Diretor de Segurança da Informação da Anthropic, que enfatizou a necessidade crítica de proteger os pesos do modelo Claude, o MLG da Anthropic. Ele destacou o perigo de criminosos, terroristas e estados-nação acessando esses modelos sofisticados, alertando que “se um atacante acessasse o arquivo completo, poderia controlar toda a rede neural.” Outras empresas de ponta compartilham essas preocupações; o novo "Framework de Preparação" da OpenAI aborda a necessidade de restringir o acesso a informações sensíveis dos modelos.
Conversei também com Sella Nevo e Dan Lahav, da RAND Corporation, autores de um relatório significativo intitulado "Segurança dos Pesos de Modelos de Inteligência Artificial". Nevo, que lidera o Centro Meselson da RAND, advertiu que os modelos de IA podem em breve ter implicações substanciais para a segurança nacional, incluindo o potencial uso indevido na criação de armas biológicas.
A Rede de Conexões do Altruísmo Eficaz na Segurança da IA
Ao refletir, percebo que meu artigo não abordou as conexões intricadas entre a comunidade de altruísmo eficaz e o emergente campo da segurança em IA. Essa omissão é notável, dado o crescente impacto do AE, um movimento intelectual que enfatiza o uso da razão e evidências para beneficiar a humanidade, especialmente na prevenção de riscos existenciais advindos da IA avançada. Críticos argumentam que o foco do AE em ameaças distantes negligencia questões prementes como viés, desinformação e cibersegurança no desenvolvimento de IA.
Recentemente, o AE ganhou destaque devido ao envolvimento da diretoria da OpenAI na demissão do CEO Sam Altman, destacando as conexões do AE em decisões de alto risco. Apesar de estar ciente dos laços da Anthropic com o AE—o fundador da FTX, Sam Bankman-Fried, tinha uma participação de $500 milhões na startup—deixei de investigar mais a fundo as implicações do AE para a minha história. No entanto, após ler um artigo da Politico que apareceu coincidentemente no dia seguinte, descobri conexões importantes entre a RAND e o AE, incluindo laços significativos de financiamento.
O artigo da Politico revelou que pesquisadores da RAND Corporation foram fundamentais na elaboração da Ordem Executiva da Casa Branca sobre pesos de modelos, e a organização recebeu mais de $15 milhões da Open Philanthropy, uma iniciativa do AE respaldada pelo cofundador do Facebook, Dustin Moskovitz. Notavelmente, o CEO da RAND, Jason Matheny, e o cientista sênior Jeff Alstott são reconhecidos como altruístas eficazes com laços prévios com a Administração Biden.
Insights da Comunidade de Altruísmo Eficaz
Em minha conversa de acompanhamento com Nevo, ele observou que a forte presença de defensores do AE na segurança da IA não deveria surpreender. Historicamente, o AE tem liderado discussões sobre a segurança da IA, o que significa que qualquer pessoa envolvida nesse campo provavelmente já encontrou perspectivas do AE.
Nevo também expressou frustração com o tom do artigo da Politico, sugerindo que implicava injustamente em má conduta ao destacar o papel de longa data da RAND em fornecer pesquisas valiosas para formuladores de políticas. Ele enfatizou que nem ele nem seu centro estiveram envolvidos na Ordem Executiva e que as disposições sobre segurança dos modelos eram compromissos voluntários pré-estabelecidos pela Casa Branca.
Embora o Centro Meselson permaneça relativamente obscuro, Nevo indicou que é apenas um dos muitos centros de pesquisa da RAND, focando na bio-vigilância e na intersecção da IA com a segurança biológica.
A Importância do Altruísmo Eficaz na Segurança da IA
A influência do AE realmente importa? Refletindo sobre a icônica frase de Jack Nicholson, “Você precisa de mim nessa parede!”, surge a questão: se precisamos de indivíduos dedicados à segurança da IA, será que sua ideologia é relevante?
Para muitos que advogam transparência e políticas eficazes em IA, a resposta é sim. Como destacado pela reportagem da Politico sobre a influência do AE em Washington, essas conexões moldarão significativamente futuras políticas, regulamentações e o desenvolvimento da IA. O especialista em políticas de IA com quem conversei observou que muitos no campo político subestimam potenciais agendas ideológicas em IA, lamentavelmente ignorando seu impacto.
Classificação
