No mês passado, explorei a crescente intersecção entre o movimento de altruísmo eficaz (EA) e a política de segurança em inteligência artificial (IA), conectando startups influentes de IA como a Anthropic com think tanks em Washington, D.C., como a RAND Corporation. Essa rede em expansão liga a missão do EA de enfrentar o que seus defensores consideram riscos catastróficos da futura inteligência artificial geral (AGI) a diversas agências governamentais, think tanks e escritórios do Congresso. Críticos argumentam que a ênfase do EA em riscos existenciais, ou "x-risk", desvia a atenção de perigos imediatos e tangíveis da IA—como viés, desinformação e ameaças cibernéticas convencionais.
Desde então, busquei insights de líderes em IA e política que não estão alinhados ao altruísmo eficaz, nem ao seu oposto, o aceleracionismo eficaz (e/acc). Outras empresas estão igualmente preocupadas com a possibilidade de os pesos de grandes modelos de linguagem (LLM) caírem em mãos maliciosas? Os formuladores de políticas em D.C. compreendem adequadamente o impacto do EA nas iniciativas de segurança em IA?
Essa investigação se torna urgente à medida que a Anthropic publica novas pesquisas sobre modelos de IA "agentes adormecidos" que evitam protocolos de segurança, e o Congresso levanta preocupações sobre uma possível colaboração entre o Instituto Nacional de Padrões e Tecnologia (NIST) e a RAND. Além disso, manchetes recentes destacam o EA em relação à polêmica demissão do CEO da OpenAI, Sam Altman, uma vez que os membros do conselho da organização sem fins lucrativos envolvidos eram principalmente associados ao EA.
Através de conversas no último mês, descobri uma complexa mistura de perspectivas. Embora haja grande preocupação com a ideologia apoiada por bilionários do EA e sua influência no discurso sobre segurança em IA em Washington, alguns reconhecem a importância de discutir os riscos de IA a longo prazo dentro do framework político.
Altruísmo Eficaz e Prevenção de Catástrofes em IA
Fundado originalmente para melhorar o bem-estar global, o movimento EA é agora predominantemente financiado por bilionários da tecnologia que priorizam a mitigação de desastres relacionados à IA, especialmente em biosegurança. Em meu artigo anterior, destaquei preocupações expressas pelo CISO da Anthropic, Jason Clinton, e pesquisadores da RAND sobre a segurança dos pesos dos modelos de LLM contra ameaças de criminosos oportunistas e agentes patrocinados pelo estado. Clinton enfatizou que proteger os pesos do modelo Claude, o LLM da Anthropic, é sua principal preocupação, alertando que se entidades maliciosas acessarem o arquivo completo do modelo, isso poderia representar uma ameaça significativa.
O pesquisador da RAND, Sella Nevo, projeta que em dois anos os modelos de IA podem adquirir relevância em segurança nacional, especialmente em relação ao seu potencial uso indevido por atores mal-intencionados. Todos os três indivíduos com quem conversei têm conexões com a comunidade EA, sendo Jason Matheny, CEO da RAND, anteriormente envolvido com o Long-Term Benefit Trust da Anthropic. Fui levado a investigar mais profundamente a crescente influência do EA pela reportagem de Brendan Bordelon, que se referiu à infiltração de financiadores ligados ao EA no cenário político de Washington como uma "infiltração épica". Conforme Bordelon afirma, uma facção dedicada de apoiadores do altruísmo eficaz está moldando significativamente as abordagens de governança em IA.
Resposta da Cohere às Preocupações do EA
Conversei com Nick Frosst, cofundador da Cohere—um concorrente da Anthropic e OpenAI—que discorda da ideia de que grandes modelos de linguagem apresentem uma ameaça existencial. Ele destacou que, embora a Cohere proteja seus pesos de modelo, a principal preocupação é de natureza comercial, e não existencial. Frosst observou uma distinção filosófica, afirmando: “Acredito que eventualmente poderemos desenvolver uma verdadeira inteligência geral artificial, mas não acredito que isso ocorrerá em breve.” Ele criticou o EA por sua autoconfiança percebida em relação aos riscos de IA e questionou seu framework moral em torno da acumulação de riqueza. Argumentou que a abordagem do EA simplifica impactos humanitários complexos em métricas quantificáveis, levando a conclusões moralmente questionáveis sobre os riscos existenciais da IA.
AI21 Labs sobre Pesos de Modelo e Segurança
Yoav Shoham, cofundador da AI21 Labs, outra concorrente no espaço da IA, ecoou sentimentos semelhantes, enfatizando que, embora protejam seus pesos de modelo por motivos de segredo comercial, esses pesos não são o principal facilitador para atores maliciosos. Ele apontou que, no cenário geopolítico atual da IA, a maioria dos problemas não pode ser abordada apenas por meio de políticas. Shoham esclareceu que a AI21 Labs não faz parte do movimento EA e vê uma mistura de uso responsável da IA com medos infundados dentro do movimento.
Crítica às Perspectivas do EA na RAND
Em meio às críticas direcionadas à RAND por suas conexões com o EA, alguns pesquisadores internamente contestam as ideologias principais do movimento. Marek Posard, sociólogo militar da RAND, observou que os debates filosóficos em torno da IA, incluindo aqueles iniciados por defensores do EA e do e/acc, distraem a atenção de preocupações políticas imediatas relacionadas à IA. Ele sustentou que, embora perspectivas diversas sejam bem-vindas na RAND, o foco deve permanecer em enfrentar problemas do mundo real, em vez de batalhas ideológicas em torno da governança da IA.
Enfrentando Riscos Atuais em Cibersegurança
Embora os campos de segurança em IA e cibersegurança tradicional se sobreponham, a cibersegurança tradicional foca mais em riscos contemporâneos. Dan deBeaubien, que lidera a pesquisa em IA no SANS Institute, reconheceu a influência do movimento EA, mas enfatizou a importância de entender as ameaças de segurança relacionadas a LLM atuais em vez de riscos existenciais.
Conviver com Discursos do EA em D.C.
Alguns formuladores de políticas reconhecem a influência do EA na segurança em IA, mas preferem coexistir em vez de confrontar seus princípios diretamente. Mark Beall, ex-chefe de política de IA no Departamento de Defesa dos EUA, destacou a importância de salvaguardas estabelecidas em vez da velocidade imprudente incentivada na cultura tecnológica. Destacando seu trabalho no Pentágono em políticas de IA responsáveis, Beall refutou alegações de que os oficiais de D.C. carecem de consciência sobre os riscos da IA, afirmando que priorizaram a segurança muito antes que os altruístas eficazes entrassem no cenário político.
O Desafio da “IA Sem Governança”
Ian Bremmer, presidente do Eurasia Group, listou recentemente "IA sem governança" entre os principais riscos geopolíticos para 2024, identificando ameaças tangíveis, como a desinformação nas eleições. Ele reconheceu um debate valioso sobre a segurança dos pesos dos modelos, mas criticou o movimento EA por minimizar outros riscos ao se concentrar exclusivamente em resultados catastróficos. Concluindo, Bremmer apontou que moldar riscos como existenciais pode ofuscar questões urgentes, minando o discurso abrangente necessário para uma governança eficaz da IA.
Classificação
