Demonstração Oficial do OpenAI SearchGPT Revela Vulnerabilidade: Descobrindo os Segredos do Código-Fonte e do Mecanismo de Busca

Título: Desafios Enfrentados pelo SearchGPT: A Batalha entre Ilusão e Realidade

Apenas dois dias após o lançamento do SearchGPT, uma demonstração feita pelo usuário Kesku gerou grande repercussão online, principalmente devido à sua surpreendente rapidez nos resultados. No entanto, uma demonstração oficial divulgada pela OpenAI foi analisada em um relatório da The Atlantic, revelando algumas imprecisões significativas. Ao ser questionado sobre "o festival de música em Boone, Carolina do Norte, em agosto", o SearchGPT forneceu uma data errada, levantando preocupações sobre sua confiabilidade.

Kayla Wood, porta-voz da OpenAI, confirmou o erro à The Atlantic, afirmando que este era um protótipo inicial e que melhorias estão em andamento. Esse incidente lembra um grande equívoco do Bard, da Google, que também enfrentou críticas por imprecisões em seu lançamento. Em fevereiro de 2023, o Bard afirmou incorretamente que o Telescópio Espacial James Webb havia capturado a primeira imagem de um exoplaneta, feito realmente alcançado pelo VLT do Observatório Europeu do Sul. Esta falha resultou em uma queda de 9% no preço das ações da Alphabet, eliminando $100 bilhões em valor de mercado.

Em contraste, a OpenAI adotou uma abordagem mais cautelosa, limitando o acesso a testes internos, aprendendo com os deslizes da Google. Considerando o contexto de amplo acesso, mesmo que a OpenAI consiga minimizar a ocorrência de alucinações no SearchGPT, uma taxa de erro de apenas 1% pode resultar em milhões de respostas imprecisas diariamente. Além disso, atualmente não existem métodos confiáveis para eliminar completamente alucinações e erros em modelos de linguagem de grande escala (LLMs).

Andrej Karpathy apontou no Twitter que as alucinações não são apenas bugs, mas uma característica inerente dos LLMs. Ele os compara a "máquinas de sonhos", que, ao serem solicitadas, criam conteúdo frequentemente útil, mas que pode, inadvertidamente, gerar erros factuais, resultando em "alucinações". Esse mecanismo é fundamentalmente diferente dos motores de busca tradicionais, que retornam os documentos mais relevantes de seus bancos de dados sem criar respostas completamente novas.

Karpathy acredita que os modelos de busca em IA baseados em LLMs não podem garantir resultados 100% precisos. Isso levanta uma questão intrigante: na transformação dos motores de busca, a criatividade dos LLMs coexistirá com a confiabilidade dos métodos de busca tradicionais, ou um deles substituirá o outro? Essa questão merece uma reflexão cuidadosa.