Por que a IA é um Líder Excessivamente Confiante: Explorando Seus Limites e Lacunas de Conhecimento

Confiando na IA: A Importância da Justificação nas Saídas da IA

Todo mês, mais de 500 milhões de pessoas utilizam Gemini e ChatGPT para obter informações que vão desde cozinhar macarrão até navegar em tópicos complexos de dever de casa. No entanto, se a IA recomendar cozinhar macarrão com gasolina, surgem dúvidas sobre sua confiabilidade em outras áreas, como controle de natalidade ou álgebra.

No Fórum Econômico Mundial deste janeiro, o CEO da OpenAI, Sam Altman, ressaltou a necessidade de transparência nas saídas da IA: “Eu não posso olhar em seu cérebro para entender seus pensamentos, mas posso pedir que você explique seu raciocínio e determinar se parece razoável. Acredito que nossos sistemas de IA poderão fazer o mesmo.”

Conhecimento Requer Justificação

Altman busca inspirar confiança em modelos de linguagem de grande escala (LLMs) como o ChatGPT, sugerindo que eles podem fornecer explicações claras para suas saídas. Sem uma justificação válida, crenças não podem ser consideradas conhecimento. Quando nos sentimos justificados no que sabemos? Normalmente, é quando nossas crenças são apoiadas por evidências credíveis, argumentos lógicos ou o testemunho de fontes confiáveis.

Os LLMs devem ser fontes confiáveis de informação. No entanto, sem a capacidade de explicar seu raciocínio, não temos a certeza de que suas afirmações atendem aos nossos critérios de justificação. Por exemplo, se você afirmar que a névoa de hoje no Tennessee é causada por incêndios florestais no Canadá, posso aceitar sua afirmação. Mas, se você já alegou que lutas de cobras são comuns em defesas de dissertações, sua credibilidade fica comprometida. Eu buscaria então uma clarificação sobre seu raciocínio sobre a névoa.

As Limitações da Compreensão da IA

Os sistemas de IA atuais não conseguem conquistar nossa confiança através do raciocínio, pois carecem dessa capacidade. Em vez disso, os LLMs são treinados em vastos conjuntos de dados para detectar e prever padrões de linguagem. Quando um comando é dado, a ferramenta gera uma resposta com base nesses padrões, frequentemente imitando a fala de humanos conhecedores. Contudo, esse processo não valida a precisão ou a justificação do conteúdo. Como afirmam Hicks, Humphries e Slater em “ChatGPT é uma Ilusão”, os LLMs produzem textos que parecem convincentes, mas carecem de um real compromisso com a verdade.

Se o conteúdo gerado pela IA não é equivalente ao conhecimento humano, o que é? Embora possa parecer impreciso categorizar todas as saídas como “ilusionismo”, muitas respostas de LLM são factualmente corretas, levando ao que os filósofos chamam de casos de Gettier. Essas situações ocorrem quando crenças verdadeiras existem ao lado de uma falta de entendimento sobre sua justificação.

Saídas de IA como Ilusões

Para ilustrar isso, considere um cenário inspirado no filósofo budista indiano Dharmottara do século VIII: imagine buscar água em um dia escaldante. Você vê algo que parece água, apenas para descobrir que é uma miragem. No entanto, quando você chega ao local, encontra água verdadeira sob uma pedra. Você pode afirmar que tem conhecimento genuíno do tipo de água que procurava?

A maioria concordaria que esses viajantes não possuem conhecimento real; eles apenas tropeçaram na água sem ter uma justificativa sólida para esperar sua presença.

Quando afirmamos saber algo aprendido de um LLM, nos colocamos em uma situação semelhante à dos viajantes de Dharmottara. Se o LLM foi treinado de forma eficaz, suas saídas provavelmente são verdadeiras, como descobrir água onde era previsto. Contudo, a justificação que sustenta a afirmação está em algum lugar dentro do conjunto de dados, mas não desempenha um papel na geração da saída.

Portanto, as garantias de Altman podem ser enganosas. Se você solicitar que um LLM justifique sua saída, ele criará uma justificação convincente, mas superficial – uma “justificação Gettier”, como descrevem Hicks et al. Essa imitação de justificação carece de uma base real.

O Risco de Justificações Enganosas

Atualmente, os sistemas de IA muitas vezes interpretam mal ou "alucinam" informações factuais, levando a inconsistências. À medida que a ilusão de justificação se torna mais convincente, enfrentamos dois possíveis desfechos:

1. Usuários Informados: Aqueles que conhecem as limitações inerentes da IA reconhecerão que os LLMs produzem afirmações enganosas.

2. Usuários Desavisados: Indivíduos que não compreendem a natureza das saídas da IA podem ser induzidos ao erro, vivendo em um estado onde distinguir fato de ficção se torna desafiador.

A Necessidade de Justificação nas Saídas da IA

Embora os LLMs sirvam como ferramentas poderosas, eles geram saídas que requerem escrutínio. Os usuários, especialmente aqueles sem expertise, confiam na IA para obter conhecimentos críticos – adolescentes buscando ajuda com álgebra ou conselhos sobre sexo seguro. Para garantir responsabilidade e confiança nas saídas da IA, precisamos compreender a justificação por trás de cada afirmação.

Felizmente, pessoas experientes reconhecem que o azeite de oliva é uma escolha melhor do que gasolina para cozinhar espaguete. Mas quantas receitas potencialmente prejudiciais da realidade aceitamos cegamente da IA sem questionar suas justificação?