Poderia existir uma ferramenta de marcação d'água precisa para o ChatGPT? A decisão da OpenAI de não divulgá-la explicada

Plagiadores do ChatGPT, atenção: a OpenAI desenvolveu uma ferramenta capaz de detectar textos gerados pelo GPT-4 com uma precisão impressionante de 99,99%. No entanto, a empresa tem avaliado há mais de um ano se tornará essa tecnologia disponível ao público. De acordo com a TechCrunch, a OpenAI está adotando uma “abordagem deliberada” devido às complexidades e potenciais consequências que essa ferramenta pode ter no ecossistema mais amplo. Um porta-voz da OpenAI destacou que "o método de marca d'água em texto que estamos desenvolvendo apresenta promessas técnicas, mas estamos considerando riscos significativos. Isso inclui a possibilidade de comprometimento por atores mal-intencionados e o impacto desproporcional sobre grupos como falantes não nativos de inglês."

O sistema de marca d'água em texto insere um padrão específico nas saídas do modelo, tornando-o detectável pela ferramenta da OpenAI, mas invisível para os usuários. Embora consiga identificar com eficácia textos gerados pelo seu mecanismo GPT-4, não consegue diferenciar saídas de outros modelos de IA, como Gemini ou Claude. Além disso, a marca d'água pode ser facilmente apagada ao traduzir o texto para outro idioma e depois de volta para o original.

Essa não é a primeira tentativa da OpenAI em desenvolver uma ferramenta de detecção de texto. No ano passado, a empresa descontinuou silenciosamente um projeto similar devido à taxa de detecção insatisfatória e à tendência de falsos positivos. Lançada em janeiro de 2023, essa ferramenta anterior exigia que os usuários inserissem pelo menos 1.000 caracteres de texto amostral para análise. Com apenas 26% de precisão na identificação correta de conteúdo gerado por IA, ela incorretamente rotulou 9% dos textos escritos por humanos como se fossem gerados por IA. Isso resultou, inclusive, em uma professora da Texas A&M reprovando toda a turma por suposto uso do ChatGPT nas atividades finais. Além disso, a OpenAI está cautelosa em relação à reação dos usuários; segundo o Wall Street Journal, 69% dos usuários do ChatGPT consideram tal ferramenta não confiável, temendo acusações falsas de trapaça. Outros 30% indicaram que mudariam para modelos alternativos se a OpenAI lançasse o recurso. Preocupações também persistem sobre a possibilidade de os desenvolvedores conseguirem reverter a marca d'água para criar ferramentas contrárias. Enquanto a OpenAI continua a avaliar os prós e contras do lançamento do seu sistema de marca d'água, startups de IA estão acelerando o desenvolvimento de ferramentas de detecção de texto, incluindo GPTZero, ZeroGPT, Scribbr e Writer AI Content Detector. No entanto, a falta de precisão geral nessas ferramentas significa que o olho humano continua sendo nosso método mais confiável para identificar conteúdo gerado por IA, o que não é uma perspectiva confortável.