OpenAI исследует использование текстовых водяных знаков для ChatGPT, чтобы выявлять случаи作弊 среди студентов.

В ответ на отчет The Wall Street Journal, в котором утверждается, что OpenAI разработала инструмент, способный точно определять эссе, созданные с помощью ChatGPT, компания поделилась сведениями о своем исследовании систем водяных знаков для текста. В отчете указывается, что обсуждения, связанные с выпуском этого инструмента, задержали его публичную доступность, хотя сообщается, что он уже "готов".

OpenAI заявила: "Наши команды разработали метод водяных знаков для текста, который мы продолжаем оценивать, исследуя альтернативные решения". Компания пояснила, что водяные знаки являются лишь одним из нескольких подходов, наряду с классификаторами и метаданными, которые она рассматривает в рамках обширного исследования происхождения текста.

Хотя OpenAI утверждает, что метод водяных знаков демонстрирует высокую точность в определенных сценариях, он сталкивается с проблемами при использовании определенных манипуляций, таких как системы перевода, переформулирование с использованием других генеративных моделей или вставка и последующее удаление специальных символов между словами. Кроме того, OpenAI выразила обеспокоенность, что водяные знаки могут негативно сказаться на отдельных группах пользователей, отметив: "Например, это может привести к стигматизации использования ИИ как полезного инструмента письма для носителей других языков".

В своем блоге OpenAI подчеркнула, что тщательно рассматривает эти потенциальные риски. Компания также приоритизировала выпуск инструментов аутентификации для аудиовизуального контента. Представитель OpenAI дополнительно уточнил, что компания принимает "обдуманный подход" к вопросу происхождения текста из-за связанных с этим сложностей и возможного воздействия на более широкую экосистему, выходящую за рамки ее собственных операций.