OpenAI начнет наносить водяные знаки на текст ChatGPT в ЕС

OpenAI начнет добавлять невидимый водяной знак к тексту, генерируемому ChatGPT и Codex в Европейском союзе, в соответствии с Законом ЕС об искусственном интеллекте, сообщила компания в понедельник в своем блоге.

Правила прозрачности EU AI Act, вступившие в силу 2 августа, требуют от компаний, занимающихся ИИ, маркировать контент, созданный с помощью ИИ, таким образом, чтобы его могли идентифицировать другие системы.

OpenAI сообщила, что в ближайшие недели водяной знак будет доступен для пользователей ChatGPT и Codex на всех тарифных планах, но только в ЕС. Разработчики, использующие API OpenAI в любой точке мира, могут включить его для некоторых моделей, начиная с сегодняшнего дня; по умолчанию он отключен. В OpenAI заявили, что при запуске не будут использовать текстовые водяные знаки по умолчанию.

Водяной знак не является настоящим символом, он тонко формирует выбор слов в модели, оставляя узор, который не виден читателям, но может быть обнаружен детектором. Поскольку водяной знак присутствует в самих словах, он перемещается вместе с текстом при его копировании и вставке. В OpenAI заявили, что водяной знак не идентифицирует пользователя, и что они не заметили существенных изменений в работе своих моделей при его включении.

OpenAI также опубликовал технический отчет о своем методе под названием textGrain, сопровождаемый анонсом. В нем, написанном в соавторстве с исследователями из Пенсильванского и Йельского университетов, приводится пример использования секретного ключа для сортировки прогнозов следующего слова, чтобы закончить предложение. Добавьте сотни таких подсказок, и детектор сможет распознавать контент, созданный искусственным интеллектом, используя только текст и ключ.

Можно ли удалить водяной знак с помощью редактирования? Тесты OpenAI показали, что да. В одном из тестов замена 10% слов синонимами привела к снижению обнаружения с 92% до 66%. Компания также сообщила, что короткие отрывки, ответы по математике и переведенный текст сложнее обнаружить.

"Эти ограничения обусловили наше решение предоставлять первоначальный доступ к детекторам только одобренным исследователям и экспертным организациям, которые могут помочь нам оценить надежность и ответственное использование", - заявили в компании.

OpenAI также предупредил, что отсутствие водяного знака "не доказывает авторства человека". Текст может быть слишком коротким или слишком сильно отредактированным, или он может быть создан с помощью искусственного интеллекта другой компании.

"[Водяные знаки] могут указывать на то, что система OpenAI сгенерировала или обработала часть отрывка, но не на то, сколько человеческого суждения, редактирования или творческого подхода было вложено в него", - заявили в компании.

Анонс появился через два месяца после того, как Anthropic заявила, что будет использовать водяные знаки. text generated by Claude, a move it’s applying worldwide. That decision drew backlash from some Claude users, who argued they had supplied "the instructions, context, decisions" while Claude was just "the tool."

OpenAI had built a text watermark before but held off on releasing it, partly over concerns that users would switch to rivals that didn’t watermark, The Wall Street Journal reported in 2024.

Anthropic, Google, Meta, Microsoft, and OpenAI are among the companies that have committed to following the EU’s code of practice on AI-generated content.