Сегодня люди ежедневно используют чат-ботов для написания компьютерного кода, создания выжимок текстов и книг, и даже жизненных советов. Многие также пытаются выдать тексты, сгенерированные ИИ, за собственные, и ученые работают над тем, чтобы найти способ отличать машинные материалы от человеческих. Портал theconversation.com рассказал, как.
Существует уже ряд исследований, показывающих, что сгенерировать текст, написанный чат-ботом, от текста, созданного человеком, порой бывает очень сложно. Например, участники онлайн-исследования в 2021 году вообще не смогли отличить человеческий текст от машинного.
Да и языковые эксперты иногда справляются не лучше. В опыте 2023 года коллегия, сформированная из членов редакций лучших лингвистических изданий, не смогла определить, какие выжимки текстов были написаны людьми, а какие — ChatGPT. А в 2024 году ученые обнаружили, что 94% ответов на экзамены студентов последних курсов, написанных ChatGPT, прошли незамеченными для экзаменаторов в британском университете.
Есть распространенное мнение, что редкие или необычные слова могут быть признаками принадлежности текста какому-то конкретному автору — примерно так же, как у игроков в покер есть характерные повадки. И да, ученые действительно задокументировали резкий скачок в частоте использования редких слов в научных журналах. Таким образом, существуют подозрения, что в этих бумагах чаще используют генеративный ИИ, а исследователи активно используют его, чтобы писать или редактировать часть своих материалов. Но консенсуса об этичности подобной практики нет.
В другом исследователи авторы опросили участников о том, какие характеристики они ассоциируют с ИИ-текстом. Многие отметили злоупотребление тире как один из «симптомов» сгенерированного текста, но даже в этом опыте процент узнавания ИИ был маленьким.
Ключ к более точному определению авторства текста может лежать в поле стилостатистик, где специалисты используют статистические методы для обнаружения вариаций в литературном стиле авторов. Например, австралийский ученый Джон Бурроуз предложил метод, который известен как «дельта Бурроуза». Он представляет собой компьютеризированный анализ частоты распространенных слов, а не редких, как обычно делают эксперты.
Дельта Бурроуза доказала свою эффективность в ряде случаев, но у нее и прочих подобных методов есть серьезный недостаток — они требуют анализа достаточно большого объема текста для того, чтобы надежно отличать авторов. По результатам научной работы 2016 года, дельте необходимы как минимум 1 000 слов от каждого автора. Таким образом, сравнительно маленького эссе от студента будет недостаточно для статистической техники.
Опыты посвежее использовали так называемые языковые модели BERT, обученные не только на человеческом, но и на ИИ-тексте. Модели запоминают паттерны, характерные для обоих типов письма, и они могут различать автора с гораздо большей точностью. Лучшие добиваются точности от 80 до 98%. Но подобные машинные модели представляют собой «черные ящики» — мы не знаем, какие именно паттерны и черты являются определяющими для их логики.
Другая проблема с распознаванием машинного текста в том, что модели, генерирующие текст, постоянно меняются, и иногда довольно значительно. Например, в начале 2025-го пользователи начали выражать беспокойство в связи с тем, что ChatGPT начал общаться с ними слишком заискивающим образом, и OpenAI пришлось откатить ряд изменений. Конечно, манера письма у людей тоже может меняться со временем, но обычно это происходит более плавно.
