Как работают детекторы ИИ: поиск закономерностей вместо плагиата

Детектор ИИ не вчитывается в смысл так, как это делает человек.

Большинство детекторов контента используют машинное обучение на огромных массивах данных, включающих тексты человека и языковых моделей. Они анализируют структуру предложений, выбор слов и длину фраз, выискивая статистические паттерны, свойственные генеративному ИИ.

Два главных параметра, на которые ориентируются детекторы, — это перплексия (perplexity) и взрывчатость (burstiness).

Перплексия — это мера предсказуемости текста для языковой модели. У текстов, созданных ИИ, перплексия обычно ниже (то есть предсказуемость выше), потому что нейросеть при генерации выбирает наиболее статистически вероятное следующее слово.

«Взрывчатость» отражает разнообразие длины и стиля предложений. Человеческой речи свойственны перепады: мы чередуем короткие емкие фразы с длинными и сложными конструкциями, создавая живой ритм. Текст же нейросети, как правило, куда более монотонен и структурирован равномерно.

Современные детекторы ИИ представляют собой классификаторы машинного обучения. Их тренируют на колоссальных массивах текстов — как написанных людьми, так и сгенерированных различными моделями. Благодаря этому система учится понимать, какие именно лингвистические особенности коррелируют с искусственным происхождением текста.

По мере того как появляются новые, более совершенные языковые модели (например, GPT-4 и последующие поколения), генерирующие всё более естественный текст, детекторы приходится постоянно обновлять и дообучать на свежих примерах, чтобы они не отставали от прогресса.

Детекторы оперируют лишь вероятностями, а не абсолютными фактами. Это означает, что программы нередко выдают как ложноположительные результаты (ошибочно принимая текст человека за машинный), так и ложноотрицательные (пропуская реальный текст ИИ).

Специфический авторский стиль человека — например, фразы неносителя языка или эксцентричный слог — может быть ошибочно сочтен за работу ИИ. В то же время хорошо замаскированный или существенно перефразированный нейросетевой текст способен легко обойти автоматическую проверку.

Детекторы ИИ и системы проверки на плагиат решают совершенно разные задачи.

Антиплагиат ищет заимствования из уже существующих источников, сравнивая работу с гигантской базой опубликованных материалов. Детектор ИИ, напротив, анализирует внутренние свойства текста (стиль, синтаксис, предсказуемость), чтобы оценить вероятность его машинного происхождения.

Это означает, что текст нейросети может быть полностью оригинальным (его фрагментов нет ни в одном источнике), но детектор ИИ все равно отметит его как машинный. И наоборот: скопированный откуда-то текст живого человека легко пройдет детектор ИИ, поскольку изначально не был создан искусственным интеллектом.

Ручной анализ текстов по-прежнему остается важной частью проверки. Опытные редакторы и преподаватели обращают внимание на характерные приметы нейросетей: например, чересчур обобщенный, подчеркнуто вежливый тон, кажущийся «эмоционально плоским» и лишенным яркой индивидуальности.

Кроме того, они могут изучить историю правок документа или данные кейлоггера (записи нажатия клавиш), чтобы отследить процесс создания текста: последовательное появление черновиков и естественный темп набора убедительно доказывают авторство человека.

В конечном счете решающее слово остается за человеком. Даже разработчики детекторов признают: оценка программы — лишь косвенный сигнал. Знакомство со стилем автора и внимательное экспертное чтение незаменимы, особенно когда вердикт алгоритма вызывает споры.

Инструменты для выявления сгенерированных изображений и видео (например, детекторы дипфейков) работают схожим образом: они анализируют характерные артефакты и визуальные паттерны генеративных сетей с помощью классификаторов, обученных на реальных снимках и синтетических примерах.

Однако, как и в случае с текстом, подобные визуальные системы дают лишь вероятностную оценку и имеют серьезные ограничения по точности. Им требуются огромные обучающие выборки, и они по-прежнему допускают ошибки, особенно на фоне стремительного развития новых методов генерации графики.

Крупнейшие поисковые системы (включая Google) не раз заявляли: их главный приоритет — качество и польза материала, а не то, кем он написан — человеком или искусственным интеллектом.

На практике онлайн-платформы стремятся отсеивать низкопробный, спамный или бесполезный контент независимо от способа его создания, не прибегая к тотальному бану материалов, созданных ИИ.

Ответственное применение искусственного интеллекта обычно подразумевает открытость (например, прямое указание на то, что текст сгенерирован), тщательную редактуру и фактчекинг результатов со стороны человека, а также обогащение материала подлинной экспертной оценкой до момента публикации.

Стоит отметить, что высокая вероятность машинного авторства по данным детектора вовсе не означает, что текст плох или неэтичен: материалы, созданные с участием ИИ, вполне приемлемы, если они качественны и проверены людьми.

Существующие детекторы могут служить полезным ориентиром, но они далеки от непогрешимых судей. Их оценка — лишь подсказка о возможном источнике текста, а не окончательное доказательство. Более того, по мере того как модели становятся изощреннее и ближе к человеку, детекторам все труднее различать стили, и их надежность снижается.

Единственно верный подход — понимать границы возможностей таких сервисов, не доверять слепо процентным шкалам и всегда дополнять автоматическую проверку критическим взглядом и человеческим суждением.

Эта статья создана при участии технологий ИИ, а затем проверена и отредактирована редактором HowStuffWorks.