Ложные срабатывания AI-детекторов: какие человеческие тексты попадают под подозрение

Редактор получает статью от автора, запускает ее через AI-детектор и видит высокую оценку вероятности машинного текста. Автор утверждает, что написал все сам. Одного результата сервиса недостаточно, чтобы разрешить спор. Даже добросовестно написанный материал может получить ошибочную метку.

Такая ошибка называется ложным срабатыванием. Детектор относит человеческий текст к машинным. Риск особенно серьезен там, где от результата зависит оценка учебной работы, репутация автора или решение о публикации.

Что известно о масштабах ошибки

Одинаковой частоты ложных срабатываний у всех AI-детекторов нет. Она меняется вместе с набором текстов, языком, моделью и порогом, после которого сервис выводит предупреждение.

В исследовании Стэнфордского университета 2023 года семь детекторов проверяли 91 сочинение TOEFL, написанное людьми, для которых английский не родной, и 88 сочинений американских восьмиклассников. Средняя доля ложных срабатываний на работах TOEFL составила 61,3%. На сочинениях американских школьников те же системы работали заметно увереннее. По крайней мере один из семи детекторов ошибочно отметил 97,8% сочинений TOEFL; все семь одновременно ошиблись на 19,8% этих работ.

Эти проценты относятся к конкретной англоязычной учебной выборке и версиям инструментов того периода. Переносить 61,3% на русские тексты, современные модели или любой сервис было бы ошибкой. Исследование показывает другое. Группа авторов и особенности их письма существенно меняют риск ложного обвинения.

В январе 2023 года OpenAI сообщала, что ее тогдашний классификатор ошибочно считал AI-текстом 9% человеческих текстов в тестовой англоязычной выборке. При этом он распознавал только 26% машинных текстов как вероятно машинные. В июле 2023 года инструмент сняли с доступа из-за низкой точности. Эти цифры описывают снятый с эксплуатации классификатор и не характеризуют нынешние сервисы.

Какие тексты оказываются уязвимыми

Сочинения людей, для которых язык письма не родной

Самое прямое эмпирическое подтверждение связано с работами TOEFL. Исследователи обнаружили, что ошибочные метки были связаны с более предсказуемой лексикой. Автор, пишущий на втором языке, может использовать частотные слова и сравнительно простые конструкции. У детектора такая предсказуемость иногда совпадает с сигналами машинной генерации.

Это не означает, что все тексты на втором языке просты или что детекторы всегда ошибаются на них. Установленный в эксперименте результат касается определенной группы работ и семи проверенных алгоритмов.

Формальные учебные и научные тексты

У научной аннотации, учебного ответа и типового отчета часто есть заданная структура. Авторы используют устойчивые термины, похожие переходы и привычные способы описания результатов. Из-за этого литературная свобода ограничена самим жанром. По внешнему виду отдельные человеческие и сгенерированные фрагменты могут сближаться.

В исследовании 2025 года проанализировали 250 оригинальных научных текстов из нейрохирургических журналов и 750 вариантов, созданных моделями ChatGPT 3.5, 4 и 4o. Проверялись три детектора. Авторы получили диапазон площади под ROC-кривой от 0,75 до 1,00 в разных условиях и отдельно предупредили о риске ложных срабатываний. Высокое качество на такой специализированной выборке не означает безошибочной проверки каждой рукописи.

Тексты после перевода и редакторской правки

Перевод выравнивает часть авторских оборотов под нормы целевого языка. Редактор тоже может убрать повторы, исправить синтаксис и привести терминологию к единому виду. После этого поверхностные характеристики меняются, хотя исходный материал мог быть написан человеком.

Международная группа Деборы Вебер-Вульф в работе 2023 года проверила 14 инструментов на 54 тестовых случаях, всего выполнив 756 проверок. В выборку входили человеческие тексты, переведенные на английский, машинные тексты, а также материалы после ручной и автоматической правки. Исследователи обнаружили как ложные положительные, так и ложные отрицательные результаты и признали инструменты непригодными для самостоятельного доказательства академического нарушения.

Нельзя утверждать, что редактура обязательно повышает вероятность ложного срабатывания. Ее эффект зависит от типа правки и детектора. Сама история подготовки текста должна учитываться при разборе спорного результата.

Почему детектор путает автора с нейросетью

Детектор обучается распознавать статистические закономерности текстов. В зависимости от конструкции системы он может использовать предсказуемость последовательностей слов, распределение языковых признаков или представления текста, полученные нейросетевой моделью. Ни один из этих сигналов сам по себе не фиксирует, кто нажимал клавиши.

Человеческий автор способен писать ровно и шаблонно, особенно при строгих требованиях к жанру. Нейросеть способна выдавать разнообразный и намеренно отредактированный текст. Области признаков пересекаются. Ошибка возникает, когда статистический рисунок человеческой работы попадает в область, которую алгоритм считает характерной для AI.

Нужно различать оценку модели и установленное происхождение текста. Надпись «90% AI» может обозначать внутренний балл сервиса, значение классификатора или другой расчет. Без описания калибровки нельзя читать ее как доказательство того, что с вероятностью 90% автор пользовался нейросетью.

Почему доля ошибок зависит от порога

Представим учебную платформу, где из тысячи проверенных работ сто действительно созданы AI, а девятьсот написаны людьми. Для иллюстрации возьмем гипотетический детектор, который находит 80% машинных работ и ошибочно отмечает 5% человеческих.

Он выделит 80 машинных работ и ошибочно заподозрит 45 человеческих. Среди 125 отмеченных случаев ошибочными будут 45, то есть 36%. Все исходные числа в этом примере условные; они демонстрируют влияние распространенности AI-текстов на долю ошибочных обвинений среди предупреждений.

Если администрация снизит порог срабатывания, детектор обычно начнет отмечать больше подозрительных текстов. Вместе с найденными машинными работами может вырасти и число человеческих работ с предупреждением. Поэтому фраза «точность 95%» мало говорит о риске для автора без состава тестовой выборки и отдельных показателей ошибок.

Что делать, когда ваш текст ошибочно пометили

1. Сохраните исходник, историю правок, черновики, промежуточные версии и материалы, по которым писался текст. История создания дает предметные свидетельства работы.
2. Уточните название детектора, дату проверки, язык, длину проверенного фрагмента и правило, по которому результат признали подозрительным.
3. Попросите оценивать содержание, фактические источники, ход рассуждения и историю подготовки текста. Повторение проверки в нескольких сервисах может дать дополнительные сигналы, но согласие нескольких моделей само по себе не доказывает авторство.
4. Если от результата зависит оценка или публикация, запросите рассмотрение человеком с возможностью представить черновики и объяснить процесс работы.

Преподавателю или редактору тоже полезно заранее определить процедуру спора. Автоматическая метка может служить поводом для дополнительной проверки, но решение о недобросовестности требует иных подтверждений.

А что с русскими текстами

На русском языке встречаются похожие условия риска. Формальный стиль, единая терминология и типовые связки свойственны большому числу человеческих документов. Однако приведенные выше проценты получены преимущественно на англоязычных материалах. Они не показывают, какие именно русские жанры дают максимальную долю ложных срабатываний.

Для такой оценки нужен отдельный корпус русских текстов с подтвержденным происхождением, разделенный по жанрам и условиям создания. Затем следует фиксировать версии детекторов и считать долю ложных положительных решений для каждой группы. Без этих данных любой рейтинг «самых подозрительных» русских жанров останется предположением.

Если задача состоит в улучшении стиля, полезно отдельно проверять шаблонные конструкции и естественность формулировок. В Nesuho такая редакторская задача отделяется от вывода о происхождении текста. Исправление канцелярита или однообразного ритма помогает читателю, но не подтверждает и не опровергает авторство.

Что можно заключить по исследованиям

Наиболее убедительный конкретный пример группы риска дают работы людей, пишущих на неродном английском языке. Для академических и отредактированных текстов исследования тоже показывают ограничения детекторов, хотя универсального порядка групп по числу ложных срабатываний нет.

Высокая оценка AI-детектора означает необходимость внимательного разбора обстоятельств создания текста. Чтобы установить авторство, нужны проверяемые материалы и понятная процедура, а не один процент в интерфейсе.

Источники

• Liang W. и соавторы. GPT detectors are biased against non-native English writers. Patterns, 2023.
• OpenAI. New AI classifier for indicating AI-written text. 2023, дополнение об отключении от 20 июля 2023 года.
• Weber-Wulff D. и соавторы. Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 2023.
• Can we trust academic AI detective? Accuracy and limitations of AI-output detectors. Acta Neurochirurgica, 2025.