Как длина текста влияет на точность AI-детекторов на русском языке

Один документ можно проверить целиком или отправить в AI-детектор только его первый абзац. Оценки, полученные двумя способами, иногда расходятся. В коротком фрагменте алгоритм видит меньше особенностей словаря, построения предложений и общей композиции. Но даже большой объем не гарантирует правильного решения.

Для русского языка доступны результаты проверки 52 521 человеческого и машинного текста с распределением по длине. На них заметна разница между короткими и развернутыми материалами. А отдельный эксперимент на англоязычных эссе помогает понять, что происходит, когда исследователи намеренно сокращают одни и те же тексты. Вместе эти данные позволяют оценить пользу длины без обещаний, что после определенного числа слов детектор перестает ошибаться.

Что произошло с точностью на 52 521 русском тексте

Русско-английский корпус LLMTrace, описанный Ириной Толстых и соавторами в 2026 году, содержит человеческие тексты и материалы, созданные языковыми моделями. В нем представлены разные жанры и задания, включая создание текста с нуля и переработку исходного материала.

Разработчик открытого русскоязычного детектора RuModernBERT опубликовал результаты на отложенной тестовой части этого корпуса. При обучении модель использовала 237 929 русских текстов, при подборе параметров - 49 747. Итоговые показатели получены на других 52 521 текстах, которые модель при обучении не видела. Рядом приведены результаты более простой модели LightGBM на той же выборке.

Точность здесь означает долю правильных ответов при разделении материалов на две категории - «человек» и «ИИ». Для RuModernBERT разработчик использовал порог 0,5. Число проверенных текстов в каждом диапазоне различается.

Длина текста, слов	Текстов	Точность RuModernBERT	Точность LightGBM
До 49	14 742	94,0%	81,9%
50-149	17 766	96,3%	84,9%
150-399	16 327	98,1%	91,3%
400 и более	3 686	98,2%	95,2%

Источник таблицы - публичная карточка модели RuModernBERT, раздел «По длине текста». Это результаты разработчика на собственном тестовом наборе, а не независимый аудит коммерческих AI-детекторов.

У RuModernBERT разница между фрагментами до 49 слов и текстами длиной 150-399 слов составила 4,1 процентного пункта. У LightGBM - 9,4 пункта. Если пересчитать округленную точность на условную тысячу материалов из каждой группы, получится около 60 и 19 ошибочных решений у RuModernBERT; у LightGBM - 181 и 87. Расчет сделан по формуле «1000 × (1 - точность)».

Этот пересчет показывает масштаб ошибки на тестовой смеси. Он не говорит, сколько именно человеческих авторов получили ложную отметку AI в каждой группе. Для такого вывода нужны отдельные показатели ложных срабатываний по длине, а они в приведенной таблице не опубликованы.

Почему после 400 слов рост почти останавливается

У RuModernBERT точность меняется с 98,1% до 98,2% при переходе от 150-399 слов к более длинным текстам. Разница составляет всего 0,1 процентного пункта. При этом показатель ROC AUC, оценивающий способность модели различать две категории при разных порогах, снижается с 0,997 до 0,988.

Из этих значений нельзя вывести универсальное правило «чем длиннее, тем точнее». В самой длинной группе всего 3 686 материалов, а их жанровый состав и происхождение могут отличаться от коротких. Некоторые тексты изначально были длиннее, некоторые создавались или редактировались по другим заданиям. В таблице сравниваются разные тексты разной длины. Все остальные условия здесь не выровнены.

Есть и техническая граница. RuModernBERT обрабатывает последовательность длиной до 8192 токенов, а инструмент, использующий модель, может отдельно оценивать окна текста. Токены и слова считаются по-разному. Для длинной публикации итог зависит еще и от того, какую часть документа увидела модель и как объединили результаты по фрагментам.

Что меняется, если сократить одни и те же тексты

В исследовании Rongzhi Chen и соавторов, опубликованном в журнале Digital Scholarship in the Humanities 23 июня 2026 года, использовались 4 346 пар человеческих и сгенерированных эссе на 110 тем. Авторы сравнили полные тексты с версиями, в которых оставили только первые 200 слов. Проверяли три метода распознавания по особенностям авторского стиля.

Точность метода опорных векторов снизилась с 99,26% для полных эссе до 88,72% для фрагментов по 200 слов. У случайного леса снижение оказалось сильнее - с 99,93% до 50,69%. При этом случайный лес продолжал распознавать почти все машинные тексты, но чаще относил человеческие фрагменты к генерации. У разных методов сокращение текста приводило к разным ошибкам.

Здесь сравнение устроено убедительнее именно для вопроса о длине. Исследователи брали сокращенные версии тех же эссе, сохраняя тему и исходную формулировку первых 200 слов. Однако корпус англоязычный, а столь высокие показатели на полных текстах относятся к условиям этого конкретного эксперимента. Переносить его проценты на русский язык или конкретный онлайн-сервис нельзя.

Доля правильных ответов скрывает два разных вида ошибок

Представим, что проверяются 100 человеческих и 100 сгенерированных материалов. Детектор может правильно определить большую часть машинных текстов, но ошибочно заподозрить нескольких человеческих авторов. Другой алгоритм, напротив, будет осторожнее с человеческими текстами и чаще пропускать генерацию. Общая точность не раскрывает, какие ошибки преобладают.

Для спора об авторстве особенно существенна доля ложных срабатываний - человеческих текстов, которые детектор ошибочно объявил машинными. В общей тестовой выборке разработчик RuModernBERT сообщает о 3,4% таких ошибок. По отдельным диапазонам длины сопоставимые значения в карточке модели отсутствуют, поэтому нельзя утверждать, что риск ложного обвинения для 40 слов точно в несколько раз выше, чем для 400.

Различие между ошибками обнаружения и ошибками обвинения подробнее рассматривается в материале «Ложные срабатывания AI-детекторов: какие человеческие тексты попадают под подозрение». Для редактора, преподавателя или заказчика эта разница зачастую определяет, как можно использовать полученную оценку.

Можно ли назвать минимальную длину для надежной проверки

Универсального порога в 50, 100 или 300 слов исследования не устанавливают. Минимальный объем зависит от модели, языка, жанра, способа подсчета слов и допустимой доли ошибочных решений. Результаты RuModernBERT показывают рост точности на данном корпусе, но не превращают отметку «150 слов» в гарантию достоверности.

В 2023 году OpenAI предупреждала, что ее тогдашний классификатор крайне ненадежен на фрагментах короче 1000 знаков и хуже работает на языках, отличных от английского. Этот инструмент отключили 20 июля 2023 года из-за низкой точности. Ограничение в 1000 знаков относилось к конкретному закрытому классификатору. Использовать его как техническую норму для современных русскоязычных детекторов было бы ошибкой.

Полный документ тоже может оказаться неудобной единицей анализа. Если в человеческой статье переписаны нейросетью лишь два абзаца, общая оценка усредняет неоднородный материал. Авторы LLMTrace поэтому отдельно предусмотрели разметку машинных фрагментов внутри текста. Вопрос о происхождении части статьи требует более подробного анализа, чем один процент для всего файла.

Как проверять короткий текст, статью и документ смешанного авторства

Отзыв или комментарий на несколько строк. Проверяйте факты, ссылки, контекст публикации и историю изменений. На таком объеме алгоритм получает мало информации о стиле. Высокая оценка генерации остается основанием для дополнительного вопроса, но не подтверждает авторство сама по себе.

Статья из нескольких абзацев. Сохраняйте при проверке связное изложение. Случайно вырезанная фраза, заголовок или список характеристик плохо представляют манеру автора. Если сервис оценивает отдельные абзацы, сравните их с документом целиком и обратите внимание на расхождения. Подробный разбор расположения признаков есть в публикации «Что сильнее выдает LLM - начало, середина или конец текста?».

Длинный материал с разными источниками. Отмечайте цитаты, фрагменты соавторов и места, прошедшие автоматическую редактуру. Общий процент способен скрывать локальные изменения. Если текст редактировался в Nesuho или другом сервисе, отдельно сравнивайте исходник и итоговую версию по фактам, числам, условиям и смыслу. Историю создания и правок следует рассматривать вместе с автоматической оценкой.

В русскоязычной выборке прирост объема сопровождался сокращением числа ошибок детекторов, особенно при переходе от совсем коротких фрагментов к нескольким абзацам. Для отдельного текста это не дает обещания правильного вердикта. Чем серьезнее последствия оценки, тем меньше оснований полагаться только на один детектор.

Источники

• Tolstykh I., Tsybina A., Yakubson S., Kuprashevich M. LLMTrace: A Corpus for Classification and Fine-Grained Localization of AI-Written Text. Findings of EMNLP, 2026. Описание русско-английского корпуса, задач классификации и выделения машинных фрагментов.
• RuModernBERT: карточка открытой русскоязычной модели и результаты по длине. Данные разработчика на 52 521 тестовом тексте, сравнение с LightGBM, методика и ограничения.
• Chen R. et al. Stylometric detection of AI-generated texts: evidence from human and machine-written essays. Digital Scholarship in the Humanities, 23 июня 2026 года. Эксперимент с сокращением эссе до 200 слов.
• OpenAI. New AI classifier for indicating AI-written text. 31 января 2023 года, обновление об отключении 20 июля 2023 года. Ограничения прежнего классификатора.