10 000 русских статей: чем отличаются человеческие и ИИ-фрагменты

В одном и том же исследовании получились два результата, которые хорошо объясняют сложность разговоров об ИИ-стиле. На исходном корпусе детектор RuModernBERT достиг F1 0,9912. Когда его перенесли на русский набор с другими генераторами и доменами, F1 снизился до 0,3279.

При этом внутри исходного корпуса языковые различия были вполне измеримыми. Сгенерированные фрагменты давали меньше уникальных биграмм и чаще повторяли формальные конструкции. В финальных смешанных текстах снизилась доля собственных имён и чисел. Значит, признаки существуют. Их сила зависит от модели, жанра, способа генерации и самой постановки теста.

Для этой статьи мы сопоставили два крупных русскоязычных исследования: корпус MAHD из 10 000 смешанных статей и CoAT из более чем 246 тысяч человеческих и машинных текстов. Такое сопоставление помогает ответить на практический вопрос: какие свойства текста можно использовать для редакторской диагностики, а какие слишком легко меняются вместе с контекстом.

Что именно было в 10 000 статьях MAHD

MAHD расшифровывается как Mixed ИИ-generated and Human Dataset. Корпус подготовлен в магистерской работе Hanna Shcharbakova в НИУ ВШЭ в 2025 году. Исходниками стали русскоязычные статьи vc.ru о технологиях и бизнесе. В части предложений человеческий текст заменяли фрагментами, сгенерированными GPT-4o-mini.

После фильтрации автор получила 10 719 пригодных записей и случайно выбрала 10 000 для итогового корпуса. Общий объём составил 91 069 540 символов. На ИИ-фрагменты пришлось 49,3%, на исходный человеческий текст - 50,7%. В одной статье было в среднем 17,61 сгенерированной замены, а средняя доля ИИ-контента составляла 49,6%.

Страница работы НИУ ВШЭ описывает задачу и основные результаты. Полный текст исследования содержит методику, статистику корпуса и результаты переноса детекторов.

У дизайна есть особенность, без которой цифры по длине легко прочитать неверно. Генерируемый фрагмент специально просили делать длиннее заменяемого: от 4/3 до 2 исходных объёмов в словах, максимум два предложения. Поэтому итоговые смешанные статьи в среднем выросли с 1 397,66 до 1 482,86 слова, то есть примерно на 6,1%. Рост длины здесь частично заложен в процедуру генерации. Использовать эти 6,1% как универсальный признак ИИ-текста нельзя.

Именно такие детали решают, что означает статистика. Один и тот же признак может отражать поведение модели, жанр исходников или ограничение, заданное исследователем.

Повторяемость фраз дала самый ясный сигнал внутри MAHD

В MAHD автор отдельно сравнила заменённые ИИ-фрагменты с человеческими фрагментами, которые стояли на их месте до генерации. На уровне биграмм сгенерированного материала оказалось больше по общему количеству, что ожидаемо при большей длине. Разница появилась в числе уникальных сочетаний.

• ИИ-фрагменты: 3 515 566 биграмм всего и 1 189 954 уникальных.
• Исходные человеческие фрагменты: 3 230 985 биграмм всего и 1 939 434 уникальных.

Сгенерированные вставки производили больше двухсловных сочетаний, но повторяли их заметно сильнее. Среди частотных шаблонов были конструкции, которые после лемматизации выглядели как важный помнить, важный понимать, важный учитывать. Это нормализованные формы слов, поэтому их не следует воспринимать как буквальные цитаты из ответов модели.

В верхней части частотного списка пересечение человеческих и ИИ-биграмм составило 30%. Для триграмм пересечение снизилось до 10%. Среди частотных ИИ-шаблонов исследование приводит лемматизированные конструкции открывать новый горизонт и играть ключевой роль. У человеческих фрагментов чаще встречались более предметные сочетания, связанные с конкретным содержанием деловых и технологических статей.

Для редактора повторяемость полезна как сигнал шаблонности. Если одинаковые связки и синтаксические заготовки расползаются по всему материалу, их стоит проверить независимо от того, кто написал текст. Авторство по одной фразе из частотного списка установить нельзя: часть сочетаний встречалась в обоих классах.

Словарное разнообразие не укладывается в правило «AI пишет беднее»

В том же MAHD есть цифра, которая сначала кажется подтверждением простого правила. Во всех исходных человеческих статьях насчитали 282 979 уникальных слов. В финальных смешанных версиях - 232 147. На уровне всего корпуса словарь после вставки ИИ-фрагментов стал уже.

Но среднее число уникальных слов внутри одной статьи изменилось в другую сторону: 506,02 в оригиналах и 528,32 в финальных текстах. Финальные статьи были длиннее, поэтому отдельный документ мог содержать больше разных слов даже при более узком общем словаре корпуса.

CoAT даёт ещё одну причину отказаться от универсального правила. Этот русскоязычный корпус включает более 246 тысяч человеческих и машинных текстов, шесть доменов и результаты 13 генеративных моделей. Авторы обнаружили, что соотношение показателей лексического разнообразия зависит от задачи генерации. При свободной генерации машинные тексты часто были длиннее и получали более высокие показатели лексического богатства. В других задачах картина отличалась.

В CoAT доля высокочастотных слов в среднем составляла около 88% и была похожей у человеческих и машинных текстов внутри соответствующих задач. В статистическом тесте значимые различия нашли по большинству рассмотренных стилометрических признаков, однако доля высокочастотных слов и доля предлогов исключениями не стали. При проекции всех признаков на двумерное пространство классы сильно перекрывались.

Практический вывод узкий: лексическое разнообразие зависит от способа генерации и длины текста. Само по себе оно не даёт устойчивого ответа о происхождении текста.

Какие сигналы выдержали сопоставление двух корпусов

MAHD и CoAT устроены по-разному, поэтому их цифры нельзя складывать в одну выборку. Первый корпус исследует смешанные статьи из одного домена с вставками одной модели. Второй охватывает множество доменов, моделей и задач. Сопоставлять можно направление наблюдений и ограничения каждого признака.

Признак	Что видно в MAHD	Что добавляет CoAT	Как использовать
Повторяемые словосочетания	У ИИ-фрагментов меньше уникальных биграмм при большем общем числе биграмм	Свойства сильно зависят от задачи генерации и модели	Искать локальную шаблонность и однообразие, не делать вывод об авторстве по одной конструкции
Длина	Финальные тексты длиннее, но рост частично задан промптом исследования	Длина различается по задачам, а точность детекторов растёт на длинных текстах	Учитывать как контекст, не считать самостоятельным маркером
Лексическое разнообразие	Общий словарь корпуса уже, среднее число уникальных слов на статью выше	Направление различий меняется между задачами	Проверять только вместе с жанром, длиной и способом генерации
Формальные связки	Частотны конструкции с «важный», формальные переходы создают ошибки детектора	Стилевые распределения человеческих и машинных текстов заметно перекрываются	Редактировать избыточные связки, если они мешают тексту, не считать их доказательством AI
Конкретика	В смешанных версиях относительно меньше собственных имён, чисел и неизвестных токенов	Домены сами по себе сильно меняют стилевые признаки	Проверять, не исчезли ли имена, цифры, условия и предметные детали

Эта таблица описывает редакторскую полезность признаков. Она не является классификатором и не задаёт веса для определения авторства.

Синтаксис ИИ-фрагментов в этом тесте стал более развёрнутым

Морфосинтаксический анализ MAHD показал рост долей существительных, глаголов и прилагательных в финальных смешанных текстах. Собственные имена, числа и токены, которые анализатор не распознал, встречались относительно реже. Автор исследования связывает это с более общими формулировками и меньшей плотностью конкретных сущностей в сгенерированных сегментах.

Изменились и синтаксические связи. В финальных текстах выросли связи, связанные с дополнениями, определениями, явными субъектами и зависимыми предикативными конструкциями. Простыми словами, вставки GPT-4o-mini в этом эксперименте чаще разворачивали фразу и добавляли описательные элементы.

Здесь снова действует ограничение методики. Сгенерированные фрагменты специально делали длиннее заменяемых. Длинный фрагмент получает больше пространства для зависимостей и описаний. Исследование учитывает относительные изменения и отмечает сдвиг сверх простого роста длины, однако переносить конкретный синтаксический профиль на все современные модели нельзя.

Для редактора полезен сам объект проверки: перегруженные зависимости, лишние определения, повторяющиеся конструкции с одинаковой логикой. Такая диагностика отвечает на вопрос о качестве фразы. Вопрос происхождения текста требует отдельного исследования.

Перенос на другой русский корпус резко меняет картину

Самая строгая проверка признака начинается после смены данных. Если сигнал связан с человеческим и машинным письмом в целом, модель, обученная на нём, должна хотя бы частично сохранять качество при смене темы и генератора.

На тестовой части MAHD, где домен и генератор соответствовали обучению, RuModernBERT получил F1 0,9912, XLM-RoBERTa - 0,9822. Затем те же подходы проверили на других наборах.

Набор	Что изменилось	Результат
MAHD	Технологии и бизнес, вставки GPT-4o-mini, тот же тип данных	RuModernBERT F1 0,9912, XLM-RoBERTa 0,9822
AINL	Русские научные аннотации, другие генераторы и академический домен	Лучший результат XLM-RoBERTa F1 0,7786. RuModernBERT F1 0,4656
RuATD	Несколько русских доменов и 13 генеративных моделей	Лучший результат FRIDA F1 0,4621. Остальные модели от 0,3279 до 0,4568

F1 здесь является метрикой качества классификации на размеченной выборке. Значение нельзя читать как «99,12% вероятности, что текст написал AI».

Падение на RuATD особенно показательно для темы языковых признаков. Внутри одного контролируемого набора модель очень точно учит границу. При смене генераторов и доменов эта граница почти перестаёт работать. Значительная часть сильных сигналов оказывается привязанной к конкретной модели, тематике, жанру или процедуре создания данных.

На научных аннотациях AINL перенос тоже оказался неодинаковым для разных детекторов. XLM-RoBERTa сохранил F1 0,7786, а RuModernBERT снизился до 0,4656. Даже модели, которые почти одинаково хорошо решали исходную задачу, переносили выученные признаки по-разному.

Формальный язык легко превращается в ложный сигнал

В MAHD частотные ИИ-фрагменты тяготели к формальным и инструктивным конструкциям. На этом месте легко составить список «слов ChatGPT» и начать удалять их из любого текста. Анализ ошибок в той же работе показывает, почему такая стратегия быстро ломается.

Некоторые формальные слова и переходы были трудны для всех пяти проверенных моделей. Для отдельных токенов вроде «Дополнительно», «Ответственность», «Простота» и «Проверьте» частота ошибок превышала 35%. Исследование объясняет это пересечением ИИ-формулировок с нормальным профессиональным письмом людей.

Получается полезное различие по задаче. Частый формальный оборот может быть хорошей причиной перечитать абзац: возможно, он звучит шаблонно или дублирует соседнюю мысль. Тот же оборот остаётся слабым доказательством происхождения текста, потому что деловая и академическая речь людей использует такие конструкции постоянно.

Эта граница важна и для очеловечивания. Автоматическая замена всех «подозрительных» слов создаёт новый шаблон. В Nesuho мы рассматриваем подобные маркеры как места для контекстной проверки. Если фраза точна, уместна и не повторяет соседние конструкции, её можно оставить.

CoAT показывает зависимость от длины и типа генерации

CoAT расширяет картину за пределы одной модели. Корпус включает шесть доменов и 13 генеративных моделей. В нём есть машинный перевод, обратный перевод, перефразирование, упрощение, суммаризация и свободная генерация.

Разница между этими задачами оказалась очень большой. В эксперименте CoAT лучший детектор машинного перевода получил точность 0,621 и macro-F1 0,612. Для свободной генерации показатели доходили примерно до 0,99. При переводе модель жёстко связана исходным содержанием и формой, поэтому привычные генеративные особенности выражены слабее. В свободной генерации повторения и другие модельные привычки проявляются заметнее.

Длина текста тоже меняла результат. Для самой короткой пятой части выборки нейросетевые детекторы показывали macro-F1 около 0,75. На самых длинных текстах показатель доходил до 0,95-0,99. Человек или алгоритм получает больше материала для наблюдения, когда перед ним несколько абзацев вместо пары предложений.

Авторы CoAT отдельно проверяли перенос между доменами. Обучение на некоторых узких доменах приводило к почти случайным результатам на других. В выводах работы это сформулировано прямо: детекторы недостаточно устойчивы к неизвестному домену и неизвестной генеративной модели.

Для списка «признаков AI» отсюда следует жёсткое ограничение: ценность признака нельзя оценивать без жанра, длины, задачи генерации и модели.

Что из этих признаков полезно редактору

Исследования детекторов дают материал для редактуры, если не превращать их в инструкцию по угадыванию автора. Мы выделяем четыре группы сигналов, которые можно проверять в русском тексте независимо от его происхождения.

• Повторяемые фразовые схемы. Одни и те же переходы, вводные связки и синтаксические заготовки снижают разнообразие текста. MAHD показывает этот эффект на уровне биграмм и триграмм.
• Потеря конкретики. Снижение доли имён и чисел в MAHD напоминает о практической проверке: после переписывания должны сохраниться сущности, даты, суммы, условия и измеримые детали.
• Избыточное разворачивание фразы. Более сложные зависимости могут быть уместны. Проблема появляется, когда несколько предложений подряд построены одинаково тяжело и содержат лишние пояснения.
• Формальные переходы без функции. Слова «важно», «дополнительно» или императивы сами по себе нормальны. Редактор проверяет, добавляет ли связка смысл и соответствует ли жанру.

Эти сигналы не требуют охоты за отдельными словами. Они работают на уровне фрагмента и всего текста. Такая диагностика ближе к обычной редактуре: заметить однообразие, проверить конкретику, сократить лишнее, сохранить точное содержание.

На nesuho.ru этот принцип используется при работе с шаблонной ИИ-манерой. Оценка детектора может быть дополнительным ориентиром, но она не доказывает человеческое или машинное авторство. Цель обработки - улучшить текст и сохранить его смысл.

Связанный разбор о ненадёжных одиночных маркерах: «Какие признаки ИИ-текста вообще не работают».

Граница этих выводов

MAHD даёт редкую возможность сравнить человеческий фрагмент и заменивший его ИИ-фрагмент внутри одного и того же русского контекста. Одновременно у корпуса есть три ограничения для нашей темы.

• ИИ-вставки создавались одной моделью - GPT-4o-mini.
• Исходники относятся преимущественно к технологиям и бизнесу на vc.ru.
• Длина генерируемых замен была искусственно ограничена диапазоном, который делал их длиннее исходных фрагментов.

CoAT намного шире по доменам и генераторам, но его набор моделей относится к более раннему поколению русскоязычных генераторов. Это особенно существенно в 2026 году, когда семейства моделей и способы генерации обновляются быстро. Поэтому числа из CoAT полезны как проверка принципа переносимости, а не как рейтинг современных моделей.

Есть и более свежие открытые русскоязычные наборы, где вместе представлены человеческие тексты, генерации и перефразированные версии современных моделей в новостях, эссе и научных текстах. Например, проект Ru-hard-detection-dataset включает варианты от Gemini 2.0 Flash, ChatGPT 4o-mini и o1-mini, DeepSeek Chat и DeepSeek Reasoner. Репозиторий полезен как свежий набор для будущих воспроизводимых тестов, но сам по себе не подтверждает конкретную статистику языковых признаков, поэтому мы не добавляем ему результаты, которых авторы не публиковали.

Из двух рассмотренных исследований следует более устойчивое правило: отдельные свойства русского ИИ-текста измеримы на конкретной выборке, но их направление и диагностическая сила меняются вместе с моделью, жанром, задачей и длиной. Редактору они помогают находить шаблонность и потерю конкретики. Для вывода об авторстве нужен отдельный валидированный метод и подходящая выборка.

Источники

• НИУ ВШЭ: Development of a System for Detecting ИИ-Generated Text, Hanna Shcharbakova, 2025.
• Полный текст магистерской работы и описание MAHD.
• CoAT: Corpus of artificial texts, Natural Language Processing, Cambridge University Press.
• Ru-hard-detection-dataset: открытый русскоязычный набор для детекции современных генеративных моделей.