100 000 русских ИИ-текстов: как искать конструкции, которые ChatGPT использует чаще человека

У нейросетевого текста есть странная репутация: стоит встретить «важно отметить», аккуратный список или слишком ровное заключение, и кто-нибудь обязательно скажет, что «так пишет ChatGPT».

Для редактора это удобная эвристика. Для исследования - слабое доказательство.

Чтобы утверждать, что конкретная конструкция встречается у ChatGPT чаще, чем у человека, мало собрать большой мешок ИИ-текстов. Нужна человеческая контрольная группа, одинаковые жанры, сопоставимая длина, учёт модели и промпта, а затем статистика по самим конструкциям. Иначе мы легко измерим свойства новостей против отзывов, длинных ответов против коротких или одного промпта против другого.

Масштаб для такого исследования уже существует. В корпусе LLMTrace опубликовано 340 197 русских текстов для задачи классификации: 201 680 ИИ-текстов и 138 517 человеческих. Русская часть охватывает восемь типов данных и разные длины текста. Это значит, что выборка в 100 000 русских ИИ-текстов технически реалистична. Но сама цифра ещё не отвечает на вопрос о «почерке ChatGPT». Описание LLMTrace и открытый набор данных.

Мы используем опубликованные корпуса и русскоязычный анализ LLMTrace, чтобы отделить подтверждённые наблюдения от гипотез и зафиксировать методику будущего модельного сравнения. Точная таблица «ChatGPT против человека» появится только после отдельного прогона по зафиксированной выборке.

Большой корпус решает только половину задачи

Фраза «мы изучили 100 000 текстов» звучит убедительно, но размер выборки не исправляет плохой дизайн. Можно обработать миллион документов и получить красивый ответ на неправильный вопрос.

Главная проблема спрятана в словах «чаще человека». Человеческий русский не является одной манерой письма. Новость, отзыв на чайник, личный пост, научная аннотация и ответ на форуме отличаются друг от друга сильнее, чем два текста одного жанра от разных авторов. То же относится к генерации: модель, способ постановки задачи, целевая длина и режим переписывания меняют результат.

Поэтому корректное сравнение выглядит не как две папки «AI» и «люди», а как набор сопоставимых пар. Если ИИ-текст является новостью длиной 150 слов, контрольный человеческий текст тоже должен быть новостью примерно той же длины. Если модель продолжала исходный фрагмент, сравнивать её стоит с человеческими продолжениями, а не с готовыми статьями.

LLMTrace полезен именно этим: в наборе хранятся язык, происхождение текста, модель, тип данных, тип промпта, идентификатор темы, сам текст и промпт. Такая структура позволяет сравнивать тексты внутри одной задачи, а не смешивать всё подряд.

Что уже нашли в русском ИИ-тексте

Самый интересный для нашей темы свежий материал - работа НИУ ВШЭ 2026 года «Лексические и синтаксические характеристики текстов, сгенерированных на русском языке». Автор анализировал LLMTrace: восемь жанров, более двадцати моделей и четыре типа промптов. Для текстов считались части речи, длина слов и предложений, число слогов, связность и другие показатели. Описание работы НИУ ВШЭ.

В усреднённом сравнении с человеческими текстами у сгенерированных материалов обнаружились:

• более высокая доля существительных;
• большее количество слогов;
• большая средняя длина слова;
• более низкая доля внесловарной лексики у большинства текстов для ряда сочетаний моделей и жанров.

Работа также отмечает многократные повторы и переключение на иностранные языки в отдельных моделях, особенно у DeepSeek. Этот пункт полезен как предостережение: заметный признак одной модели легко ошибочно объявить свойством всех LLM.

Здесь есть важное ограничение. Перечисленные результаты относятся к сгенерированным текстам в целом, а не к одному ChatGPT. Они дают нам направление поиска, но не позволяют честно написать: «ChatGPT употребляет конструкцию X на 42% чаще человека». Для такой фразы нужна отдельная модельная разбивка.

Старый русский корпус показывает, почему нельзя охотиться за одной фразой

CoAT - другой крупный русскоязычный корпус человеческих и машинных текстов. В нём более 246 000 текстов, шесть доменов и результаты 13 генеративных моделей. Исследователи анализировали лексическое разнообразие, частотность, пунктуацию, доли предлогов и союзов, показатели читаемости и другие стилометрические свойства. CoAT: Corpus of artificial texts.

Один из показательных результатов: доля высокочастотных слов в человеческих и машинных текстах в среднем была похожей - около 88% внутри задач генерации. Лексическое разнообразие при этом зависело от самой задачи. В открытой генерации машинные тексты могли быть длиннее и показывать более высокие показатели разнообразия, в том числе из-за редких или несуществующих слов и деградировавших фрагментов.

То есть простая логика «нейросеть использует более обычные слова, человек более редкие» уже ломается при смене режима генерации. Признак работает только в конкретном контексте.

В том же CoAT показана ещё одна проблема: детекторы, обученные на знакомых моделях и доменах, заметно хуже переносятся на новые модели и новые типы текста. Это хороший аналог для ручных правил. Если фраза часто встречалась у одной версии модели в SEO-статьях, она не обязана оставаться сильным сигналом в отзывах или у другой модели.

Что вообще считать «конструкцией»

Слово «конструкция» часто превращают в список подозрительных выражений. Для нормального корпусного анализа этого мало. Конструкция может быть лексической, морфологической, синтаксической, пунктуационной или композиционной. У каждого уровня своя единица измерения.

Уровень	Что считать	Пример измерения	Статус сейчас
Слова и устойчивые фразы	униграммы, биграммы, триграммы, повторяющиеся связки	частота фразы на миллион слов	нужен отдельный подсчёт
Части речи	последовательности существительных, глаголов, прилагательных, союзов	доля существительных и частеречные n-граммы	повышенная доля существительных уже отмечена в русском исследовании
Синтаксис	типовые схемы зависимостей, длина ветвей, однородные конструкции	частота одинаковых синтаксических шаблонов	требует модельного сравнения
Ритм	длина предложений, разброс длины, чередование коротких и длинных фраз	среднее, медиана, дисперсия, последовательности длин	измеряется в существующих работах, но зависит от жанра
Пунктуация	тире, двоеточия, скобки, многоточия, комбинации знаков	знаки на 1000 символов и их контекст	кандидат, а не самостоятельный доказательный признак
Композиция	вступление, перечисление, промежуточный вывод, финал, симметрия блоков	последовательности функциональных блоков	самый трудный слой для автоматического измерения

Такой разбор сразу меняет вопрос. Вместо «какие слова выдаёт ChatGPT?» появляется более полезная задача: какие языковые и структурные шаблоны статистически переиспользуются моделью чаще, чем сопоставимыми человеческими авторами?

Четыре группы признаков, которые уже стоит проверять

Опубликованные данные позволяют выбрать направления для большого теста. Они ещё не дают права назвать каждый пункт фирменным почерком ChatGPT.

1. Номинативная плотность

Русскоязычный анализ LLMTrace показывает повышенную долю существительных в сгенерированных текстах. Для редактора это интереснее, чем blacklist отдельных слов. Существительные могут образовывать плотные цепочки абстрактных понятий: «повышение эффективности взаимодействия», «обеспечение качества коммуникации», «формирование стратегии развития».

Но сам по себе такой фрагмент ничего не доказывает. Канцелярский, юридический и управленческий русский тоже богат существительными. Поэтому в эксперименте нужно считать долю частей речи внутри одного жанра, а затем проверять типовые последовательности: например, существительное + родительный падеж + существительное, прилагательное + абстрактное существительное и более длинные схемы.

Если именно такие схемы окажутся устойчиво чаще у GPT-моделей в разных жанрах, это будет сильнее любого списка слов.

2. Средняя «тяжесть» слова

В работе НИУ ВШЭ сгенерированные русские тексты в среднем показывали больше слогов и большую длину слова. Это не означает, что нейросеть всегда пишет сложнее. Показатель усредняет разные модели и жанры.

Для практического анализа здесь стоит разделить три вещи:

• среднюю длину слова;
• долю длинных слов выше выбранного порога;
• частоту длинных абстрактных существительных по отношению к обычным глагольным формулировкам.

Третий показатель особенно интересен редактору. Если машинная версия систематически выбирает «осуществление проверки» там, где человеческий корпус чаще использует «проверить», это уже наблюдаемая конструктивная разница, а не субъективное ощущение сухости.

3. Повторяемость шаблонов

Стилометрия давно работает не только со словами, но и с частотами n-грамм, знаков препинания и грамматических схем. В исследованиях машинного текста повторяемость устойчивых фраз используется как один из сигналов. CoAT отдельно описывает стилометрические признаки, связанные с недостатком лексического и синтаксического разнообразия и повторяемостью.

Для 100 000 текстов важнее считать не «запрещённые фразы», а концентрацию повторов. Например:

• сколько разных текстов начинают раздел одинаковой двух- или трёхсловной связкой;
• как часто повторяются одинаковые частеречные последовательности;
• насколько много формулировок приходится на верхние 1%, 5% и 10% самых частых шаблонов;
• как меняется эта концентрация между моделью, жанром и типом промпта.

Человек тоже повторяется. Сильный результат появится только тогда, когда одна и та же схема устойчиво переиспользуется моделью чаще при сопоставимых условиях.

4. Ровность вместо отдельной ошибки

Человеческий текст часто неровен: предложения разной длины, неожиданные повторы, обрывки, локальные отклонения от «идеальной» структуры. Но превращать неровность в универсальный тест тоже опасно. Профессиональный редактор может писать очень ровно, а LLM можно попросить намеренно ломать ритм.

Поэтому интересен не факт наличия длинного тире, списка или короткой фразы, а распределение. Сколько предложений похожи по длине? Насколько регулярно абзацы заканчиваются выводом? Как часто соседние блоки имеют одинаковую структуру? Насколько предсказуемы первые слова нового абзаца?

Именно на этом уровне можно проверить популярное ощущение «слишком аккуратно». Пока это ощущение. После подсчёта оно либо станет метрикой, либо исчезнет.

«Важно отметить» пока остаётся подозреваемым, а не уликой

В интернете легко найти списки фраз, якобы характерных для ChatGPT: «важно отметить», «следует учитывать», «таким образом», «в современном мире», «играет ключевую роль». Они действительно могут раздражать редактора и делать текст шаблонным.

Но для утверждения «ChatGPT использует эту фразу чаще человека» нужны как минимум четыре числа:

1. частота фразы в текстах выбранной GPT-модели;
2. частота в человеческом контроле того же жанра;
3. размер разницы и доверительный интервал;
4. повторяемость результата на другой теме, длине и режиме генерации.

Без этого blacklist остаётся редакторской эвристикой. Она может быть полезной для поиска скучных мест, но не является исследованием происхождения текста.

Это различие принципиально для Nesuho. Мы можем убрать «важно отметить», если фраза ничего не делает в конкретном абзаце. Мы не должны удалять её только потому, что кто-то однажды назвал её «словом ChatGPT».

ChatGPT - тоже не один автор

В бытовом разговоре «ChatGPT» часто означает любой текст от OpenAI. Для исследования этого недостаточно. Продукт меняется, внутри него могут использоваться разные модели и режимы, а стиль зависит ещё и от системных инструкций и пользовательского промпта.

LLMTrace хранит название модели для ИИ-текстов. В открытом наборе, например, присутствуют тексты GPT-4o. Но результат по GPT-4o нельзя без проверки переносить на любую будущую модель в ChatGPT.

Поэтому в публикации нужна точная формулировка:

• если анализируем GPT-4o, пишем GPT-4o;
• если объединяем несколько моделей OpenAI, показываем их состав и доли;
• если говорим о ChatGPT как продукте, фиксируем дату, режим и модель, если она известна;
• если модель неизвестна, не превращаем название интерфейса в точную метку происхождения.

Так статья переживёт обновление моделей лучше, чем список «25 слов ChatGPT».

Как строить исследование на 100 000 ИИ-текстов

Самая простая рабочая схема - взять 100 000 русских ИИ-текстов и сопоставимую человеческую контрольную выборку. LLMTrace по объёму это позволяет: в русской классификационной части 201 680 ИИ-текстов и 138 517 человеческих.

Но случайно выбрать 100 000 строк недостаточно. До анализа нужно заморозить методику.

1. Фиксируем главный вопрос. Нас интересуют конструкции конкретной GPT-модели, всей группы OpenAI или сгенерированных текстов вообще. Эти три задачи нельзя смешивать.
2. Выравниваем домены. Доля новостей, отзывов, историй, вопросов и других типов должна совпадать у ИИ и человека.
3. Выравниваем длину. Для каждого диапазона слов сохраняем одинаковые доли. Иначе длинный ответ может выглядеть «более AI» просто из-за размера.
4. Разделяем типы промпта. Создание с нуля, расширение, сокращение и обновление текста анализируются отдельно.
5. Связываем по теме. Если корпус позволяет, человеческий и машинный тексты сравниваются внутри одного topic_id или максимально близкой темы.
6. Отделяем поиск признаков от проверки. На одной части корпуса находим кандидатов, на другой проверяем, повторяются ли различия.
7. Публикуем отрицательные результаты. Если длинное тире, «таким образом» или список из трёх пунктов не отличаются после выравнивания, это тоже результат.

Последний пункт особенно важен. Исследование, которое публикует только сработавшие маркеры, почти неизбежно создаёт новый мифологический blacklist.

Какие метрики нужны для конструкций

Частоту слов посчитать проще всего. Для сильного исследования этого мало. Нужны несколько уровней, потому что одна и та же манера может выражаться разными словами.

Метрика	Что отвечает	Главный риск
Лексические n-граммы	какие последовательности слов переиспользуются	сильно зависят от темы
Лемматизированные n-граммы	те же фразы без шума словоформ	могут склеить разные смыслы
Частеречные n-граммы	какие грамматические схемы повторяются	теряют конкретную лексику
Синтаксические шаблоны	какие структуры предложений предпочитаются	зависят от качества русского парсера
Позиционные частоты	что модель ставит в начало абзаца, раздела и финал	нужно корректно выделять структуру
Концентрация шаблонов	насколько узок набор часто повторяемых решений	нужно контролировать жанр и промпт
Разброс длины	насколько ритм ровный или вариативный	редакторская правка может полностью изменить сигнал

Для каждой метрики важна не только статистическая значимость. На большой выборке значимым станет даже крошечное различие. Поэтому вместе с p-value нужен размер эффекта: насколько разница велика в практическом смысле.

Что будет сильным результатом, а что красивой таблицей

Предположим, в 100 000 ИИ-текстов фраза «важно отметить» встретилась чаще, чем в человеческом корпусе. Этого всё ещё мало.

Сильный результат должен выдержать несколько проверок:

• различие остаётся после выравнивания длины;
• оно повторяется хотя бы в нескольких жанрах;
• эффект не создаётся одним типом промпта;
• он сохраняется на отложенной части корпуса;
• у результата есть практическая величина, а не только статистическая значимость;
• он относится к конкретной модели или честно описан как общий для группы моделей.

Если маркер работает только в длинных статьях, это тоже полезно. Просто вывод должен звучать уже: «в длинных русскоязычных статьях GPT-4o при таком типе промпта чаще использует конструкцию X». Узкий проверяемый вывод полезнее универсального мифа.

Что уже можно сказать из прогона 100 000 текстов

Сейчас есть четыре достаточно твёрдых вывода.

Первый. Русскоязычных данных уже достаточно для серьёзного корпусного анализа. LLMTrace содержит 201 680 русских ИИ-текстов и 138 517 человеческих только в классификационной части.

Второй. В опубликованном русскоязычном анализе машинные тексты в среднем отличаются по доле существительных, длине слов и количеству слогов. Это измеряемые признаки, а не впечатление редактора.

Третий. Характеристики зависят от модели, жанра и способа генерации. CoAT показывает, что даже лексическое разнообразие меняет направление в зависимости от задачи, а перенос детекторов между доменами и моделями остаётся проблемой.

Четвёртый. Списка универсальных «фраз ChatGPT» из этих данных пока не следует. Чтобы назвать конкретную конструкцию более частой именно у ChatGPT, её надо посчитать против сопоставимого человеческого контроля и повторить проверку на разных срезах.

Почему для очеловечивания это важно

Редактору соблазнительно получить таблицу из 500 фраз и автоматически вычищать их. Такой подход быстро начинает портить нормальный русский язык. Человек тоже пишет «таким образом», использует двоеточие, делает списки и иногда строит очень ровные абзацы.

У Nesuho другой рабочий принцип: мы ищем не запрещённые слова, а избыточную концентрацию шаблонных решений в конкретном тексте. Если фраза естественна и выполняет функцию, её не нужно менять. Если весь материал собирается из одинаковых вводных, симметричных списков, повторных выводов и абстрактных существительных, проблема видна на уровне системы.

Большое корпусное исследование нужно именно для калибровки этой диагностики. Оно должно отвечать не «какие слова запретить», а «какие сочетания признаков становятся необычно частыми для конкретной модели, жанра и режима генерации».

На nesuho.ru такой результат полезен в двух местах. Сначала - при диагностике: система понимает, какой слой текста действительно шаблонен. Затем - при редактуре: меняются только проблемные места, а факты, модальность, терминология и нормальные авторские формулировки остаются на месте.

Источники и данные

• LLMTrace: A Corpus for Classification and Fine-Grained Localization of ИИ-Written Text - описание корпуса и методики.
• LLMTrace Classification Dataset - открытый набор данных с русской и английской частями.
• Лексические и синтаксические характеристики текстов, сгенерированных на русском языке - НИУ ВШЭ, 2026.
• CoAT: Corpus of artificial texts - крупный русскоязычный корпус человеческих и машинных текстов.