Блог

5000 реальных отзывов против 5000 отзывов LLM: как честно сравнить русский язык

Сравнение 5000 реальных отзывов и 5000 генераций LLM кажется простым, пока не начинаешь выравнивать жанр, длину, рейтинг, тематику и условия генерации. Фиксируем методику исследования и показываем, какие различия уже находили в крупных русскоязычных корпусах.

Содержание
  1. Что уже известно по русскоязычным корпусам
  2. Первая ловушка: «реальный отзыв» ещё не означает доказанное человеческое авторство
  3. Как собрать 5000 реальных отзывов
  4. Как получить 5000 LLM-отзывов и не подыграть своей гипотезе
  5. Что именно измерять в русском тексте
  6. Какие гипотезы стоит зафиксировать до запуска
  7. Почему средних значений будет мало
  8. Пять признаков, которым особенно легко поверить слишком рано
  9. Что будем считать сильным результатом
  10. Что это меняет в очеловечивании текста
  11. Источники

В заголовке есть красивое круглое число: 5000 реальных отзывов и 5000 отзывов, созданных большими языковыми моделями. Соблазн понятен: собрать две папки с текстами, посчитать слова, длину предложений, знаки препинания и объявить найденные различия «почерком нейросети».

Такой эксперимент легко сделать убедительным на вид и слабым по сути.

Эта статья фиксирует протокол будущего исследования, проверяет его на фоне доступных русскоязычных работ и заранее отмечает места, где особенно легко получить ложный вывод.

Это принципиально для темы. Если реальные отзывы взяты из одного жанра и с одной площадки, а LLM просят писать «подробно, грамотно и полезно», эксперимент сравнит сразу несколько вещей: автора, площадку, промпт, длину, рейтинг, жанр и редакционную аккуратность. Затем любой из этих эффектов можно ошибочно назвать особенностью ИИ-текста.

Что уже известно по русскоязычным корпусам

Для русского языка уже есть исследования, которые помогают не начинать с нуля. Они не дают готового ответа именно для нашей будущей выборки 5000 + 5000, зато хорошо показывают, какие переменные нельзя игнорировать.

В работе НИУ ВШЭ 2026 года по распознаванию синтетических отзывов использован корпус из 60 579 отзывов: 41 685 реальных отзывов с 2ГИС и 18 894 синтетических текста, созданных GigaChat, YandexGPT и DeepSeek V3. Авторы разделяли три стратегии промпта и три сферы услуг, а затем отдельно проверяли переносимость на 10 000 отзывов из набора Яндекс Гео. Такой дизайн важен сам по себе: платформа, модель и способ постановки задачи контролируются отдельно. Описание работы на сайте НИУ ВШЭ.

Ещё одна работа НИУ ВШЭ 2026 года анализирует корпус LLMTRACE: 8 жанров, более 20 моделей и 4 типа промптов. Среди усреднённых различий автор отмечает у сгенерированных текстов более высокую долю существительных, большее число слогов и большую среднюю длину слова. Но сама постановка исследования подчёркивает зависимость признаков от модели, жанра и промпта. Русскоязычное описание исследования.

Корпус CoAT охватывает шесть доменов и тексты 13 генеративных моделей. В опубликованном исследовании детекторы хорошо работали на знакомых моделях и доменах, но хуже переносились на невиданные ранее модели и тематики. Для нашего вопроса это серьёзное предупреждение: признак, найденный на одном наборе LLM, нельзя автоматически объявлять универсальным свойством машинного русского языка. CoAT: Corpus of artificial texts.

Российская статья А. М. Федотовой и А. С. Романова 2025 года использует признаки сразу нескольких уровней: структуру и пунктуацию, морфологию и лексическое разнообразие, статистические характеристики и семантические представления текста. Авторы работали прежде всего с короткими сообщениями длиной 100-200 символов, поэтому их конкретные результаты нельзя переносить на длинные отзывы без проверки. Зато сама многоуровневая схема полезна для проектирования нашего анализа. Публикация в журнале «Информатика и автоматизация».

Наконец, для контрольной человеческой части существует открытый Geo Reviews Dataset 2023 от Яндекса: 500 000 уникальных русскоязычных отзывов об организациях в России, опубликованных с января по июль 2023 года. В наборе есть рубрика, рейтинг и текст, удалены телефонные номера и адреса электронной почты. Это удобный источник для воспроизводимого эксперимента, если его тематика подходит задаче.

Первая ловушка: «реальный отзыв» ещё не означает доказанное человеческое авторство

В 2026 году публичный отзыв из интернета нельзя автоматически считать текстом, который человек написал без помощи нейросети. Площадка подтверждает факт публикации, но обычно не даёт исследователю доказательство происхождения каждой фразы.

Поэтому в методике лучше использовать аккуратные названия групп:

  • реальные опубликованные отзывы - тексты из выбранной площадки или открытого набора данных;
  • контролируемые LLM-отзывы - тексты, которые мы сами генерируем с известной моделью, промптом, датой и настройками.

Если источник отдельно подтверждает «authentic reviews», это можно указать со ссылкой на его методику. Для собственного интернет-сбора без такой проверки корректнее говорить о реальных опубликованных текстах. Эта оговорка кажется мелкой, но она защищает главный вывод статьи от слишком сильной формулировки.

Как собрать 5000 реальных отзывов

Размер выборки сам по себе почти ничего не гарантирует. Пять тысяч однотипных положительных отзывов о кафе могут дать менее надёжную картину русского языка, чем меньшая, но хорошо сбалансированная выборка.

До выгрузки нужно зафиксировать правила включения. Рабочий протокол Nesuho для такого исследования выглядит так:

  1. Один источник или заранее заданный набор источников. Если площадок несколько, их нельзя незаметно смешивать. Площадка становится отдельной переменной.
  2. Период публикации. Язык и правила площадки меняются. Дата нужна для воспроизводимости и для контроля возможного роста ИИ-контента со временем.
  3. Тематики. Сферы услуг, товары, техника, медицина, общепит и путешествия дают разную лексику и разную длину рассказа. Категории нужно либо выровнять, либо анализировать раздельно.
  4. Рейтинг. Однозвёздочный эмоциональный отзыв и пятизвёздочная рекомендация устроены по-разному. Распределение оценок в двух группах должно быть сопоставимым.
  5. Длина. Сравнивать человеческие тексты по 80 знаков с LLM-текстами по 800 знаков бессмысленно. Нужны интервалы длины и одинаковые доли текстов в них.
  6. Дубликаты и шаблонный спам. Полные и почти полные копии удаляются до анализа.
  7. Персональные данные. Телефоны, электронная почта, адреса и другие чувствительные данные не нужны для лингвистического сравнения и должны быть удалены или обезличены.

После фильтрации полезно сохранить не только финальные 5000 записей, но и журнал исключений: сколько дублей найдено, какие тексты оказались слишком короткими, какие категории пришлось убрать. Иначе воспроизвести выборку через полгода будет почти невозможно.

Как получить 5000 LLM-отзывов и не подыграть своей гипотезе

Самая опасная часть эксперимента находится в промпте. Команда вроде «напиши естественный подробный отзыв, как обычный человек» уже задаёт модели особую манеру. Другая команда, например «кратко оцени услугу», даст иной ритм и структуру. В итоге исследователь легко обнаружит последствия собственного запроса.

Для будущего теста разумно заранее разделить генерации по моделям и режимам. Один из возможных дизайнов для 5000 текстов:

  • несколько разных семейств LLM, чтобы результат не сводился к почерку одной модели;
  • одинаковое число генераций на модель;
  • несколько заранее зафиксированных типов промпта;
  • одинаковое распределение тем, рейтингов и целевой длины с реальной выборкой;
  • сохранение точного текста промпта, названия модели, версии или даты доступа и параметров генерации.

Конкретное распределение 5000 генераций следует утвердить до запуска. Если после первых результатов начать менять промпты или доли моделей, появится риск подгонки исследования под желаемый вывод.

Есть ещё одна проблема. Если дать LLM полный человеческий отзыв и попросить переписать его, мы начнём измерять перефразирование. Если дать только категорию, оценку и несколько фактов, модель получит свободу придумывать детали. Для основного корпуса лучше использовать структурированную карточку фактов: тип объекта, рейтинг, 2-4 нейтральных обстоятельства и ограничение на выдумывание новых событий. Перефразирование реальных отзывов можно вынести в отдельный эксперимент.

Что именно измерять в русском тексте

Один маркер почти всегда слишком хрупок. Нам нужна карта признаков, где лексика, морфология, ритм и структура рассматриваются отдельно. Тогда можно увидеть, где различие устойчиво, а где его создаёт жанр или конкретная модель.

УровеньЧто измеряемЧто это может показать
Длина и ритмсимволы, слова, предложения, абзацы, средняя длина и разброс длины предложенийнасколько текст ровный или ритмически неровный
Лексикаразнообразие лемм, повторы, частотные слова, разговорные частицы, редкая и внесловарная лексиканасколько словарь разнообразен и как часто повторяются типовые формулы
Морфологиядоли существительных, глаголов, местоимений, частиц, союзов и предлоговразличия в способе описывать действия, объекты и личный опыт
Синтаксиссложность предложений, глубина зависимостей, типы связей, однородные конструкцииустойчивость синтаксических схем и степень вариативности
Пунктуациязапятые, тире, двоеточия, скобки, многоточия, восклицательные и вопросительные знакипунктуационный профиль без попытки превратить один знак в «детектор AI»
Структурапорядок тезисов, повторные выводы, симметрия плюсов и минусов, явные вступления и финалынасколько текст следует повторяемому композиционному сценарию
Конкретикачисла, время, места, названия, бытовые детали, ссылки на последовательность событийкак автор привязывает оценку к ситуации и опыту
Неровностиопечатки, пропуски, обрывы, самопоправки, повторы слов, нестандартная пунктуациячастоту естественных отклонений от редакторски ровного письма

Отдельным слоем можно считать оценку ИИ-детекторов, но для исследования языка это вторичная диагностика. Детектор выдаёт решение своей модели. Он не объясняет автоматически, какое конкретное языковое свойство отличает группы, и его результат зависит от обучающего корпуса.

Какие гипотезы стоит зафиксировать до запуска

Предварительная регистрация гипотез полезна даже для внутреннего исследования. Она не даёт незаметно объявить главным результатом тот показатель, который случайно оказался самым красивым.

Для корпуса отзывов мы бы начали со следующих проверяемых предположений:

  • Разброс важнее среднего. У контролируемых генераций может оказаться более узкое распределение длины предложений и композиционных схем внутри одной категории.
  • Конкретика устроена по-разному. В реальных опубликованных отзывах стоит отдельно измерить временные, пространственные и бытовые привязки. В синтетике нужно проверить, какие детали следуют из карточки фактов, а какие модель добавляет сама.
  • Рейтинг влияет на язык обеих групп. Сравнение надо проводить внутри одинаковых оценок, иначе эмоциональность легко спутать с происхождением текста.
  • Промпт способен заметно менять «почерк» LLM. Этот эффект уже виден в дизайне существующих работ, поэтому режим генерации нельзя прятать внутри общей группы.
  • Модели различаются между собой. Общий профиль LLM имеет смысл публиковать вместе с разбивкой по генераторам.
  • Часть популярных признаков окажется слабой. Пунктуация, отдельные слова и идеальная грамотность могут давать различия на одном срезе и исчезать после выравнивания жанра, длины и модели.

Почему средних значений будет мало

Допустим, средняя длина предложения в одной группе составила 14 слов, а в другой 16. Само число почти ничего не говорит. Распределения могут сильно перекрываться: у большинства текстов разницы нет, а среднее сдвигает небольшая группа очень длинных отзывов.

Поэтому в итоговой публикации нужны:

  • распределения и квантили, а не одна средняя величина;
  • размер эффекта, чтобы понимать практическую величину различия;
  • доверительные интервалы или повторная выборка методом бутстрэпа;
  • разбивка хотя бы по модели, категории, рейтингу и длине;
  • поправка на множественные проверки, если одновременно считаются десятки признаков;
  • отдельная проверочная часть корпуса, которую не используют при выборе «интересных» метрик.

При пяти тысячах текстов в группе статистически значимым может стать очень маленький эффект. Для редакционной практики важнее понять, насколько велико различие и повторяется ли оно на другой модели, площадке и теме.

Пять признаков, которым особенно легко поверить слишком рано

Длинное тире. Частота знака измеряется без труда, но один пунктуационный знак не устанавливает происхождение текста. Он зависит от редактора, клавиатуры, автозамены, жанра и привычек автора.

Слишком правильная орфография. Грамотный человеческий автор и текст после корректора могут выглядеть идеально. Ошибки тоже не гарантируют человеческое происхождение: модель можно специально попросить их добавить.

Списки из трёх пунктов. Композиционная симметрия интересна как часть структурного профиля. Самостоятельным доказательством она не становится.

Фразы вроде «важно отметить». Частотные клише можно считать, но словарь запрещённых выражений быстро устаревает и плохо переносится между жанрами.

Высокая оценка ИИ-детектора. Она показывает решение конкретного классификатора на конкретном тексте. Исследования CoAT отдельно демонстрируют проблему переноса между моделями и доменами, поэтому детектору нужен контрольный человеческий корпус и внешний тест.

Практический смысл исследования как раз в том, чтобы проверить такие уверенные бытовые правила на данных. Часть окажется полезной в комбинации с другими признаками. Часть, вероятно, исчезнет после нормального контроля выборки.

Что будем считать сильным результатом

Хорошая итоговая статья должна позволить другому исследователю понять, откуда взялась каждая цифра. Для этого вместе с выводами нужен технический паспорт эксперимента:

  1. источник и дата выгрузки реальных отзывов;
  2. точные критерии включения, исключения и удаления дублей;
  3. распределение по темам, рейтингам и длине;
  4. список моделей и дата генерации;
  5. полные промпты и параметры;
  6. код или точное описание расчёта метрик;
  7. агрегированные результаты и интервалы неопределённости;
  8. отрицательные результаты, где ожидаемый признак не подтвердился;
  9. ограничения: платформа, период, модели, жанр и возможное присутствие ИИ-помощи в реальных опубликованных отзывах.

Отдельно стоит провести перенос на второй источник отзывов. Если закономерность нашлась только на одной площадке, это может быть почерк площадки или аудитории. Работа НИУ ВШЭ с отдельной проверкой на Яндекс Гео показывает, почему такой контроль полезен.

Что это меняет в очеловечивании текста

Для Nesuho ценность такого корпуса находится дальше простого вопроса «AI или человек». Нам нужны измеримые закономерности, которые помогают редактору находить избыточную ровность, повторяемые конструкции, потерю конкретики и неуместную композиционную симметрию. Затем каждая правка должна сохранять исходные факты, оценку, модальность и задачу текста.

Из этого следует важное редакционное правило: человеческую неровность нельзя сводить к искусственным ошибкам. Если реальные отзывы чаще содержат обрывы, повторы или разговорные частицы, это ещё не повод механически добавлять их в каждый обработанный текст. Сначала нужно понять, какой признак связан с жанром и естественной речью, насколько велик эффект и не портит ли имитация качество.

В не сухо! мы используем ту же рамку на уровне конкретного текста: ищем группы проблем, меняем только то, что мешает естественности, и контролируем сохранение содержания. Оценка детектора может быть вспомогательным сигналом, но не доказательством авторства и не главной метрикой качества.

Источники

  • А. М. Федотова, А. С. Романов. «Методика идентификации текстов, сгенерированных большими языковыми моделями», 2025. Math-Net.Ru.
  • Оксана Цегоева. «Лексические и синтаксические характеристики текстов, сгенерированных на русском языке», НИУ ВШЭ, 2026. НИУ ВШЭ.
  • Anastasiia Minaeva. Synthetic Review Detection System Based on the Analysis of Linguistic Markers, HSE University, 2026. HSE University.
  • Tatiana Shamardina et al. CoAT: Corpus of artificial texts. Natural Language Processing, 2025. Cambridge Core.
  • Яндекс. Geo Reviews Dataset 2023. Открытый набор данных.

Проверьте свой текст после статьи.

Сделайте свой текст менее шаблонным.

Вставьте фрагмент в nesuho.ru. Сервис проверит штампы, повторы и структуру, а важные детали оставит под защитой. Начать можно без регистрации. Если правок нет, кредиты не списываются.

Очеловечить текст