Семь языковых моделей на русском: чем отличаются их ответы в одном корпусе

У семи языковых моделей, взятых из одного русскоязычного корпуса, средние ответы расходятся по нескольким измеримым признакам. GPT-4o в опубликованной таблице дает самые короткие предложения среди выбранной семерки - 13,16 токена в среднем на предложение. У DeepSeek-R1-Distill показатель достигает 19,59. Разброс длины предложений отличается еще заметнее: 2,33 у GPT-4o, 7,70 у QwQ и 20,99 у DeepSeek-R1-Distill.

Эти числа нельзя читать как вечный почерк бренда. Корпус LLMTrace включает восемь русских жанров и четыре типа заданий, а исследование НИУ ВШЭ рассматривает более двадцати моделей. Опубликованные средние объединяют разные тексты внутри каждого модельного столбца. Зато они позволяют увидеть другую вещь: русские ответы разных моделей действительно дают разные статистические профили, и один универсальный образ «текста нейросети» описывает их плохо.

Мы сопоставили семь моделей из открытого приложения к работе 2026 года: GigaChat-Max, YandexGPT-5-Lite-8B-instruct, GPT-4o, Gemma 2 27B, QwQ-32B, DeepSeek-R1-Distill-Qwen-32B и Llama 3.3 70B Instruct. В центре разбора - показатели, которые можно объяснить обычному читателю без превращения статьи в каталог из десятков коэффициентов.

Семь моделей в одной таблице

Исходные расчеты выполнены автором исследования на LLMTrace с помощью TextDescriptives и spaCy. В открытой таблице опубликованы средние значения по человеческим текстам, всему AI-корпусу, отдельным моделям, жанрам и типам заданий. Ниже собраны шесть показателей для выбранной семерки.

Модель	Средняя длина ответа, токены	Средняя длина предложения	Разброс длины предложений	Доля существительных	Связность первого порядка	Легкость чтения по русской формуле Флеша
GigaChat-Max	180,29	15,46	5,33	0,28	0,49	40,45
YandexGPT-5-Lite-8B-instruct	174,64	13,27	5,03	0,26	0,49	52,65
GPT-4o	30,23	13,16	2,33	0,30	0,47	44,31
Gemma 2 27B	161,29	14,47	5,20	0,25	0,49	52,76
QwQ-32B	212,24	15,03	7,70	0,28	0,45	47,73
DeepSeek-R1-Distill-Qwen-32B	282,20	19,59	20,99	0,26	0,50	44,29
Llama 3.3 70B Instruct	228,04	15,63	4,64	0,27	0,57	45,59

Среднее число токенов сильнее других показателей зависит от состава заданий и длины исходного материала. По этой причине 30,23 у GPT-4o и 282,20 у DeepSeek-R1-Distill не означают, что одна модель «по природе» отвечает почти в девять раз короче другой. Для сравнения стиля полезнее смотреть на нормированные признаки, которые описывают предложение, доли частей речи или связность.

Ритм предложений расходится даже без словаря «AI-фраз»

Средняя длина предложения у шести моделей, если временно вынести DeepSeek-R1-Distill за скобки, лежит в довольно узком диапазоне от 13,16 до 15,63 токена. Среднее само по себе почти скрывает различия. Разброс длины предложений показывает их лучше.

У GPT-4o стандартное отклонение длины предложения равно 2,33. Это самый ровный ритм среди выбранных моделей в опубликованном столбце. У Llama 3.3 значение равно 4,64, у YandexGPT-5-Lite - 5,03, у Gemma 2 - 5,20, у GigaChat-Max - 5,33. QwQ поднимается до 7,70.

Такое различие полезно для редактора. Два текста могут иметь одинаковое среднее предложение в 15 токенов и при этом звучать по-разному. В одном почти каждая фраза будет держаться около среднего размера. В другом короткие и длинные предложения будут чередоваться заметнее.

Этот показатель не устанавливает авторство. На него влияют жанр, задача и длина ответа. Он показывает, почему механическое правило «добавь больше коротких предложений, чтобы текст стал человеческим» не подходит ко всем моделям одинаково.

Существительные различают модели слабее, чем кажется по общему AI-профилю

В сводном столбце исследования доля существительных у AI-текстов выше, чем у человеческих: 0,27 против 0,24. На уровне отдельных моделей разброс уже выглядит менее драматично.

Среди выбранной семерки доля существительных идет от 0,25 у Gemma 2 до 0,30 у GPT-4o. GigaChat-Max и QwQ находятся на уровне 0,28, Llama 3.3 - 0,27, YandexGPT-5-Lite и DeepSeek-R1-Distill - 0,26.

Местоимения ведут себя иначе. У GPT-4o их доля равна 0,02, у GigaChat-Max и QwQ - 0,03, у YandexGPT-5-Lite, Gemma 2 и DeepSeek-R1-Distill - 0,04, у Llama 3.3 - 0,05. Человеческий столбец в той же таблице тоже имеет 0,05.

Отсюда видно ограничение простых признаков. Высокая доля существительных может встречаться у одной модели заметнее, чем у другой. Доля местоимений у Llama 3.3 в этом агрегате совпадает с человеческим уровнем. Отдельная часть речи дает характеристику текста, но не универсальную границу между человеком и конкретной моделью.

Связность не движется в одном направлении

Показатель связности первого порядка оценивает близость соседних предложений. В человеческом столбце открытой таблицы он равен 0,47. Среди семи моделей значения распределились от 0,45 до 0,57.

GPT-4o получил те же 0,47, что и человеческий корпус. QwQ оказался ниже с 0,45. GigaChat-Max, YandexGPT-5-Lite и Gemma 2 дали 0,49, DeepSeek-R1-Distill - 0,50. Самое высокое значение у Llama 3.3 - 0,57. Для связности второго порядка картина похожа: у Llama 3.3 0,56, у GPT-4o и QwQ по 0,45.

Это хороший пример метрики, где фраза «нейросети пишут более связно» теряет точность. В выбранных данных есть модели выше человеческого среднего, одна совпадает с ним, одна оказывается ниже. Жанр и тип задания также остаются частью результата.

Для очеловечивания отсюда следует практическое правило. Лишний переход между абзацами стоит убирать по функции, которую он выполняет в конкретном тексте. Само наличие гладкой связки еще не показывает, что перед нами машинная фраза.

Формулы читаемости видят разницу, но не оценивают качество

Русская адаптация индекса Флеша в человеческом столбце имеет значение 56,68. У выбранных моделей показатели ниже: от 40,45 у GigaChat-Max до 52,76 у Gemma 2. YandexGPT-5-Lite находится рядом с Gemma на 52,65, QwQ - 47,73, Llama 3.3 - 45,59, GPT-4o - 44,31, DeepSeek-R1-Distill - 44,29.

Более низкое значение формулы указывает на более сложную для чтения структуру по заложенным в нее параметрам. Показатель не оценивает полезность или грамотность текста. Формула чувствительна к длине предложений и слов, поэтому текст с точной терминологией может получить более тяжелый профиль даже при хорошей редактуре.

Разница по слогам на слово у шести обычных строк невелика. Gemma 2 имеет 2,25 слога на токен, YandexGPT-5-Lite - 2,28, QwQ - 2,32, Llama 3.3 - 2,34, GPT-4o - 2,42, GigaChat-Max - 2,43. Здесь модели расходятся меньше, чем по ритму предложений.

Строка DeepSeek показывает, почему среднее нужно читать вместе с примерами

DeepSeek-R1-Distill выделяется сразу по нескольким показателям. Средняя длина токена в таблице достигает 27,13 при значениях около 5,7-6,3 у остальных выбранных моделей. Средняя длина слова равна 22,37, а средняя синтаксическая дистанция - 4,24 против примерно 2,5-3,0 у других строк. Разброс длины предложения равен 20,99.

Автор исследования отдельно описывает у DeepSeek случаи множественных повторов и переключения на иностранные языки. Именно у этой группы моделей такие сбои встречались чаще всего в разобранных примерах. Экстремальные средние поэтому нельзя интерпретировать как нормальную длину русского слова в обычном ответе DeepSeek. Они показывают, что в модельном столбце есть нетипичные генерации, способные сильно сдвигать агрегаты.

Такой выброс полезен сам по себе. Он напоминает, что усредненная стилометрия чувствительна к редким патологическим ответам. Перед выводом о «почерке» модели нужно смотреть распределение и исходные тексты, особенно если один показатель внезапно выходит далеко за диапазон остальных систем.

У моделей есть профиль, но промпт и жанр остаются частью этого профиля

Работа НИУ ВШЭ основана на LLMTrace, где русские данные охватывают восемь жанров и четыре типа заданий: создание, расширение, сокращение и изменение текста. В корпусе представлены более двадцати моделей. Такая ширина полезна для поиска общих закономерностей, но среднее по модели неизбежно смешивает несколько ситуаций письма.

Поэтому опубликованные показатели отвечают на вопрос о том, как конкретная модель выглядит в составе данного корпуса. Они не заменяют эксперимент, где семь систем получают один и тот же точный запрос много раз при одинаковых настройках.

Это различие особенно заметно по длине ответа. GPT-4o имеет в таблице в среднем 30,23 токена, Llama 3.3 - 228,04, DeepSeek-R1-Distill - 282,20. Без одинакового набора запросов эти значения нельзя превращать в рейтинг многословности. Зато нормированные признаки дают материал для более осторожного сравнения: доли частей речи, ритм, синтаксическая дистанция и связность действительно различаются между модельными столбцами.

Что эти различия меняют в работе с AI-текстом

Один универсальный набор правок легко переобучить под одну модель. Если считать типичным AI-признаком ровную длину предложений, такой фильтр сильнее заденет профиль GPT-4o в этих данных и заметно слабее опишет QwQ. Если считать главным признаком повышенную связность, Llama 3.3 будет выделяться сильнее, а QwQ окажется ниже человеческого среднего.

В Nesuho мы используем модельные различия как контекст для диагностики. Правка начинается с фактического текста: где повторяется синтаксическая схема, где ритм стал монотонным, где исчезла конкретика, где связки занимают место мысли. Название модели само по себе не задает рецепт.

Это особенно важно для текста после нескольких стадий обработки. Черновик мог быть создан одной системой, сокращен другой, затем отредактирован человеком. Статистический профиль в таком случае смешивается. Редактору все равно остаются наблюдаемые свойства текста, которые можно исправить без попытки угадать его происхождение.

Связанный материал о более широких русских признаках есть в статье «Русский AI-текст в 2026 году: 50 признаков и что подтверждают реальные корпуса».

Источники

• НИУ ВШЭ: работа о лексических и синтаксических особенностях русских AI-текстов, 2026
• Открытый репозиторий исследования с таблицами показателей
• Опубликованные средние показатели по моделям, жанрам и типам заданий
• LLMTrace Classification: открытый корпус русских и английских текстов
• LLMTrace: статья с описанием корпуса и методики сбора