Русский против английского: где AI-детекторы чаще ошибаются

Два автора отправили в один AI-детектор похожие по смыслу тексты. Один написан по-английски, другой по-русски. Сервис выдал разные оценки. Можно ли заключить, что русскому языку повезло меньше? Пока нет. Различие могло возникнуть из-за языка, жанра, длины, источника текстов или состава данных, на которых обучали детектор.

Исследования последних лет позволяют сформулировать более точный ответ. Русский текст представляет отдельную задачу для AI-детекции, но единого доказанного коэффициента, показывающего, во сколько раз он сложнее английского, нет. Для одних моделей перенос между языками заметно снижает качество, для других обучение на нескольких языках помогает. При этом результаты на тестовом корпусе нельзя автоматически переносить на короткий отзыв, диплом или отредактированную статью.

Что действительно сравнивали ученые

В 2023 году исследователи представили MULTITuDE. В набор вошел 74 081 человеческий и машинный текст на 11 языках, включая русский и английский; машинные тексты создавали восемь многоязычных моделей. Авторы проверяли детекторы без дополнительного обучения и модели, специально дообученные для распознавания машинного текста. Один из центральных вопросов состоял в том, как детектор работает с языком или генератором, которых не было при обучении.

Такая постановка важна. Если алгоритм хорошо распознает английские тексты и плохо работает с русскими, возможное объяснение заключается в обучающей выборке. Сама по себе разница в результатах еще не доказывает, что русская грамматика всегда делает распознавание труднее.

В соревновании GenAIDetect 2025 исследователи отдельно организовали англоязычную и многоязычную задачи. На этапе тестирования в них участвовали соответственно 36 и 27 команд. Это полезные результаты для оценки систем внутри каждого задания. Однако напрямую вычитать балл победителя англоязычной задачи из балла победителя многоязычной и объявлять разницу «штрафом за русский» нельзя. У заданий отличаются языковой состав, данные и распределение примеров.

Почему язык влияет на результат

Детектор опирается на статистические закономерности текста. Они меняются вместе с языком. В русском слова получают множество форм, порядок слов допускает больше вариантов, а окончания передают грамматические связи, которые в английском нередко выражаются иначе. Отсюда возникает рабочая гипотеза о том, что отдельные признаки, полезные для английского, потребуется перенастроить для русского. Однако языковая особенность сама по себе не измеряет точность детектора. Проверка возможна только на сопоставимых текстах и одном алгоритме.

Еще один источник различий связан с данными. При обучении система может видеть много английских статей, но мало живых русских комментариев. Тогда она рискует распознавать жанр, редакторский стиль или тему вместо происхождения текста. Иногда высокий результат на знакомой выборке пропадает после перехода к другим авторам и моделям генерации.

В исследовании НИУ ВШЭ 2025 года оценивались подходы к поиску машинных фрагментов, в том числе на русскоязычных наборах. Для одной из моделей был получен F1 0,9912 на русских данных, но исследование также выявило серьезные ограничения при переносе между языками и тематиками. Показатель на одном наборе подтверждает работоспособность метода в его условиях. Он не означает 99-процентную надежность на любом русском тексте.

Когда сравнение русского и английского становится нечестным

• Разные жанры. Русские отзывы и английские научные статьи различаются одновременно по языку и устройству текста.
• Разные генераторы. Тексты одной модели могут быть знакомы детектору, а другой модели - нет.
• Разная длина. Оценка отдельного предложения и большого документа требует самостоятельной проверки.
• Разная редактура. Полностью сгенерированный материал и текст после вмешательства человека представляют разные ситуации.
• Разный порог решения. Два сервиса могут выдавать похожие оценки, но относить текст к AI при разных порогах.

Если все это смешать в одном тесте, будет трудно объяснить причину ошибок. Для убедительного сравнения нужны как минимум одинаковые жанры, близкий объем, сопоставимые темы, известное происхождение текстов и отдельно зафиксированные ложные срабатывания на человеческих работах.

Что добавили исследования 2026 года

Авторы работы Persuaficial исследовали тексты убеждающего характера на шести языках, включая русский и английский. Их результаты показали, что тонкая, менее очевидная убеждающая манера машинного текста ухудшает работу автоматических детекторов. Это предупреждение касается содержательного типа текста. Даже при наличии русского языка в тесте нельзя объяснять каждое ухудшение исключительно языком.

Еще одно исследование 2026 года, DetectRL-X, проверяло многоязычную детекцию в более близких к практике условиях, включая сокращение, расширение и стилистическую правку материалов. Авторы анализировали влияние языка, тематики, длины и способов изменения текста. Это подтверждает необходимость проверять детектор после редакторского вмешательства, а не ограничиваться исходными ответами генератора.

Как интерпретировать вердикт на русском тексте

Представим, что сервис пометил как машинный русский отзыв, написанный покупателем. Без независимой проверки происхождения такой результат остается оценкой модели. Он может быть ложным срабатыванием. Особенно осторожно стоит обращаться с выводами, от которых зависит оценка работы студента, репутация автора или публикация материала.

Редактору или преподавателю полезнее задать несколько предметных вопросов. Проводилось ли независимое тестирование именно на русском языке? Есть ли данные о ложных срабатываниях на человеческих текстах того же жанра? Какая длина материала использовалась при проверке? Известно ли, как ведет себя сервис после обычной человеческой редактуры? Если этих сведений нет, точная цифра в интерфейсе создает иллюзию уверенности.

На nesuho.ru при работе с естественностью русского текста мы ориентируемся на сохранение фактов, понятность и отсутствие механических речевых повторов. Правка ради снижения показателя стороннего детектора может повредить исходный смысл. Результат такой проверки не должен становиться единственным критерием качества.

Так русский все-таки сложнее?

Публикации подтверждают, что перенос детектора между языками способен ухудшать результат, а обучение на подходящих языковых данных имеет значение. Но из этих работ не следует универсальное утверждение, что русский язык всегда сложнее английского на определенное число процентов. Для конкретного сервиса ответ может оказаться другим.

Если нужно принять решение по одному тексту, показатель AI-детектора стоит рассматривать как дополнительный сигнал. Более весомыми будут история редактирования, черновики, проверяемые источники и объяснение автором собственных решений. Они позволяют обсуждать происхождение материала предметно, не приписывая языковой статистике доказательную силу, которой у нее нет.

Исследования и материалы

• Macko D. et al. MULTITuDE: Large-Scale Multilingual Machine-Generated Text Detection Benchmark. EMNLP, 2023.
• Wang Y. et al. GenAI Content Detection Task 1. GenAIDetect, 2025.
• Development of a System for Detecting AI-Generated Text. НИУ ВШЭ, 2025.
• Modzelewski A. et al. Can AI-Generated Persuasion Be Detected?. ACL, 2026.
• Wu J. et al. DetectRL-X. ACL, 2026.