Блог
Можно ли определить конкретную LLM по ее русскому тексту
Русскоязычные исследования показывают, что модель-генератор иногда узнаваема по тексту. Но точность зависит от списка кандидатов, жанра и версии модели.
Содержание
- Какую именно модель нужно определить
- Что показали российские исследования
- Почему знакомая модель распознается легче незнакомой
- У текста есть повторяющиеся признаки, но нет подписи с названием модели
- Распознавание версий остается исследовательской задачей
- Как относиться к ответу «этот текст написал ChatGPT»
- Источники
Предположим, сервис получил русский абзац и написал, что его сгенерировал ChatGPT. Уверенный ответ выглядит убедительно, особенно если рядом стоит высокий процент. Но как сервис отделил ChatGPT от других языковых моделей? Видел ли он тексты DeepSeek и GigaChat? Что произойдет, если этот абзац написал человек или его переписал редактор?
За поиском «почерка» нейросети стоит вполне конкретная исследовательская задача - определить модель-источник по ее тексту. Алгоритмы уже способны решать ее на подготовленных корпусах. Российское исследование 2025 года сообщило о точности до 89% при многоклассовом определении генератора. Однако другие русскоязычные испытания выявили заметные трудности с различением отдельных моделей. Разница объясняется устройством тестов и составом данных.
Какую именно модель нужно определить
Сначала приходится уточнить, какой ответ считается правильным. Система может решать задачу «человек или нейросеть». Она может различать семейства моделей, например модели одного разработчика. Самая узкая задача требует назвать конкретный генератор из заранее определенного набора.
Допустим, классификатор обучен различать тексты трех известных моделей. Он выдаст одну из этих трех меток, даже если получил текст четвертой модели, когда в устройстве классификатора отсутствует вариант «источник неизвестен». Высокая уверенность в таком ответе описывает выбор внутри предусмотренного списка. Для читателя, который хочет узнать реальный инструмент создания документа, это существенное ограничение.
Еще сложнее назвать точную версию. Одна модель обновляется, получает новые инструкции, работает с разными параметрами генерации. Два ответа одной версии могут заметно отличаться. А тексты двух разных моделей, созданные по одинаковому техническому заданию, нередко сходятся по лексике и композиции. Поэтому результаты распознавания семейства и конкретной версии нужно рассматривать отдельно.
Что показали российские исследования
В 2025 году Анастасия Федотова и Александр Романов из ТУСУРа опубликовали в журнале «Информатика и автоматизация» исследование распознавания русскоязычных текстов. Метод ориентирован на короткие сообщения длиной примерно 100-200 символов. Авторы использовали лингвистические характеристики, статистику слов и последовательностей, а также смысловые представления текста.
В работе описаны более 2,8 млн пользовательских комментариев и 700 тыс. текстов от семи генеративных моделей. По опубликованным результатам точность достигала 95% при разделении на человеческие и машинные тексты и 89% при определении модели-генератора среди рассматриваемых классов. Формулировка «до» здесь принципиальна. Это достигнутые показатели конкретного метода в исследовательских условиях. Они не означают, что любой русский фрагмент можно с вероятностью 89% приписать нужной модели.
Второе исследование позволяет увидеть трудную сторону задачи. Авторы корпуса CoAT собрали человеческие тексты и материалы от 13 генераторов в шести областях русского языка. Отдельное задание требовало определить автора из 14 вариантов, включая человека.
Лучший из рассмотренных классификаторов, RuRoBERTa, получил макро-F1 0,521 при определении источника. Макро-F1 учитывает качество распознавания каждого класса с одинаковым весом. Авторы также показали, что одни генераторы различались заметно проще других. Средний F1 нейросетевых детекторов для ruT5-Base достигал 0,75, а для ruT5-Large составлял 0,112.
Сопоставлять 89% и 0,521 как оценки двух конкурирующих сервисов нельзя. В первой работе сообщается точность классификации, во второй - макро-F1. Наборы генераторов, способы подготовки материалов и тестовые задачи различаются. В CoAT изучались в том числе модели перевода, пересказа и упрощения текста, поэтому цифры не описывают напрямую современные версии ChatGPT, Claude или DeepSeek.
Почему знакомая модель распознается легче незнакомой
Алгоритм учится на примерах. Он замечает, какие сочетания слов, формы предложений и последовательности знаков чаще встречаются в материалах с определенной меткой. Поначалу такие закономерности помогают разделять источники. Затем меняются исходные условия - и характерные признаки теряют часть диагностической силы.
В CoAT проверяли перенос на генераторы, отсутствовавшие в обучающих данных, и на новые предметные области. Авторы зафиксировали снижение качества в ряде таких условий. Отдельная модель, обученная на новостях, может реагировать на лексику новостей. После перехода к переписке она встречает другой словарь, длину реплик и иной синтаксис. Часть ее прежних подсказок оказывается связана с жанром.
Исследователи Виссам Антун, Бенуа Саго и Джаме Седда в работе From Text to Source (2024) отдельно изучали распознавание источника, семейства и размера моделей. Они обнаружили признаки, по которым модели можно различать в рамках поставленного опыта. При переносе детектора между моделями размер и состав обучающей выборки влияли на результат. Это еще один аргумент против попыток определить инструмент по нескольким «любимым словам» нейросети.
У текста есть повторяющиеся признаки, но нет подписи с названием модели
Какие особенности вообще попадают в поле зрения алгоритма? Исследования описывают сочетания слов, пунктуационные привычки, длину предложений, разнообразие словаря, частоты последовательностей слов и смысловые представления фрагментов. Самая полезная комбинация зависит от набора моделей и жанра. Человеческий редактор часто замечает ту же поверхность текста, но без подсчета по сопоставимому корпусу не знает, насколько признак характерен для конкретного генератора.
Оборот «в результате проведенного анализа» может встретиться у разных нейросетей, в редакционном материале и даже в цитате, приведенной автором для критики шаблонного языка. Длинное тире, стройное вступление или список из трех пунктов тоже не связывают документ с определенной моделью. Речевой шаблон становится информативным только после сравнения его частот в текстах разных источников, написанных по сопоставимым заданиям.
Особенно легко перепутать источники, когда им дают разные инструкции. Если одна модель пишет юридическую справку, а другая - личный отзыв, классификатор рискует узнать жанр. Для проверки «почерка» источникам нужно поручать близкие задачи и учитывать длину, тему и способ получения ответа. Иначе совпадение частот не поможет установить, что именно повлияло на результат.
После ручной правки происхождение становится еще менее очевидным. Автор может сохранить смысл машинного черновика, но полностью перестроить предложения. Или написать текст самостоятельно, а затем получить стилистическую правку от модели. В таких документах один ярлык для всего материала скрывает историю изменений. С этим связан и отдельный разбор «Человек, ChatGPT или humanizer: почему их тексты путают».
Распознавание версий остается исследовательской задачей
14 октября 2026 года исследователи из KAIST разместили предварительную работу Who's Behind the Text? Robust Model Authorship Attribution. Их метод ATLAS определяет семейство модели по статистическим свойствам текста. Авторы специально проверяли ситуацию, когда одновременно меняются предметная область и версия генератора.
В такой постановке ATLAS достиг 74,27% правильных ответов на исследовательском наборе MAABench, превысив результат лучшего из сравниваемых подходов на 9 процентных пунктов. Работа была опубликована как препринт. Эти цифры относятся к проверке семейств моделей в условиях авторского эксперимента; переносить их на произвольные русскоязычные тексты или трактовать как распознавание точной версии нельзя.
Параллельно исследователи развивают способы оценки, рассчитанные на новые источники. Например, OpenTuringBench, опубликованный на EMNLP 2025, содержит задания с неизвестными во время обучения моделями и текстами из новых областей. Проверка на ранее встречавшихся генераторах остается полезной, но сегодня отдельной ценностью обладает способность системы распознать границы собственных знаний.
Как относиться к ответу «этот текст написал ChatGPT»
Первое, на что стоит посмотреть, - какие модели входили в список кандидатов. Если выбор ограничен несколькими названиями, указанная модель означает ближайший из них вариант. Если в списке есть «неизвестный источник», следует выяснить, как проверялась частота ошибочных уверенных ответов на новых моделях и человеческих текстах.
Затем нужны сведения о русскоязычном тесте. Какого жанра были материалы? Сколько слов или символов содержал каждый? Входили ли в испытание отредактированные документы и новые версии генераторов? Одна итоговая точность без этих условий почти ничего не говорит о конкретной статье, отзыве или письме.
При серьезном споре об авторстве пригодятся история правок, исходные файлы, записи рабочего процесса и сведения о примененных инструментах. По ним можно установить последовательность создания документа. Стилевой классификатор дает вероятностную гипотезу, которую следует оценивать вместе с остальными данными.
Для работы над качеством русского текста полезно отдельно изучать речевые повторы и сохранность смысла при редактуре. Например, корпусный разбор повторяющихся русских конструкций показывает, как учитывать контекст найденной фразы. Само обнаружение штампа не устанавливает конкретную LLM. Тексты, которые обрабатывают в не сухо!, также стоит оценивать по читаемости, точности фактов и сохранению авторской мысли.
На вопрос о распознавании конкретной модели сегодня можно ответить утвердительно только с уточнением условий. Алгоритмы способны различать известные генераторы в контролируемых испытаниях. Вне заданного набора моделей уверенность снижается, особенно после смены версии, жанра или редактирования. Название нейросети, выведенное по одному готовому тексту, остается оценкой модели распознавания. Для подтверждения происхождения нужны данные о том, как текст был создан.
Источники
- Федотова А. М., Романов А. С. «Методика идентификации текстов, сгенерированных большими языковыми моделями». «Информатика и автоматизация», 2025, том 24, выпуск 5, с. 1444-1470. DOI 10.15622/ia.24.5.7.
- Shamardina T. et al. CoAT: Corpus of Artificial Texts. Natural Language Processing, 2025, 31(1), 150-175. DOI 10.1017/nlp.2024.38.
- Открытый репозиторий CoAT. Состав корпуса и задачи распознавания источника.
- Antoun W., Sagot B., Seddah D. From Text to Source: Results in Detecting Large Language Model-Generated Content. LREC-COLING, 2024.
- La Cava L., Tagarelli A. OpenTuringBench: An Open-Model-based Benchmark and Framework for Machine-Generated Text Detection and Attribution. EMNLP, 2025.
- Ko M. et al. Who's Behind the Text? Robust Model Authorship Attribution. Препринт arXiv:2610.19583, 14 октября 2026 года.
Проверьте свой текст после статьи.
Сделайте свой текст менее шаблонным.
Вставьте фрагмент в nesuho.ru. Сервис проверит штампы, повторы и структуру, а важные детали оставит под защитой. Начать можно без регистрации. Если правок нет, кредиты не списываются.