Можно ли узнать ChatGPT по стилю: что показывают слепые тесты людей и детекторов

Два слепых эксперимента дают почти противоположные ответы на один вопрос. В исследовании 2026 года двадцать опытных челюстно-лицевых хирургов правильно определили происхождение рукописей ChatGPT-4 и людей только в 54% случаев. В работе ACL 2025 пятеро участников, которые регулярно используют LLM для письменных задач, вместе ошиблись всего в 1 из 300 англоязычных статей.

Обе цифры получены в опубликованных исследованиях. Разница показывает, что фраза «я узнаю ChatGPT по стилю» без описания опыта человека, жанра и условий теста почти ничего не говорит о реальной точности.

Стилевые признаки действительно помогают. Их полезность меняется вместе с моделью, типом текста и навыком наблюдателя. Еще одно ограничение касается самого слова ChatGPT. Большинство слепых тестов проверяют, способен ли человек отличить AI-текст от человеческого. Они редко доказывают, что по одной манере письма можно надежно назвать конкретный генератор.

54% и 299 из 300 могут быть верны одновременно

В двойном слепом исследовании 2026 года сравнивали шесть медицинских рукописей примерно по 2500 слов. Три текста подготовил ChatGPT-4, еще три написали старшие клиницисты по тем же тематическим направлениям. Двадцать сертифицированных специалистов оценивали читаемость, научную глубину, точность ссылок, качество письма и методическую строгость, а затем пытались определить авторство.

Источник текста они угадали в 54% случаев. Статистически надежного отличия от случайного выбора авторы не получили, p = 0,68. При этом человеческие рукописи набрали более высокие оценки за научную глубину, точность ссылок и общее качество письма. По связности и читаемости разница не достигла статистической значимости.

Эксперт может замечать содержательные недостатки и все равно плохо определять происхождение текста. Качество медицинской аргументации и распознавание AI-стиля оказались разными задачами.

Исследование Russell, Karpinska и Iyyer на ACL 2025 устроено иначе. Авторы собрали 300 англоязычных нехудожественных статей и их AI-версии, созданные GPT-4o, Claude 3.5 Sonnet и o1 Pro. В части экспериментов применялись перефразирование и очеловечивание. Участники видели тексты в случайном порядке и объясняли, какие фрагменты повлияли на решение.

Группа из пяти участников с большим опытом использования LLM в письменной работе показала почти предельный результат. Их коллективное решение ошиблось один раз на 300 статей. В первом тесте с GPT-4o средняя полнота распознавания AI у этих участников составила 92,7%, а доля человеческих статей, ошибочно отмеченных как AI, - 3,3%. Коллективное решение пятерых в этом тесте правильно классифицировало все 60 материалов.

Среди участников с небольшим опытом работы с LLM результат был совсем другим. В первом эксперименте они распознавали AI в среднем в 56,7% случаев и одновременно помечали человеческий текст как AI примерно в половине случаев. Уверенность в ответах при этом оставалась высокой.

Опыт с LLM меняет то, на что человек смотрит

ACL-эксперимент полезен тем, что участники не ограничивались меткой «человек» или «AI». Они отмечали подозрительные фрагменты и писали объяснение. Благодаря этому видно, чем отличаются стратегии опытных и неопытных наблюдателей.

Участники с небольшим опытом часто считали признаком AI любое редкое или «красивое» слово, нейтральный тон и грамматически ровную фразу. Эти эвристики давали много ложных срабатываний. Опытные пользователи обращали внимание на более узкие повторяющиеся слова и обороты, формульную структуру предложений и всего документа, степень оригинальности, ясность и характер выводов.

Даже эти признаки не работали как словарь запрещенных слов. Авторы отмечают, что эксперты комбинировали лексические подсказки с более широкими свойствами текста. Отдельное слово могло насторожить, но решение формировалось по нескольким уровням сразу.

Есть еще одна деталь. Те же пятеро хорошо распознавали тексты Claude, хотя ChatGPT был наиболее знакомой им системой. Значит, часть замеченных особенностей относилась к современному машинному письму шире и не была уникальным отпечатком GPT-4o.

Обратная связь улучшает распознавание

Опыт можно приобрести во время самого теста. Это показал эксперимент PLOS One 2025 года с 254 носителями чешского языка. GPT-4o сгенерировал 672 текста разных жанров, сопоставимых с многожанровым человеческим корпусом Koditex. Участникам показывали пары, где один текст был человеческим, другой создавался моделью.

Группа без немедленной обратной связи правильно выбирала источник в среднем в 55,4% случаев. Группа, которая после каждого ответа сразу узнавала результат, достигла 65,1%. Доверительные интервалы составили 52,0-58,7% и 62,4-67,8% соответственно.

Авторы также увидели проблему с уверенностью. Без обратной связи участники особенно часто ошибались в заданиях, где были уверены в себе. По ходу обучения калибровка уверенности улучшалась.

Этот эксперимент проводился на чешском языке. Большая часть работ о распознавании AI-текста выполнена на английском. Здесь тест проводили на чешском, причем по нескольким регистрам. Результат показывает, что навык может обучаться и за пределами английского, но конкретные проценты нельзя переносить на русский без отдельной выборки.

Детекторы на одном наборе тоже расходятся

Если человеческая оценка зависит от опыта, автоматическая не дает единого эталона. В Scientific Reports в марте 2026 года шесть молодых преподавателей стоматологических дисциплин вслепую оценивали 150 аннотаций. Половина была исходной, половину сгенерировал ChatGPT 3.5 по тем же заголовкам.

Точность отдельных людей находилась в диапазоне 44-76%. На тех же материалах GPTZero получил 90%, GPT-2 Output Detector - 55%, Writefull GPT Detector - 58%. Один и тот же набор текстов дал автоматическим системам разницу в 35 процентных пунктов.

В исследовании ACL 2025 опытная человеческая группа, наоборот, превзошла большинство проверенных автоматических детекторов. В наиболее сложной конфигурации с очеловеченным текстом o1 Pro коллективное решение экспертов распознало все AI-статьи, тогда как несколько открытых алгоритмов пропустили большую часть.

Сопоставлять эти проценты между исследованиями напрямую нельзя. Меняются тексты, модели, длина, способ генерации, состав людей и сами детекторы. Совпадает другое наблюдение. Название метода само по себе не гарантирует точность. Нужны условия теста и отдельная частота ошибок на человеческих материалах.

Русскоязычные алгоритмические тесты мы отдельно разбирали в материалах о четырех открытых проверках AI-детекторов и о ложных срабатываниях на человеческих текстах.

Какие подсказки человек принимает за «стиль ChatGPT»

Слепые эксперименты дают несколько повторяющихся категорий. Их нельзя превращать в универсальный перечень признаков авторства, но они объясняют, откуда берется ощущение узнаваемой манеры.

• Повторяющаяся лексика. Опытные участники ACL замечали конкретные слова и сочетания, которые часто встречались в генерациях. Неопытные участники реагировали шире и принимали за AI просто редкую лексику.
• Формульная организация. Подозрение вызывали одинаково построенные предложения, предсказуемые переходы и выводы с общей позитивной формулировкой.
• Недостаток оригинальности. Эксперты оценивали, насколько статья дает специфичную деталь, необычную формулировку или наблюдение, которое не выглядит как усредненное продолжение темы.
• Слишком простая эвристика о грамотности. В ACL неопытные участники предполагали, что грамматически правильный текст скорее человеческий. Авторы нашли обратную проблему: такая вера мешала классификации, потому что современные модели обычно производят очень ровную грамматику.
• Ожидание жесткого «машинного» стиля. В чешском эксперименте участники до обучения переоценивали стилистическую жесткость и читаемость как признаки AI. Обратная связь уменьшала влияние этих ошибочных ожиданий.

Все пять категорий относятся к поведению наблюдателя. Они показывают, по каким причинам человек принимает решение. Из них не следует, что конкретный оборот принадлежит ChatGPT или что человеческий автор не может писать так же.

Можно ли по стилю узнать именно ChatGPT

Существующие слепые эксперименты дают более узкий ответ. Опытный человек иногда очень хорошо распознает AI-текст в знакомом типе материалов. Средний участник в других условиях часто оказывается лишь немного выше случайного выбора.

Определение конкретной модели требует другой постановки. В большинстве рассмотренных работ метка бинарная - человеческий текст или AI. Даже исследование ACL, где использовались GPT-4o, Claude 3.5 Sonnet и o1 Pro, проверяло способность обнаружить машинное происхождение. Эксперты переносили навык с GPT-4o на Claude, поэтому часть их подсказок явно не уникальна для ChatGPT.

Манеру генерации меняют системные инструкции, пользовательский запрос, длина, жанр, температура, редактура и последующее перефразирование. Один и тот же ChatGPT способен выдавать тексты с разной структурой. Разные модели способны сходиться на похожих формальных решениях.

Утверждение «это точно ChatGPT, я узнаю стиль» нуждается в слепой проверке. Слепой тест может подтвердить способность различать AI и человека в конкретной выборке. Назвать модель по одному тексту значительно сложнее, и рассмотренные исследования такого универсального навыка не устанавливают.

Русский язык пока приходится отделять от англоязычных процентов

Среди рассмотренных слепых экспериментов нет крупного теста, где носители русского языка оценивали бы современные русские тексты ChatGPT и сопоставимую человеческую контрольную группу. Английские 54%, 92,7% или 299 из 300 нельзя переносить на русский материал.

Чешский эксперимент показывает, что язык и регистр имеют значение уже на уровне дизайна исследования. Авторы специально использовали многожанровый корпус и носителей языка, потому что результаты англоязычных работ не описывают автоматически другие языковые среды.

Для русского есть крупные корпуса и алгоритмические проверки. Они подтверждают, что статистические различия между человеческими и AI-текстами измеримы, а перенос между доменами и генераторами способен заметно менять качество классификации. Это поддерживает осторожную интерпретацию человеческого ощущения «похоже на ChatGPT».

Как проверить собственную способность узнавать AI-стиль

Самооценка легко завышается. Небольшой слепой тест дает измеримую частоту собственных ошибок и не требует детектора.

1. Соберите человеческие и AI-тексты одного жанра и близкой длины. Тема и качество исходников должны быть сопоставимы.
2. Скройте источник и перемешайте материалы. Человек, который оценивает тексты, не должен знать порядок классов.
3. До раскрытия ответа запишите метку, уверенность и конкретные причины решения. Фраза «просто чувствуется» не дает проверить ошибочную эвристику.
4. Посчитайте отдельно долю найденных AI-текстов и долю человеческих текстов, ошибочно названных AI. Высокое первое число мало полезно при большом втором.
5. После раскрытия ответов сравните причины правильных и ошибочных решений. Так видно, какие признаки помогают именно на вашей выборке и какие дают ложные срабатывания.

Такой тест проверяет навык на конкретном типе текста. Он не превращает найденные признаки в универсальную шкалу и не доказывает авторство отдельного человека.

Что это меняет в редактуре

Для редактора распознавание стиля полезно в другом качестве. Повторяющиеся формулы, однообразный ритм, общие выводы и потеря специфики можно исправлять независимо от происхождения черновика.

В Nesuho такие сигналы используются как места для повторного чтения и правки. Оценка детектора или впечатление редактора не служат доказательством, что текст создал ChatGPT. Задача обработки остается текстовой - сохранить факты и смысл, убрать шаблонность и вернуть естественную русскую фразу там, где она действительно нужна.

Слепые исследования дают практический ответ на исходный вопрос. Человек способен научиться замечать AI-стиль, а постоянный опыт с LLM в некоторых тестах дает очень высокую точность. Без опыта результат часто держится около случайного уровня. Узнавание AI-манеры и надежное определение конкретно ChatGPT остаются разными задачами.

Источники

• Can OMFS experts distinguish AI from human manuscripts? A double-blind evaluation using ChatGPT-4, 2026
• People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text, ACL 2025
• Learning to detect AI texts and learning the limits, PLOS One, 2025
• Human versus artificial intelligence: identifying ChatGPT-generated dental research abstracts, Scientific Reports, 2026