Блог
Человек, ChatGPT или humanizer: почему их тексты путают
Российские лингвисты оценивали происхождение 28 текстов, а в международном исследовании пять способов подготовки научных фрагментов угадали лишь в 19% случаев. Объясняем, почему готовый текст трудно связать с историей его создания.
Содержание
- Один текст может пройти несколько разных путей
- На русском языке восприятие текста зависит от ощущения автора
- Пять вариантов научного текста и 19% верных ответов
- Почему другой слепой эксперимент дал почти безошибочный результат
- После humanizer исчезают некоторые подсказки, но остаются вопросы к смыслу
- Какие признаки помогают читать текст, но не доказывают авторство
- Что делать, когда происхождение текста имеет значение
- Источники
«Встречу перенесли на пятницу. Участников предупредили утром». Два обычных предложения. Их мог написать сотрудник, могла сгенерировать языковая модель, а сервис переписывания мог получить похожий результат после обработки другого текста. По двум готовым предложениям восстановить историю их появления невозможно.
Когда читателю показывают текст без сведений об авторе, он начинает искать подсказки в языке. Повторы, ровная структура, вежливость, разговорные частицы и даже ошибки превращаются в предполагаемые признаки человека или нейросети. Исследования показывают, что эти догадки нередко расходятся с известным происхождением материала. Однако опытные пользователи языковых моделей при определенных условиях справляются с задачей заметно лучше.
Один текст может пройти несколько разных путей
Слово humanizer обычно обозначает сервис, который переписывает готовый текст, чтобы изменить его стиль. Но в таком процессе есть как минимум два самостоятельных вопроса. Кто сформулировал исходное содержание? Кто и как менял формулировки после этого?
Возможны разные истории одной публикации:
- Человек написал и отредактировал сам. Весь путь создания текста известен автору, но читателю доступна только последняя версия.
- Человек написал, ChatGPT исправил стиль. Исходные мысли принадлежат человеку, а часть слов и предложений изменила модель.
- ChatGPT написал основной текст. Человек мог задать тему, проверить источники и самостоятельно исправить отдельные фрагменты.
- Машинный текст прошел через humanizer. После переписывания он может частично утратить привычные формулы исходной модели. Само происхождение от этого не меняется.
У всех четырех вариантов может оказаться похожая поверхность текста. Поэтому трех ярлыков «человек», «ChatGPT» и «humanizer» бывает недостаточно для описания реального рабочего процесса. Читатель способен оценить стиль, но установить последовательность действий по одному фрагменту обычно гораздо труднее.
На русском языке восприятие текста зависит от ощущения автора
Татьяна Литвинова и Ольга Дехнич в работе «Когда естественный текст выглядит искусственным», опубликованной в 2026 году, изучали 28 русскоязычных материалов. Половину написали люди, половину создали нейросети. Профессиональные лингвисты оценивали их в трех режимах, которые различались составом участников и порядком работы.
Особенно показателен третий режим. Шестнадцать лингвистов независимо работали с десятью текстами, среди которых было поровну человеческих и машинных. Сначала они оценивали впечатление от материала по 13 характеристикам, затем предполагали его происхождение по пятибалльной шкале.
Если в тексте угадывалось присутствие конкретного автора, его заметно реже относили к продукции ИИ. Для сдвига в сторону такого восприятия исследователи получили отношение шансов 0,228 при 95-процентном доверительном интервале от 0,145 до 0,359. Этот показатель описывает связь читательского впечатления с выбором ответа. Он не означает, что отдельный признак позволяет безошибочно определить автора.
Общие и шаблонные формулировки усиливали впечатление машинного происхождения. Личный опыт, представимая ситуация, конкретная авторская позиция и ощущение доверия влияли в противоположную сторону. Здесь и возникает сложность. Нейросеть умеет имитировать личный рассказ, а человек вполне может написать безличный справочный материал. Восприятие авторского присутствия и реальная история текста расходятся.
Пять вариантов научного текста и 19% верных ответов
В исследовании Adam Cheng и соавторов, опубликованном в журнале Advances in Simulation в ноябре 2025 года, использовали вступления длиной 500-600 слов из 30 научных статей, вышедших до распространения ChatGPT. Для каждого вступления подготовили пять вариантов с разной степенью участия генеративной модели. Всего получилось 150 текстовых версий.
Пять специалистов оценивали фрагменты вслепую. Им нужно было выбрать точную категорию происхождения из пяти предложенных вариантов. Авторы сообщили 19% правильных определений в целом.
| Как был подготовлен текст | Верных определений |
|---|---|
| Полностью написан человеком | 17% |
| Человеческий текст после легкой правки ИИ | 23% |
| Человеческий текст после глубокой правки ИИ | 30% |
| ИИ написал текст по тезисам из человеческого материала | 17% |
| ИИ написал текст по одному названию статьи | 10% |
Источник данных - Cheng и соавторы, 2025. Проценты относятся к угадыванию одной из пяти категорий на англоязычных научных фрагментах. Это оценки людей, а не показатели AI-детекторов.
При пяти равновероятных вариантах случайный выбор дал бы в среднем 20% правильных ответов. Полученные исследователями 19% оказались близки к этому уровню. Особенно часто участники затруднялись определить степень редакторского вмешательства. Из 30 полностью человеческих вариантов 12 отнесли к смешанному авторству; среди 30 полностью машинных 17 также записали в промежуточные категории.
Здесь нет основания утверждать, что любой читатель различает происхождение текста с точностью 19%. Эксперимент касался определенного жанра, пяти градаций и конкретного состава участников. Для обычного вопроса с двумя вариантами ответа задача устроена иначе.
Почему другой слепой эксперимент дал почти безошибочный результат
Дженна Расселл, Маржена Карпинска и Мохит Айер в исследовании ACL 2025 предложили участникам оценить 300 англоязычных нехудожественных статей. В отличие от предыдущего испытания, требовалось выбрать одну из двух категорий - текст человека или генерация. Машинные варианты создавали несколько моделей, включая GPT-4o, Claude и o1. Исследователи учитывали и измененные тексты.
Пятеро участников, которые часто применяли языковые модели для письма, при решении большинством голосов ошиблись только на одном из 300 материалов. В своих объяснениях они замечали не только привычные слова, но и особенности оригинальности, конкретности, ясности и тона.
Разница с результатом 19% объяснима уже устройством двух заданий. В одном случае угадывали точный способ работы среди пяти вариантов. В другом определяли машинное происхождение при бинарном выборе, причем итоговый ответ давала группа опытных пользователей. Сопоставлять проценты как рейтинг способности людей распознавать ИИ было бы ошибкой. Вместе исследования показывают, насколько сильно результат зависит от постановки задачи и навыков оценивающего.
После humanizer исчезают некоторые подсказки, но остаются вопросы к смыслу
В работе DAMAGE исследователи изучили 19 инструментов перефразирования и очеловечивания. Многие тестируемые AI-детекторы не распознавали обработанные машинные тексты. Авторы также оценивали, насколько переписывание сохраняет исходный смысл. Результаты относятся к программной детекции и конкретным инструментам, поэтому по ним нельзя вычислить долю читателей, которые распознали бы humanizer.
После переработки текст способен звучать непривычно для модели, создавшей первую версию. У него меняется словарь, длина предложений, порядок частей мысли. Иногда изменения затрагивают и само содержание. Читатель видит последнюю редакцию; источник формулировок и степень вмешательства остаются за пределами страницы.
Поэтому уверенный вердикт «это humanizer» по одному плавному абзацу не имеет достаточного основания. Та же структура могла возникнуть после ручной редактуры, работы над черновиком или генерации сразу в другом стиле. Даже верное распознавание признаков переработки еще не позволяет назвать конкретный сервис.
Какие признаки помогают читать текст, но не доказывают авторство
В готовой статье можно заметить одинаковые вступления, повторяющиеся противопоставления, общие рассуждения вместо проверяемых фактов. Эти наблюдения полезны редактору. По ним можно найти места, которые стоит прояснить или сократить. В авторских материалах встречаются те же недостатки.
Другой пример - выразительные подробности. Упоминание часа, места, личного переживания и бытовой ситуации способно усилить ощущение присутствия автора. Однако генеративная модель умеет создавать такие детали по запросу. Конкретность помогает оценить качество объяснения; ее связь с происхождением текста нужно проверять отдельно.
Есть и обратная ошибка. Аккуратная грамматика, ровный тон и отсутствие опечаток легко появляются после обычной вычитки. Эти особенности встречаются в инструкциях, деловых письмах и научных публикациях. Подозрение на основании одной такой детали способно затронуть человеческий текст. Подробнее об этом говорится в материале «Ложные срабатывания AI-детекторов: какие человеческие тексты чаще всего принимают за нейросеть».
Что делать, когда происхождение текста имеет значение
Если нужно разобраться в спорной учебной работе, редакционном материале или коммерческом заказе, полезны следы создания документа. Они позволяют установить действия, которых в готовом тексте уже не видно.
- Посмотрите историю версий. Черновики с датами, сохраненные изменения и последовательность исправлений показывают развитие документа. Один поздно созданный файл такой информации не дает.
- Сопоставьте исходник и результат переработки. Если использовался ChatGPT или humanizer, сохраните исходный материал и обработанный вариант. Так можно увидеть, какие утверждения изменились и кто добавлял сведения.
- Проверьте проверяемые детали. Источники цитат, документы, расчеты и ссылки должны подтверждать то, что написано. Верный факт сам по себе не доказывает человеческое авторство, но помогает оценить надежность публикации.
- Уточните правила использования ИИ. Для учебной работы, редакции и заказчика допустимость генерации и стилистической помощи может различаться. Оценивать конкретный текст стоит по заранее известным требованиям.
При работе с естественностью языка на nesuho.ru ориентиром остается сохранение содержания. После обработки полезно сравнить исходную и итоговую версии по фактам, условиям и интонации. Подробнее о рисках такого преобразования - в материале «Что меняется после humanizer: смысл, факты, стиль и грамматика».
Ответ на вопрос «человек, ChatGPT или humanizer?» иногда можно получить из истории работы над документом. По готовой фразе мы чаще видим стиль, степень конкретности и возможные следы правки. Слепые исследования на русском и английском показывают, что предполагаемое происхождение текста может существенно расходиться с реальным. Для решения об авторстве нужны сведения о процессе, особенно если ошибка способна навредить человеку.
Источники
- Литвинова Т. А., Дехнич О. В. Когда естественный текст выглядит искусственным: воспринимаемое ИИ-происхождение как свойство текста. Научный результат. Вопросы теоретической и прикладной лингвистики, 2026, том 12, выпуск 3. DOI 10.18413/2313-8912-2026-12-3-0-1. Эксперимент на 28 русскоязычных текстах.
- Cheng A. et al. Ability of AI detection tools and humans to accurately identify different forms of AI-generated written content. Advances in Simulation, 2025. 30 исходных научных статей, пять вариантов обработки, пять экспертов.
- Russell J., Karpinska M., Iyyer M. People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text. ACL, 2025. Слепое распознавание 300 англоязычных материалов.
- Masrour E., Emi B. N., Spero M. DAMAGE: Detecting Adversarially Modified AI Generated Text. GenAIDetect, 2025. Исследование 19 инструментов переписывания и их влияния на детекторы.
Проверьте свой текст после статьи.
Сделайте свой текст менее шаблонным.
Вставьте фрагмент в nesuho.ru. Сервис проверит штампы, повторы и структуру, а важные детали оставит под защитой. Начать можно без регистрации. Если правок нет, кредиты не списываются.