AI-текст после ручной редактуры: когда меняется машинный профиль

Фиксированной границы в духе «перепишите 30% текста, и он станет человеческим» в опубликованных исследованиях нет. Ручная редактура действительно меняет статистический профиль AI-черновика, однако скорость этого изменения зависит от самого текста, характера правок и детектора.

Один из самых наглядных результатов дал тест 14 систем. Средняя точность распознавания исходного машинного текста составляла 74%. После ручной правки она снизилась до 42%. В другом эксперименте пять детекторов оценили один и тот же отредактированный AI-абстракт настолько по-разному, что нижняя оценка составила 2%, а верхняя 65%.

Такие данные меняют сам вопрос. Полезнее выяснить, какие правки делают текст самостоятельной редакторской работой и почему техническая метка AI перестает быть устойчивой.

Мелкая ручная правка уже заметно меняет работу детектора

В 2023 году Debora Weber-Wulff и соавторы опубликовали один из наиболее подробно описанных ранних тестов AI-детекторов. Девять исследователей подготовили 54 документа шести типов. Каждый документ проверили 14 системами, всего получилось 756 проверок.

В наборе были человеческие тексты, машинные переводы человеческих текстов, исходные генерации ChatGPT, версии после ручной правки и версии после автоматического перефразирования. Ручная обработка была довольно простой. Исследователи заменяли отдельные слова синонимами и переставляли части предложений.

Средняя точность по неизмененным AI-текстам составила 74%. После ручной правки показатель снизился до 42%. После машинного перефразирования он опустился до 26%. Эти значения описывают среднюю точность набора детекторов и способов подсчета. Долю AI внутри документа они не измеряют.

Исследование Weber-Wulff и соавторов проводилось на версиях сервисов 2023 года, поэтому переносить рейтинг конкретных продуктов в 2026 год нельзя. Для нашей темы полезен сам контролируемый переход. Даже небольшая человеческая правка заметно ослабила согласованность автоматической классификации.

Один отредактированный текст может одновременно выглядеть и человеческим, и машинным

В 2025 году Shigeki Matsubara взял ранее опубликованную медицинскую работу и попросил ChatGPT-4 создать для нее абстракт. Затем появились две версии с ручной редактурой. В одной человек правил содержание с учетом контекста, в другой дополнительно менял стиль. Пятый вариант был настоящим человеческим абстрактом исходной статьи.

Пять бесплатных детекторов дали исходной генерации вероятность AI от 82% до 100%, медиана составила 100%. После контекстной ручной редактуры диапазон стал 4-71%, медиана 64%. После стилистической редактуры оценки находились в диапазоне 2-65%, медиана 61%. Настоящий человеческий абстракт получил от 0% до 13% AI, медиана 0%.

Работа опубликована в Journal of Investigative Medicine. Это пилотный эксперимент с одним исходным материалом, поэтому он не дает универсальной нормы. Зато хорошо виден разрыв между детекторами. После одинаковой ручной работы один сервис видел почти человеческий текст, другой сохранял высокую AI-оценку.

Получается, «момент перехода» нельзя определить одним процентом. У разных классификаторов эта граница находится в разных местах даже на одном документе.

Гибридный текст плохо помещается в бинарную шкалу

Ручная редактура постепенно превращает чистую генерацию в текст со смешанным происхождением. В реальной работе человек сохраняет одни предложения, переписывает другие, меняет порядок, удаляет объяснения, возвращает факты и связывает материал со своей задачей.

Исследование 2026 года в International Journal for Educational Integrity показывает, насколько плохо бинарная логика описывает такую смесь. Авторы собрали 192 текста четырех типов. В каждой категории было по 48 материалов. Гибридные тексты содержали примерно 50% человеческого и 50% AI-контента. Генерации создавались с помощью GPT-4.1 и Claude 3 Opus.

Turnitin и Originality проверялись как трехклассовые системы с категориями Human, Hybrid и AI. Оба детектора показали слабые результаты именно на гибридных материалах. У Originality полнота для класса Hybrid была близка к нулю. Общая макро-точность составила 0,61 у Turnitin и 0,69 у Originality, при этом гибридный класс сильнее всего ухудшал итоговые показатели.

Авторы прямо связывают проблему с смешанным авторством. Их гибриды были сконструированы из двух половин, поэтому эксперимент не измеряет последовательную ручную редактуру одного AI-черновика. Он показывает соседнюю трудность. Когда человеческие и машинные участки живут в одном документе, простой ярлык перестает хорошо описывать происхождение текста.

Редактирование AI-фраз затрудняет поиск границ внутри документа

Похожая проблема возникает на уровне отдельных предложений. В исследовании IJCAI 2024 использовался корпус CoAuthor с текстами, созданными в совместной работе человека и интеллектуального помощника. Задачей было найти AI-фрагменты внутри гибридного документа.

Авторы отметили три источника ошибки. Человек выбирает предложенные системой фразы и может редактировать их под себя. Авторство часто меняется между соседними предложениями. Короткие сегменты дают мало стилевых признаков для уверенной классификации.

Работа о детекции гибридных текстов показывает, почему после ручной редактуры исчезает удобная граница между двумя классами. Сохраненный AI-фрагмент, человеческая правка этого фрагмента и полностью авторское предложение могут находиться рядом. Детектору приходится восстанавливать процесс создания текста по итоговой форме, а часть информации уже потеряна.

В 2026 году исследователи уже измеряют степень редактирования отдельно от авторства

Свежий препринт MixDetect, опубликованный в сентябре 2026 года, предлагает перейти от одного ярлыка для всего документа к оценке того, какие слова были отредактированы и насколько сильно. Авторы разделяют охват правок и их интенсивность.

В экспериментах общий показатель AI-редактирования снижался, когда AI-сгенерированный текст после этого редактировал человек. Обычная человеческая редактура человеческого текста почти не меняла соответствующий показатель. MixDetect пока опубликован как препринт, поэтому его результаты требуют дальнейшей внешней проверки.

Сам подход полезен для понимания проблемы. Вопрос о происхождении текста становится многомерным. Можно отдельно измерять, где была машинная генерация, где появилась правка и насколько глубоко она изменила исходную форму.

Почему процент переписанных слов ничего не гарантирует

Два текста с одинаковыми 30% замененных слов могут измениться совершенно по-разному. В первом случае редактор поменял синонимы и переставил части предложений. Во втором он сократил лишние абзацы, перестроил аргументацию, проверил факты и заново сформулировал ключевые выводы.

Для статистического детектора важна не только доля символов, которые перестали совпадать с черновиком. Меняются частотность слов, ритм предложений, синтаксис, связность, распределение шаблонных конструкций и длина фрагментов. Разные модели детекции используют эти сигналы с разными весами.

На результат влияют еще четыре условия:

• Жанр. Научная аннотация, отзыв и разговорный пост имеют разные естественные шаблоны.
• Длина. Короткий фрагмент дает классификатору меньше материала.
• Генератор. Модели оставляют разные статистические профили, и эти профили меняются после обновлений.
• Версия детектора. Порог и обучающие данные сервиса тоже меняются.

Поэтому число правок нельзя превратить в универсальный рецепт. Исследования подтверждают снижение распознаваемости после редакторского вмешательства. Они не подтверждают правило вида «после N замен текст становится человеческим».

Русский текст пока нельзя оценивать по английским порогам

Крупные контролируемые эксперименты с ручной редактурой, которые использованы выше, выполнены в основном на английском материале. Для русского языка уже есть большие корпуса человеческих и машинных текстов, сравнительные тесты детекторов и исследования стилометрии. В рассмотренных источниках нет сопоставимой серии, где один и тот же русский AI-текст последовательно проходит несколько уровней ручной редакторской правки с измерением после каждого этапа.

Это ограничение существенно. Русская морфология, порядок слов, пунктуация и синтаксические варианты меняют набор сигналов. Долю 42% из исследования Weber-Wulff или медиану 61% из эксперимента Matsubara нельзя выдавать за ожидаемый результат русского текста.

Русскоязычные данные Nesuho уже показывают другую часть картины. В материале о ложных срабатываниях AI-детекторов четыре открытые модели на одной тестовой выборке дали заметно разные ошибки на человеческих текстах. В статье о 50 признаках русского AI-текста видно, что часть стилевых признаков зависит от жанра, задачи генерации и корпуса.

Когда AI-черновик становится редакторской работой

Оценка детектора дает технический сигнал. Для редактора практическая граница проходит по другому набору действий. Текст становится самостоятельной редакторской работой, когда человек принимает решения, от которых зависит содержание и форма итогового материала.

Мы используем в Nesuho шесть проверок:

• все факты, числа, даты, имена и ссылки проверены по источникам;
• структура соответствует задаче читателя, а лишние блоки удалены;
• степень уверенности сохранена, формулировки не усиливают исходный тезис без основания;
• повторяющиеся конструкции исправлены там, где они мешают чтению;
• редактор понимает происхождение каждого содержательного утверждения;
• итог можно защищать без ссылки на процент AI в любом конкретном детекторе.

Этот критерий не пытается установить биографию каждого предложения. Он отвечает на более практичный вопрос. Готов ли человек отвечать за текст, его факты, логику и формулировки.

Что показывают исследования в сумме

Ручная редактура быстро ослабляет сигналы, на которых работают многие AI-детекторы. В тесте 14 систем средняя точность для машинного текста снизилась с 74% до 42% после сравнительно простой ручной правки. В пилотном эксперименте с одним абстрактом медианная AI-оценка упала со 100% до 61-64%, но отдельные детекторы расходились на десятки процентных пунктов.

Гибридные тексты создают еще больше неопределенности. Исследование 2026 года с 50/50 смесью человеческого и машинного материала показало слабую классификацию гибридного класса у двух коммерческих систем. Работы по сегментам приходят к похожему выводу. Ручная правка AI-предложений затрудняет восстановление границ авторства.

Универсального момента, после которого AI-текст становится «непохожим на AI», нет. С технической стороны разные детекторы пересекают свои пороги в разное время. С редакторской стороны полезнее оценивать глубину человеческих решений, сохранение смысла и ответственность за итоговый материал.

Источники

• Testing of detection tools for AI-generated text, International Journal for Educational Integrity, 2023
• Large language model content detectors: Effects of human editing and ChatGPT mimicking individual style, Journal of Investigative Medicine, 2025
• Evaluating the accuracy and reliability of AI content detectors in academic contexts, 2026
• Detecting AI-Generated Sentences in Human-AI Collaborative Hybrid Texts, IJCAI 2024
• MixDetect: Word-Level Localization and Quantification of AI Editing, препринт 2026