Что humanizer чаще всего портит в исходном тексте

В сентябрьском цикле HumanizerBench 2026 года сильное изменение длины было зафиксировано 54 раза. Порог заметного смыслового дрейфа сработал 31 раз. Эти числа получены из опубликованных штрафов 14 инструментов, протестированных на 33 заданиях каждый.

Мы пересчитали срабатывания отдельно, а затем сопоставили их с ручным аудитом 19 сервисов и перефразировщиков из исследования DAMAGE. В опубликованных штрафах чаще всего срабатывали критерии длины. Текст разрастается или сжимается, формулировки меняют степень уверенности, слова становятся менее точными, местами падает языковое качество.

Эта статья не устанавливает универсальную статистику для всех humanizer-сервисов. Оба набора данных англоязычные, версии инструментов меняются, а часть показателей считается автоматически. Здесь можно уверенно говорить о наблюдаемых типах повреждений и о частоте пороговых нарушений в конкретном сентябрьском цикле.

Что мы считали повреждением исходника

Сервис очеловечивания текста может переписать почти каждое предложение и при этом сохранить содержание. Сам объём правок ещё ничего не говорит о качестве. Для анализа нужны признаки, которые можно проверить.

В HumanizerBench текущая методика v1.2.0 задаёт несколько порогов качества. Сильным раздуванием считается результат длиннее исходника более чем в 1,4 раза. Сильным сокращением - результат короче 0,6 от исходного объёма. Смысловой дрейф фиксируется, когда косинусное сходство эмбеддингов входа и выхода падает ниже 0,85. Методика HumanizerBench публикует эти правила и код расчёта.

Мы взяли сентябрьский рейтинг, выписали число применений каждого штрафа у всех 14 ранжированных инструментов и сложили одинаковые категории. Один результат может получить несколько штрафов, поэтому таблица ниже показывает число срабатываний критериев, а не число уникальных испорченных текстов.

Что произошло	Порог HumanizerBench	Срабатываний в сентябре 2026
Сильное раздувание	Выход длиннее исходника более чем в 1,4 раза	33
Сильное сокращение	Выход короче 0,6 от исходного объёма	21
Смысловой дрейф	Сходство смысла ниже 0,85 по метрике бенчмарка	31
Возврат почти исходного текста	Обработка фактически не состоялась	1

Всего в цикле опубликовано 462 результата: 14 инструментов по 33 задания. Сентябрьский рейтинг содержит срабатывания по каждому инструменту, а раздел доказательств открывает исходники и результаты отдельных прогонов.

У таблицы есть заметный выброс. Один инструмент дал все 21 случая сильного сокращения и 17 из 31 случаев смыслового дрейфа. Если убрать только его, остаются 32 случая сильного раздувания и 14 случаев смыслового дрейфа у остальных 13 систем. В этой выборке чрезмерное расширение текста остаётся самым частым опубликованным пороговым дефектом.

Сильное изменение объёма встречалось чаще

Рост текста сам по себе допустим. Иногда короткую исходную фразу нужно раскрыть, а перегруженный абзац полезно разделить. Проблема начинается там, где сервис получает задачу переписать готовый текст и добавляет десятки процентов объёма без новой редакционной задачи.

В сентябрьском анализе HumanizerBench отдельно отмечена связь между расширением текста и результатами детекторов внутри одного и того же инструмента. Для систем, склонных раздувать текст, корреляция между коэффициентом расширения и обходом детекторов была положительной. Авторы бенчмарка прямо оговаривают, что корреляция не доказывает причинность. Разбор сентябрьского цикла.

Для редактора здесь интересен другой эффект. Дополнительные слова создают дополнительное пространство для:

• новых пояснений, которых не было в исходнике
• усиления или ослабления исходной формулировки
• повторения уже сказанного другими словами
• смены тональности
• вставки общих фраз, которые увеличивают объём без новой информации

Сокращение опасно по другой причине. При сильном сжатии исчезают условия, оговорки, детали, отдельные пункты инструкции. В сентябрьском наборе этот дефект в основном связан с одним аномальным инструментом, поэтому переносить число 21 на рынок целиком нельзя.

Смысл обычно портится локально

Полная смена темы заметна сразу. Локальный дрейф заметить труднее: текст остаётся о том же, но одно условие исчезает, осторожная формулировка становится уверенной, причина превращается в следствие или рекомендация звучит как гарантия.

HumanizerBench считает смысл через косинусное сходство эмбеддингов text-embedding-3-large. Порог ниже 0,85 запускает штраф за сильный дрейф. Такая метрика полезна для массового сравнения, однако она оценивает близость текстов целиком. Локальная замена числа, отрицания или степени уверенности может остаться внутри общего тематического сходства.

Отдельная работа SearchLLM, опубликованная на EACL 2026, прямо описывает потерю или искажение исходного намерения как один из рисков LLM-перефразирования. SearchLLM: Detecting LLM Paraphrased Text.

Для практической редактуры полезно проверять не только тему и набор ключевых слов. Особенно чувствительны:

• модальность - «может», «обычно», «иногда», «гарантирует»
• условия - когда утверждение действительно и где есть исключение
• числа и единицы измерения
• причинные связи
• отрицания и ограничения
• порядок действий в инструкции

По таким элементам проще всего увидеть, сохранил ли сервис исходную мысль или написал текст на ту же тему.

Ручной аудит 19 инструментов показывает языковые поломки

Порог длины и сходство эмбеддингов не ловят весь спектр повреждений. В работе DAMAGE исследователи вручную просмотрели несколько результатов каждого из 19 humanizer- и paraphrasing-инструментов. Анализ был качественным и не претендовал на полный подсчёт всех ошибок, зато он хорошо показывает типы сбоев. DAMAGE: Detecting Adversarially Modified ИИ Generated Text.

В опубликованном аудите встречались:

• грамматические и пунктуационные ошибки, включая проблемы с капитализацией и неполные предложения
• неудачные синонимические замены, когда слово формально близко, но не подходит контексту
• снижение уровня письма и упрощение словаря
• ломка структуры предложений, включая механическое дробление на короткие простые конструкции
• бессмысленные фрагменты и случайные вставки
• вымышленные ссылки и цитирования в отдельных результатах
• изменение лица и дистанции автора, например появление личных местоимений, которых не было в исходнике

Последний пункт легко недооценить. Факт может сохраниться полностью, а голос автора уже изменился. Экспертный текст становится школьно-простым, нейтральный - разговорным, сдержанный - эмоциональным. Автоматическое сходство смысла такое изменение может почти не заметить.

Авторский голос выпадает из большинства числовых метрик

HumanizerBench отдельно оценивает читаемость, ясность, беглость и естественность. В актуальной методике эту оценку выставляет языковая модель. Авторская интонация, дистанция, профессиональный регистр и индивидуальный ритм не выделены там в отдельную метрику.

Из-за этого возможен вполне гладкий результат с высоким смысловым сходством, который уже не похож на исходного автора. Для карточки товара это иногда приемлемо. Для колонки, письма от руководителя, экспертной статьи или личного текста такой сдвиг может быть критичным.

Редактору стоит сравнивать исходник и результат по вопросам, которые автоматические метрики редко закрывают полностью:

• осталась ли та же степень категоричности
• сохранилась ли профессиональная лексика
• не появился ли чужой юмор, фамильярность или канцелярит
• остался ли прежний темп и способ объяснения
• не превратилась ли индивидуальная фраза в усреднённую

Повреждение текста не является обязательным свойством humanize

Наблюдаемые дефекты нельзя трактовать как доказательство того, что любое очеловечивание ухудшает текст. Исследовательские системы показывают, что стиль можно менять с контролем качества.

Например, работа MASH на ACL 2026 проверяла многоступенчатое преобразование стиля на шести наборах данных и пяти детекторах. Авторы сообщают о высокой успешности обхода детекторов при сохранении лингвистического качества относительно протестированных базовых методов. MASH: Evading Black-Box ИИ-Generated Text Detectors via Style Humanization.

Для Nesuho отсюда следует простой инженерный вывод: качество зависит от того, какие части исходника разрешено менять и что система проверяет после обработки. Свободное перефразирование даёт модели больше пространства для случайных смысловых и стилистических решений.

Что мы защищаем перед очеловечиванием

В Nesuho обработка начинается с фиксации содержательных инвариантов. Это элементы, которые должны пережить редактуру без изменения:

• факты, числа, даты, имена и ссылки
• термины и названия сущностей
• степень уверенности автора
• причины, следствия и условия
• количество обязательных шагов или пунктов
• жанр и роль текста

После этого уже можно работать с шаблонностью, ритмом, повторами, синтаксисом и слишком гладкой структурой. Такой порядок снижает риск получить красивую новую версию, которая решает другую задачу.

Для сравнений «до/после» у нас действует правило нулевого прироста содержания. Обработанная версия не должна приносить новый тезис, факт, аргумент, пример, критерий, действие или способ проверки. Новая содержательная мысль требует отдельного редакторского решения.

Шесть проверок после любого humanizer

Даже хороший сервис стоит воспринимать как этап редактуры. Перед публикацией достаточно пройти текст в шесть проходов:

1. Объём. Проверьте, откуда взялся заметный рост или сокращение. Каждый крупный кусок должен иметь причину.
2. Факты. Сопоставьте числа, даты, имена, ссылки, характеристики и условия.
3. Модальность. Найдите слова, которые меняют степень уверенности или обязательности.
4. Лексика. Проверьте странные синонимы и слова, которые подходят по словарю, но плохо работают в контексте.
5. Связность. Посмотрите, не появились ли обрывки, механическое дробление предложений и скачки логики.
6. Голос. Прочитайте исходник и результат подряд. У автора должны остаться прежняя дистанция, тон и роль.

Оценка ИИ-детектора сюда сознательно не входит как критерий качества. Детектор решает задачу классификации происхождения текста и не проверяет факты, авторскую интонацию или сохранность инструкции.

Где заканчивается этот вывод

Срез HumanizerBench относится к сентябрю 2026 года и к 14 инструментам, включённым в тот цикл. Бенчмарк ведёт компания, чей собственный инструмент участвует в сравнении. Оператор раскрывает этот конфликт и публикует исходники, результаты и код, поэтому расчёт можно проверить. Итоговые места рейтинга в этой статье не используются.

DAMAGE изучал 19 инструментов и вручную описывал несколько образцов каждого. Авторы сами называют аудит качественным и неисчерпывающим. Эти наблюдения показывают виды ошибок, но не дают частоту каждой языковой проблемы на всём рынке.

Оба основных источника работают с английским текстом. Для русского языка нужны отдельные измерения на русском корпусе. Поэтому числа 54 и 31 нельзя переносить на русскоязычные сервисы как готовые проценты.

По опубликованным данным картина такая: в сентябрьском бенчмарке чаще всего срабатывали пороги, связанные с изменением длины. Следом идёт дрейф смысла. Ручной аудит добавляет к ним грамматику, точность слов, связность и авторский голос. Проверка результата на nesuho.ru строится вокруг этих зон риска: текст должен стать естественнее и при этом остаться тем же текстом по содержанию и задаче.

Источники

• HumanizerBench - рейтинг и опубликованные штрафы, сентябрь 2026
• HumanizerBench - методика v1.2.0
• HumanizerBench - исходники и результаты 462 обработок
• DAMAGE: Detecting Adversarially Modified ИИ Generated Text
• SearchLLM: Detecting LLM Paraphrased Text by Measuring the Similarity with Regeneration of the Candidate Source via Search Engine
• MASH: Evading Black-Box ИИ-Generated Text Detectors via Style Humanization