Что сильнее выдает LLM - начало, середина или конец текста?

Финальное «Таким образом» сразу бросается в глаза. За ним часто следует аккуратный повтор уже сказанного, и читателю кажется, что он узнал почерк нейросети. Но такую концовку легко найти и в человеческих сочинениях. Она подсказывает, где нужна редактура, однако почти ничего не говорит об авторстве остальных абзацев.

В исследовании EMNLP 2025 наиболее информативной оказалась середина текста. После выравнивания длины фрагментов там обнаруживались более заметные различия между человеческой и машинной речью. Это проверяли на новостях, эссе и письмах. Вывод оказался связан с тем, как на протяжении текста меняются содержание и стиль.

Что именно сравнили исследователи

Команда Нафиса Иртизы Трипто и соавторов изучила 19 156 англоязычных текстов. Из них 4 338 написали люди и 14 818 были сгенерированы моделями. В работу вошли новости Reuters, письма из корпуса Enron и школьные эссе Persuade. Для машинных версий использовали GPT-3.5, PaLM, LLaMA 2 и Mistral 7B.

Каждый текст разделили на вступление, основную часть и заключение. Затем авторы измеряли лексические и синтаксические особенности, изменения тональности, предсказуемость слов и другие характеристики. Для оценки распознавания применили шесть алгоритмов, среди которых GPTZero, MAGE, RADAR, Binoculars, GPT-Who и специально обученный классификатор BERT.

У такого исследования есть особенность. В новостной заметке, электронном письме и школьном сочинении вступление решает разные задачи. Поэтому результаты по жанрам анализировали отдельно. Авторы также использовали два способа контроля длины фрагментов, чтобы объем основной части не определял вывод заранее.

Что получилось при повторном подсчете результатов

В таблице 5 исследования опубликован показатель F1 для нескольких вариантов проверки. Мы сопоставили две строки каждого из трех жанров по всем шести детекторам. В первом варианте алгоритм получал только основную часть, во втором - соединенные вступление и заключение. Всего получилось 18 сопоставлений.

Середина дала более высокий F1 в 15 из 18 сопоставлений. Дважды она уступила, еще один раз результат совпал. Ниже число алгоритмов, у которых основная часть оказалась информативнее соединенных начала и конца.

Жанр	Где середина лучше	Исключения
Новости Reuters	6 из 6	Нет
Письма Enron	5 из 6	У BERT результат ниже
Эссе Persuade	4 из 6	У GPTZero ниже, у BERT равен

Это самостоятельный подсчет по таблице 5 опубликованной работы, а исходные оценки получены авторами исследования. Например, для новостей F1 у GPTZero составил 0,85 на основной части и 0,76 на объединенных вступлении и заключении. В письмах у обученного BERT значения составили 0,93 и 0,96 соответственно, так что универсального победителя для каждого алгоритма нет.

F1 объединяет точность положительных срабатываний и полноту обнаружения. Он характеризует работу алгоритма на конкретной выборке. По этому числу нельзя рассчитать вероятность того, что отдельно взятый текст написал человек или нейросеть.

Почему длина фрагмента меняет картину

Основная часть длиннее вступления и финала. В исходной разметке исследования на нее приходилось от 56 до 70% слов в зависимости от жанра и происхождения текста. У детектора появлялось больше материала для анализа. Это могло повысить результат независимо от расположения фрагмента.

Исследователи повторили сравнение в условиях, где части имели сопоставимую длину. В одном варианте тексты делили на три равные части, сохраняя границы предложений. В другом брали отрывок из середины, близкий по объему к вступлению и заключению. При таком контроле различия между человеческими и машинными фрагментами в середине оставались наиболее заметными по исследованным стилистическим характеристикам. Авторы также обнаружили у нее меньшую долю пропусков машинного текста при детекции.

Есть и отдельная проверка внутри самого классификатора. Исследователи оценили вклад слов в итоговое решение обученного BERT. При делении текстов на равные отрезки средняя значимость слов в средней трети оказалась выше, чем на краях. Это подтверждает результат для использованного алгоритма, хотя не превращает его в правило для любой модели.

Чем середина отличается от вступления и финала

Вступление часто следует условностям жанра. Новость сообщает главный факт, письмо задает тон обращения, учебное эссе представляет тему. Модель может воспроизвести подобную схему. Человеческий автор тоже ее знает. Поэтому гладкое начало само по себе слабо помогает установить происхождение текста.

Финал устроен похоже. Он подводит итог, возвращается к основному вопросу или завершает общение. Встречается и чисто формальная концовка, которая почти дословно повторяет предыдущие абзацы. Редактор вправе сократить такой фрагмент независимо от того, кто его написал. Повторяющаяся формула здесь служит основанием для правки, но не доказательством генерации.

В середине текст вынужден выполнять основную работу. Новость развивает сообщение деталями и связями между событиями. Эссе обосновывает позицию. Письмо объясняет обстоятельства просьбы или договоренности. Для анализа важна последовательность содержательных переходов, а также изменение языковой манеры при переходе от одного аргумента к другому.

В исследовании люди в целом сильнее меняли стилевые характеристики между частями документа. У машинных текстов переходы чаще сохраняли сходный профиль. Авторы измеряли этот эффект через характеристики лексики, формы предложений, тональности и движения содержания. Отдельное слово или один оборот не отражают такой закономерности. Она видна при сравнении нескольких соседних фрагментов.

Как читать середину без автоматического детектора

Начните с нескольких подряд идущих абзацев после вступления. Посмотрите, что каждый из них добавляет к общему вопросу. Два абзаца могут быть грамматически разными, но сообщать одно и то же. Другой случай возникает, когда связка между ними выглядит уверенно, а причинная связь отсутствует. Оба недостатка стоит исправлять даже в человеческом тексте.

Далее сопоставьте середину с началом и финалом. Меняется ли точность формулировок, когда автор переходит от общих утверждений к фактам? Возвращаются ли в заключении действительно рассмотренные мысли? Остается ли выбранный тон уместным в разных частях? Это полезные редакторские вопросы, подсказанные результатами исследования. Ответы на них помогают оценить качество и цельность изложения. Установить автора по таким наблюдениям нельзя.

Повторы в нескольких частях можно сравнивать по одной задаче. Если редакционный стандарт требует одинаковых формулировок, такая схожесть объясняется устройством материала. Смысловые разрывы и потерянные аргументы все равно требуют правки независимо от способа написания.

Когда середина перестает быть главным ориентиром

Есть тексты без выраженной середины. В коротком отзыве или сообщении трудно отделить три самостоятельные части. По мере уменьшения объема становится меньше и материала для сравнения ритма, словаря и переходов. Поэтому результаты на длинных новостях и эссе не стоит применять к двум предложениям в чате.

Другая ситуация - смешанное авторство. Человек мог написать основную часть самостоятельно, а попросить модель придумать вступление. Возможен и обратный порядок. В исследовании AAAI 2023 года люди пытались находить границу, где человеческий текст продолжается машинным. Участники нередко ошибались, а результаты заметно различались между людьми. Само расположение машинного фрагмента не гарантирует, что он будет распознан.

Наконец, данные EMNLP относятся к англоязычным материалам и поколениям моделей, использованным в эксперименте. Для русского языка нужен отдельный сопоставимый тест. Российский проект RuATD показал, как можно исследовать машинные тексты на русском и различать генераторы, но задача сравнения трех позиций в этой работе не ставилась. Поэтому численного рейтинга частей русского текста из этих результатов не следует.

Что в итоге проверять первым

Для развернутой статьи или эссе середина - хорошее место, чтобы начать редакторскую проверку. В исследовании именно там обнаружили наибольшие различия между машинным и человеческим изложением после контроля длины. Затем стоит прочитать начало и финал вместе с основной частью. Сравнение покажет, как материал развивается и сохраняет ли смысловые связи.

Если задача состоит в улучшении текста, полезнее отмечать повторы, провалы в аргументации и одинаковые переходы между абзацами. Для этого подойдет и подборка из 30 ручных проверок. А при споре об авторстве стоит учитывать ложные срабатывания детекторов и сведения о процессе написания. Самая подозрительная концовка иногда оказывается просто обычной концовкой.

Источники

• Tripto N. I. и соавторы. Beyond Checkmate: Exploring the Creative Choke Points for AI Generated Texts. EMNLP, 2025. Таблицы 1 и 5, рисунки 2, 4 и 5.
• Dugan L. и соавторы. Real or Fake Text? Investigating Human Ability to Detect Boundaries between Human-Written and Machine-Generated Text. AAAI, 2023.
• Shamardina T. и соавторы. Findings of the RuATD Shared Task 2022 on Artificial Text Detection in Russian. 2022.