Великий и ужасный детектор текста

Вас обманули. Вам дали гораздо лучший текст. Это сгенерированный текст!

Всем привет! Сегодня будем пытаться найти наиболее надежные детекторы сгенерированного текста. Выборка, увы и ах, небольшая - 3 эссе, а массовые проверки по АПВУЗ в штиль, даже по цене в 200 руб, умноженных на несколько сотен эссе - дело достаточно дорогое. 

Вводные данные

Темы эссе взяты на основе одного из заказов, по тем же требованиям, но с измененными темами. Для удобства были взяты темы: 

• Столяр будущего - кто он?
• Какими я вижу ВУЗы в 2035 году?
• Астрология - наука или искусство?

С требованиями: +- 2 стр А4, шрифт TNR14, отступ 1.5, по ширине. Сам текст эссе без форматирования представлен в файлах ниже. 

Используемый запрос: Напиши очень большое детальное научное эссе с множеством примеров из реальной жизни на тему "<указанная тема>".

Автор эссе

В данной статье тестируем GPT 3.5 от OpenAI, GPT 4 пока ограничен для всех по количеству запросов на единицу времени (если веб-версия), или частично неудобный и дорогой (если через API). Остальные языковые модели или ограничены одним\несколькими языками (PaLM, Bard от Google), или обучены на явно меньшем количестве данных(YaLM от Yandex).

Системы проверки: 

• https://contentatscale.ai/ai-content-detector/
• https://edubirdie.com/ai-content-detector/
• https://copyleaks.com/ru/ai-content-detector
• https://smodin.io/ru/ai-детектор-контента
• https://corrector.app/ru/детектор-контента-ии/
• https://platform.openai.com/ai-text-classifier
• И конечно центр внимания - АП.ВУЗ (https://users.antiplagiat.ru/tariffs -> Full)

Т.к. некоторые системы проверки выдают ответ вида "вероятно, текст сгенерирован" (без четких утверждений), то допускаем, что все варианты "(очень \ средне \ ..) вероятно, что текст сгенерирован" - приравниваем к "текст сгенерирован ИИ". Соответственно, (мало \ не очень \ ..) - приравниваем к "текст написан человеком". 

Попытки поиска и сравнения

1. Находим стартовую оригинальность

Для сравнения берем еТХТ, глубокая проверка, слов в шингле - 3. 

• "ВУЗы" - 97/97% (с/без перефраза),
• "Столяр" - 99/98%,
• "Астрология" - 96/96%

2. Теперь очередь более специализированных инструментов:

• 50/50: не определено точно,
• V: >50% вероятности что сгенерировал робот,
• X: >50% что написал человек.

3. И конечно же берем АПВУЗ (список модулей прикреплен ниже): 

• "ВУЗы" - 96/2/2% (оригинальность / схожесть / цитирования, параметры округлены),
• "Столяр" - 100/0/0%,
• "Астрология" -98/0/2%.

"Великий и ужасный" показал, что все 3 текста - написаны человеком. О как!

Как видим, сгенерировать текст явно проще, чем показать, что он - сгенерирован. Даже казалось бы тем, кто генератор текста ранее и создал - OpenAI. На данный момент лидируют:

CopyLeaks

Который даже выделяет красным куски текста, которые могут быть сгенерированы:

Content At Scale

Аналогично №1, но еще и выдает расчеты неких параметров:

Smodin

В целом - похож на №1 и №2, также имеет ужасное ограничение в 5 проверок\день, но при этом визуализация результатов сделана более отчетливо:

Что же делать "идейным борцам за денежные знаки"?

Очевидно - жить стало лучше, жить стало веселей. Абсолютно все текстовые работы без проверки на антигенераторах могут быть что..? Правильно, сгенерированы. Сюда попадают как фабрики однотипных заданий (ТУСУР, РосДистант, частично Витте, ММУ, ..), так и большинство курсовых и других вариантов "научной" деятельности.

На данный момент не под угрозой курсовые по техническим предметам (если расчеты, то считать GPT3.5 не может. GPT4 - научили), чертежи и работы с большой графической частью. Также не могут быть сгенерированы работы по юриспруденции (НПА/ФЗ обновляются быстрее чем модели).

Но самое важное, что уже можно сказать точно - следующий сезон будет сезоном демпинга.

Причина? Скорость написания / генерации!

• GPT3: около 10-15 секунд / эссе,
• Человек: ориентировочно 5-10 минут / эссе.

Производительность на пустом месте в +-60 раз не увеличивается :)