Сравнение 16 лучших детекторов контента AI и ChatGPT

По мере того, как ежедневно появляются новые альтернативы ChatGPT, детекторы контента AI также набирают популярность.

В этой статье я поделюсь 16 из этих детекторов и покажу вам, как они оценивают некоторые абзацы моего оригинального неопубликованного письма по сравнению с несколькими абзацами на ту же тему из ChatGPT.

Я также расскажу о типах функций, для которых детекторы ИИ подходят (и не подходят), и о том, как маркетологи, редакторы и оптимизаторы должны думать о них.

Как я подробно описал в других статьях, генеративный контент AI и ChatGPT создает несколько проблем:

• Информация, сгенерированная ИИ, может быть фактически неверной, опасной, устаревшей или вводящей в заблуждение.
• Результаты записи ИИ могут быть некачественными.
• Хотя за контент с искусственным интеллектом не предусмотрено явных наказаний, Google не всегда может доверять ему и рассматривать его как контент, созданный людьми.
• Контент ИИ может «обмануть» редакторов или компании, которые думают, что платят за контент, созданный людьми.
• Контент ИИ может использовать творческую работу людей и перепрофилировать ее без указания авторства.

Важно отметить, что современные детекторы ИИ не решают всех этих проблем.

В большинстве случаев эти инструменты не проверяют факты контента ИИ, не улучшают и не проверяют качество контента и не предоставляют ссылки на информацию, полученную из других источников.

Тем не менее, области, в которых могут помочь детекторы ИИ, включают:

• Плагиат : многие из этих инструментов имеют встроенную функцию обнаружения плагиата, поэтому есть некоторая проверка того, был ли контент ИИ в значительной степени взят из другого источника.
• Предотвращение штрафов . Если вы обеспокоены тем, что содержание ИИ каким-либо образом обесценивается в результатах поиска, эти инструменты могут помочь вам понять, насколько легко обнаружить содержание ИИ. (Конечно, у Google, несомненно, будут другие инструменты и проверки.)
• Аудит использования ИИ . Если у вас есть определенная политика или способ компенсации авторам оригинального контента по сравнению с контентом, созданным ИИ, эти инструменты могут дать вам приблизительное представление о том, использует ли писатель ИИ для создания контента. (Обратите внимание, что они также могут возвращать ложные отрицательные и положительные результаты.)
• Понимание результатов поиска: некоторые из этих инструментов предлагают расширения Chrome, которые могут помочь вам понять, используют ли конкуренты и другие веб-сайты контент AI или нет.

Как работает программное обеспечение для обнаружения ИИ

Каждый инструмент отличается и имеет свой подход к проблеме. Но по большей части средства обнаружения ChatGPT оценивают контент в зависимости от того, насколько предсказуем выбор фраз в фрагменте контента.

Другими словами, вероятность того, что контент оценивается как ИИ, а не как человек, во многом зависит от того, сочтет ли программное обеспечение для обнаружения текст написанным в соответствии с вероятным шаблоном, которому ИИ будет следовать при создании контента.

Две основные концепции этого процесса называются:

• Взрывность : предсказуемая длина и темп структуры предложения.
• Недоумение : случайность слов, выбранных в предложении или наборе предложений.

Например, в эссе об основании Америки крайне маловероятно, что генеративный ИИ будет включать в себя случайный, неровно написанный анекдот о том, как они впервые увидели пингвина, так что это, вероятно, будет выглядеть, как человек пишет в инструмент обнаружения.

Подобно тому, как появились детекторы ChatGPT для обнаружения генеративного письма ИИ, уже разрабатываются инструменты для обхода детекторов. (И, конечно: детекторы, вероятно, уже думают о том, как обнаружить обходчиков и так далее).

Такие инструменты, как Undetectable или Quillbot, будут переписывать ваш контент, что иногда затрудняет его обнаружение для определенных инструментов обнаружения ИИ.

Кроме того, несколько человек нашли разные подсказки, чтобы заставить ChatGPT и другие инструменты для письма с искусственным интеллектом выводить контент, который оценивается как «более человеческий» по шкале «человек-ИИ», используя подсказки, определяющие всплеск и недоумение, и говоря ChatGPT писать с большим количеством каждого из них.

Для вас важна точность обнаружения?

Важный вопрос, на который нужно ответить, прежде чем углубляться в эти инструменты:

Насколько вы заботитесь о том, чтобы определить, написан ли контент искусственным интеллектом? И почему?

Если вы используете ChatGPT для перезаписи тегов заголовков или создания копии электронной почты, может быть, вообще не имеет значения, «проходит» ли этот контент проверки написания AI.

Кроме того, если писатель использует ИИ для создания копии, и она великолепна, возможно, оценка вообще не важна.

Эти инструменты обнаружения, вероятно, будут участвовать в «гонке вооружений обнаружения» с инструментами необнаружения и подсказками, о которых я упоминал выше.

Сравнение лучших детекторов письма ИИ

Если вы все еще ищете детектор контента AI/ChatGPT, мы рассмотрим каждый из них и их «оценку» при оценке копии, созданной человеком, по сравнению с копией ИИ по сравнению с копией ИИ, которая использовала эту подсказку, чтобы попытаться «превзойти обнаружение». .»

Примечание . Обнаружение нескольких абзацев контента не обязательно является тщательной проверкой возможностей обнаружения этих инструментов. Надеюсь, это даст вам общее представление о том, как они оценивают различный контент, и представление о диапазоне результатов, которые вы можете ожидать от таких инструментов.

(Вы можете просмотреть фактические образцы, введенные в инструмент — образец «человека», написанный мной, образец «ИИ», написанный ChatGPT через GPT-4, и обновленную копию, основанную на той же теме, здесь.)

В приведенной ниже таблице вы можете увидеть, как каждый инструмент оценил копию, которую я написал с нуля, копию, которую я взял непосредственно из ChatGPT без модификации подсказки, и ту же самую копию, измененную с помощью подсказки «недоумение и взрывоопасность»:

Ниже приведен краткий обзор инструментов, включенных в таблицу, и некоторых из их основных функций.

1. Originality.AI

Originality.AI — это платный инструмент, описанный как «самый точный детектор контента AI и средство проверки на плагиат, созданный для серьезных издателей контента».

Это стоит 0,01 доллара за кредит, который сканирует 100 слов. Он также имеет сканер плагиата наряду со сканером AI.

Как видно из приведенной выше диаграммы, это единственный сканер ИИ со 100% уверенностью в том, что человеческий контент был человеческим и что контент ИИ был ИИ (при этом он был правильным во всех случаях).

Hive Moderation (обсуждаемый далее в статье) по существу пришел к тому же выводу с оценкой ИИ 0% для человеческого контента и 99,9% уверенностью в том, что два текста, сгенерированные ИИ, были ИИ.

Помимо расширения Chrome и общей оценки, Originality.AI добавила функцию, выделяющую определенные разделы вставляемого вами контента, которые, по его прогнозам, будут или не будут ИИ.

Я использую этот инструмент чаще всего для личной проверки содержания ИИ. Мой самый частый случай использования — это проверка контента, представленного внештатными авторами, с которыми мы работаем, на наличие искусственного интеллекта и плагиата.

2. Писатель

Writer предлагает бесплатный детектор, который работает до 1500 символов и требует доступа к API для большего количества.

Этот инструмент, по сути, считал, что все представленные материалы относительно вероятно были созданы человеком.

Writer — это платформа для письма с искусственным интеллектом, а бесплатный детектор контента также позволяет вам ввести URL-адрес для проверки.

В этом инструменте напрямую нет функции плагиата, и он дает вам общий балл, но не отмечает определенные разделы как вероятные или маловероятные для создания ИИ.

3. Детектор контента AI для копирования

Детектор контента Copyleaks AI имеет несколько интересных функций:

• Это дает вам общий вердикт (человек или ИИ).
• Если вы наведете курсор на определенный текст, это даст вам процентную вероятность того, что текст написан человеком, а не копией ИИ.
• Он предварительно загружает примеры для разных GPT и человеческих выходов, чтобы показать вам, как работает инструмент.
• Есть расширение для Chrome.

Инструмент бесплатный, и хотя одно сканирование не делает и то, и другое, есть также детектор плагиата.

Он точно идентифицировал большую часть контента, созданного человеком, как человека, а большую часть контента, созданного ИИ, как ИИ. Однако он не всегда был уверенным, а на отдельных участках был неверным.

4. Классификатор текста AI от OpenAI

AI Text Classifier — это бесплатный инструмент от OpenAI, компании, которая создала GPT (на котором работают многие генеративные инструменты AI) и ChatGPT.

Если вы думали, что компания, производящая самые популярные инструменты искусственного интеллекта, будет иметь самый точный детектор, это не соответствовало действительности для нашего теста.

Инструмент идентифицировал человеческий контент как «крайне маловероятно» как сгенерированный ИИ, но определял контент с собственной платформы OpenAI как «неясный», если он был сгенерирован ИИ, и «маловероятно» сгенерированный ИИ с дополнительным запросом и без него.

Инструмент бесплатный (вам нужна учетная запись OpenAI). Там не так много наворотов и нет проверки на плагиат.

Вы получаете результат (как на скриншоте), но не точный счет. Он также не будет выделять определенные разделы копии для их индивидуальной вероятности того, что они созданы ИИ или нет.

5. Кроссплаговый детектор контента AI

Crossplag предлагает несколько бесплатных сканирований без учетной записи. При входе в систему вы получите неограниченное количество бесплатных сканирований. Инструмент дает общий балл, но не предлагает возможности проверки на плагиат или пометки отдельных разделов контента.

Crossplaq идентифицировал содержание человека и ИИ как 99% человека. Стоит отметить, что инструмент неоднократно заявляет, что он лучше работает с длинным текстом.

Наши образцы здесь были выше их минимальной рекомендации в 200 символов, но были короче.

6. GPTZero

GPTZero имеет бесплатную и платную версии. Бесплатная версия дает вам оценку и имеет несколько предварительно загруженных примеров.

Платная версия также предлагает проверку на плагиат, выделяя контент ИИ и возможность массовой загрузки нескольких фрагментов контента (который на самом деле предназначен для школьной среды, как и многие из этих инструментов).

Цены на платные инструменты не указаны на веб-сайте, но вы можете заполнить формы, чтобы запросить доступ к платному инструменту и API.

Бесплатная версия инструмента идентифицировала все три наших образца письма как полностью человеческие.

7. ИИ-детектор саженцев

Sapling AI Detector предлагает бесплатную и платную версии, расширение Chrome, API, общий балл и выделение предложений.

Саплинг определил человеческий контент как в основном человеческий, а контент ИИ — как почти полностью ИИ. Тем не менее, он определил, что «недоумевающий» и «взрывной» контент ChatGPT с высокой вероятностью принадлежит человеку.

8. Контент в AI Detector от Scale

Content at Scale AI Detector является бесплатным и предлагает оценку с разбивкой по различным элементам контента (предсказуемость, вероятность и закономерность) и предварительно заполненным примерам.

Параметр обнаружения плагиата отсутствует, и отдельные разделы контента не выделены.

Content at Scale оценил все три образца как 92% человека или выше.

У человека был самый высокий процент людей, за ним следовал контент GPT, модифицированный подсказкой, и контент, сгенерированный самой простой подсказкой.

9. Нулевой GPT

ZeroGPT — это бесплатный инструмент, который предлагает общий балл и выделение, но не обнаруживает плагиат.

Инструмент вернул низкий процент вероятности, сгенерированной ИИ, по всем направлениям. Это примерно соответствовало человеческому характеру образцов: образец, созданный человеком, получил самый низкий процент ИИ, за которым следовала подсказка о всплеске / недоумении, а затем более простая подсказка).

10. ГЛТР

GLTR, или «Giant Language Model Test Room», — это бесплатный инструмент, разработанный совместно Хендриком Стробелтом, Себастьяном Германом и Александром Рашем из лаборатории искусственного интеллекта Watson MIT-IBM и Harvard NLP.

Инструмент предлагает некоторую общую оценку, но в основном показывает, было ли каждое слово в тексте одним из 10, 100, 1000 или вне 1000 наиболее вероятных слов, которые будут сгенерированы ИИ на основе предшествующего контекста в тексте. Здесь нет функции плагиата.

Инструмент вернул наибольшее количество «вероятных слов» и особенно вероятных слов в первой десятке для текста, сгенерированного более простой подсказкой.

Тем не менее, в этом небольшом тесте распределение для человека и дополнительной подсказки было аналогичным.

11. Детектор ChatGPT на обнимающемся лице

Это бесплатный детектор, который дает общий прогноз и оценку. В нем нет плагиата или выделения функций.

Этот инструмент сгенерировал более 99,9% вероятности человеческого содержания для всех трех образцов.

12. Корректор AI Content Detector

Corrector AI Detector — это бесплатный инструмент с ограничением количества слов в 600 и процентной оценкой. В инструменте нет плагиата или выделения функций.

Инструмент помечал каждый из образцов с очень низкой процентной вероятностью того, что он «подделка» или искусственный интеллект.

13. Детектор Writefull GPT

Writefull GPT Detector — это бесплатный инструмент с простой оценкой и доступом к API. Нет выделения и обнаружения плагиата.

Все три образца оказались вероятными людьми, но в них был контент ChatGPT с самой простой подсказкой с наибольшей вероятностью ИИ (19%).

14. Обнаружение контента, созданного искусственным интеллектом, в Hive Moderation

Инструмент Hive Moderation AI-Generated Content Detection предоставляется бесплатно (с ограничениями по количеству символов и необходимостью входа в систему после нескольких использований).

Он не предлагает плагиата или выделения, но позволяет вам разбивать контент по разделам и получать оценки для конкретных сегментов.

По сути, Hive правильно оценил каждый образец письма с вероятностью 0%, что это ИИ для человеческого контента, и 99,9% для образцов ИИ.

(Только Originality.AI имел аналогичный уровень достоверности, будучи точным во всех выборках.)

15. Инструмент перефразирования AI Content Detector

Инструмент перефразирования — это переписчик, и они предлагают этот бесплатный детектор контента AI с общим выводом и выделением и без функций плагиата.

Инструмент перефразирования пришел к выводу, что каждый текст, вероятно, был написан человеком.

16. Проверка записи ИИ

Проверка письма AI — это бесплатный инструмент, который предлагает оценку, имеет максимальное количество слов и не имеет выделения текста для функций вероятности AI или плагиата.

AI Writing Check идентифицировал все три образца письма как человеческие.

Основные выводы из тестирования 16 средств проверки контента AI и ChatGPT

Опять же, важно оговорить здесь мои основные выводы, потому что три коротких образца письма — очень маленькие образцы, чтобы делать однозначные выводы об отдельных инструментах.

Тем не менее, я обнаружил несколько интересных паттернов, связанных с детекторами записи ИИ в целом:

• Калибровка: большинство инструментов обнаружили, что все три образца письма либо с высокой вероятностью, либо с очень малой вероятностью принадлежат человеку. Различные инструменты, вероятно, будут «более сложными» или «более мягкими» оценщиками, когда дело доходит до оценки контента, созданного человеком, по сравнению с ИИ, поэтому понимание того, как калибруется инструмент, может помочь определить, насколько они полезны.
• Самые редкие функции : несколько редких функций в инструментах — это такие вещи, как массовая загрузка, обнаружение плагиата, наличие расширения Chrome и выделение определенных разделов с вероятностью того, что это ИИ, а не человек.
• Бесплатные и платные : все представленные здесь инструменты, кроме Originality.AI, имеют по крайней мере бесплатные версии. Но инструменты с наиболее точными результатами и самыми «редкими функциями», как правило, были инструментами с платной версией.

Я бы рекомендовал следить хотя бы за несколькими из этих инструментов, если вы считаете обнаружение ИИ полезным в своих проектах.

Скорость инноваций в создании, редактировании и обнаружении контента с помощью ИИ может быстро сделать ваш любимый инструмент устаревшим.