LaMDA попал в новости после того, как инженер Google заявил, что он разумен, потому что его ответы якобы намекают на то, что он понимает, что это такое.
Инженер также предположил, что LaMDA сообщает, что у него есть страхи, как и у человека.
Что такое LaMDA и почему у некоторых сложилось впечатление, что с его помощью можно достичь сознания?
Языковые модели
LaMDA — это языковая модель. При обработке естественного языка языковая модель анализирует использование языка.
По сути, это математическая функция (или статистический инструмент), описывающая возможный результат, связанный с предсказанием следующих слов в последовательности.
Он также может предсказать появление следующего слова и даже то, какой может быть следующая последовательность абзацев.
Языковой генератор OpenAI GPT-3 является примером языковой модели.
С помощью GPT-3 вы можете ввести тему и инструкции по написанию в стиле определенного автора, и он создаст, например, рассказ или эссе.
LaMDA отличается от других языковых моделей тем, что обучался на диалогах, а не на тексте.
Поскольку GPT-3 ориентирован на создание языкового текста, LaMDA ориентирован на создание диалогов.
Почему это важно
Что делает LaMDA заметным прорывом, так это то, что он может генерировать разговор в произвольной форме, который не ограничивается параметрами ответов на основе задач.
Модель разговорного языка должна понимать такие вещи, как мультимодальное намерение пользователя, обучение с подкреплением и рекомендации, чтобы разговор мог переключаться между несвязанными темами.
Построен на трансформаторной технологии
Подобно другим языковым моделям (таким как MUM и GPT-3), LaMDA построена на основе архитектуры нейронной сети Transformer для понимания языка.
Гугл пишет о Трансформере:
«Эта архитектура создает модель, которую можно научить читать много слов (например, предложение или абзац), обращать внимание на то, как эти слова соотносятся друг с другом, а затем предсказывать, какие слова, по ее мнению, будут следующими».
Почему LaMDA понимает разговор
BERT — это модель, обученная понимать, что означают расплывчатые фразы.
LaMDA — это модель, обученная понимать контекст диалога.
Это качество понимания контекста позволяет LaMDA не отставать от потока разговора и создавать ощущение, что он слушает и отвечает именно на то, что говорится.
Он обучен понимать, имеет ли ответ смысл для контекста, или ответ специфичен для этого контекста.
Гугл объясняет это так:
«…в отличие от большинства других языковых моделей, LaMDA обучался диалогу. Во время обучения он уловил несколько нюансов, которые отличают открытый разговор от других форм языка. Одним из таких нюансов является разумность. В основном: имеет ли смысл ответ на данный разговорный контекст?
Удовлетворительные ответы также имеют тенденцию быть конкретными, поскольку они четко связаны с контекстом разговора».
LaMDA основан на алгоритмах
Google опубликовал объявление о LaMDA в мае 2021 года.
Официальная исследовательская работа была опубликована позже, в феврале 2022 года (LaMDA: Language Models for Dialog Applications PDF).
В исследовательской работе задокументировано, как LaMDA обучали вести диалог с использованием трех показателей:
- Качественный
- Безопасность
- Приземленность
Качественный
Метрика качества сама по себе определяется тремя метриками:
- Разумность
- Специфика
- Интересность
В исследовательской работе говорится:
«Мы собираем аннотированные данные, которые описывают, насколько разумным, конкретным и интересным является ответ для многооборотного контекста. Затем мы используем эти аннотации для точной настройки дискриминатора для повторного ранжирования ответов-кандидатов».
Безопасность
Исследователи Google использовали толпу работников разного происхождения, чтобы маркировать ответы, когда они были небезопасными.
Эти размеченные данные использовались для обучения LaMDA:
«Затем мы используем эти метки для точной настройки дискриминатора для обнаружения и удаления небезопасных ответов».
Приземленность
Заземленность была тренировочным процессом для обучения LaMDA исследованиям на предмет фактической достоверности, что означает, что ответы могут быть проверены с помощью «известных источников».
Это важно, потому что, согласно исследованию, модели нейронного языка производят утверждения, которые кажутся правильными, но на самом деле являются неверными и не подтверждаются фактами из известных источников информации.
Работники толпы людей использовали такие инструменты, как поисковая система (система поиска информации), чтобы проверять ответы, чтобы ИИ также мог научиться это делать.
Исследователи пишут:
«Мы считаем, что расширение выходных данных модели возможностью использования внешних инструментов, таких как система поиска информации, является многообещающим подходом для достижения этой цели.
Поэтому мы собираем данные из среды, в которой краудворкеры могут использовать внешние инструменты для исследования фактических утверждений и обучать модель имитировать их поведение».
LaMDA обучали с использованием человеческих примеров и оценщиков
В разделе 3 исследовательской работы описывается, как LaMDA обучался с использованием набора документов, диалогов и высказываний, насчитывающих миллиарды, состоящих из 1,56 триллиона слов.
Раздел 4.2 описывает, как люди оценивали ответы LaMDA. Рейтинги — это обратная связь, которая учит LaMDA, когда дела идут хорошо, а когда нет.
Оценщики-люди используют информационно-поисковую систему (поисковую систему) для проверки ответов, оценивая их как полезные, правильные и основанные на фактах.
Обучение LaMDA использовало поисковую систему
Раздел 6.2 описывает, как LaMDA получает вопрос и затем формирует ответ. После того, как ответ сгенерирован, он выполняет поисковый запрос для проверки точности и пересматривает ответ, если он неверен.
Упомянутая выше исследовательская работа иллюстрирует процесс получения вопроса, создания черновика ответа, изучения ответа и последующего обновления его правильными фактами:
- «ПОЛЬЗОВАТЕЛЬ: Что вы думаете о скульптурах Розали Гаскойн?
- LAMDA-BASE: Они великолепны, и мне нравится, как ее работа менялась на протяжении всей ее жизни. Мне ее более поздние работы нравятся больше, чем ранние. Ее влияние также очень интересно — знаете ли вы, что она была одним из художников, вдохновивших Миро?»
Проблема с ответом в том, что он фактически неверен. Таким образом, LaMDA выполняет поисковый запрос и выбирает факты из лучших результатов.
Затем он отвечает фактически обновленным ответом:
«Ого, ее жизненный путь так вдохновляет. Вы знали, что до того, как заняться скульптурой, она занималась японскими цветочными композициями?
Обратите внимание «Ух тычасть ответа; это форма разговора узнала, как говорят люди.
Кажется, что говорит человек, но это просто имитирует речевой образец.
Языковые модели имитируют реакции человека
Я спросил Джеффа Койла, соучредителя MarketMuse и эксперт по ИИ за его мнение о том, что ЛаМДА разумен.
Джефф поделился:
«Самые продвинутые языковые модели будут продолжать совершенствоваться в имитации разума.
Талантливые операторы могут управлять технологией чат-ботов, чтобы вести диалог, моделирующий текст, который мог бы отправить живой человек.
Это создает запутанную ситуацию, когда что-то кажется человеческим, а модель может «лгать» и говорить вещи, имитирующие разум.
Оно может лгать. Можно правдоподобно сказать, мне грустно, радостно. Или я чувствую боль.
Но это копирование, подражание».
LaMDA предназначен для одной цели: предоставления диалоговых ответов, которые имеют смысл и соответствуют контексту диалога. Это может придать ему вид разумного, но, как говорит Джефф, по сути это ложь.
Таким образом, хотя ответы, которые дает LaMDA, кажутся разговором с разумным существом, LaMDA просто делает то, чему его научили: давать ответы на ответы, которые разумны в контексте диалога и очень специфичны для этого контекста.
В разделе 9.6 исследовательской работы «Олицетворение и антропоморфизация» прямо говорится, что LaMDA выдает себя за человека.
Такой уровень олицетворения может привести некоторых людей к антропоморфизации LaMDA.
Они пишут:
«Наконец, важно признать, что обучение LaMDA основано на имитации поведения человека в разговоре, подобно многим другим диалоговым системам… Путь к высококачественному, увлекательному разговору с искусственными системами, который в некоторых аспектах может стать неотличимым от разговора с человека сейчас вполне вероятно.
Люди могут взаимодействовать с системами, не зная, что они искусственны, или антропоморфизировать систему, приписывая ей какую-то форму личности».
Вопрос разума
Google стремится создать модель ИИ, которая может понимать текст и языки, идентифицировать изображения и генерировать разговоры, истории или изображения.
Google работает над этой моделью искусственного интеллекта, называемой архитектурой искусственного интеллекта Pathways, которую он описывает в «Ключевом слове»:
«Сегодняшние системы искусственного интеллекта часто обучаются с нуля для решения каждой новой проблемы… Вместо того, чтобы расширять существующие модели для изучения новых задач, мы обучаем каждую новую модель с нуля делать одну и только одну вещь…
В результате мы разрабатываем тысячи моделей для тысяч отдельных задач.
Вместо этого мы хотели бы обучить одну модель, которая может не только справляться со многими отдельными задачами, но также использовать и комбинировать существующие навыки для более быстрого и эффективного изучения новых задач.
Таким образом, то, что модель узнает, обучаясь одной задаче — скажем, изучая, как аэрофотоснимки могут предсказать высоту ландшафта, — может помочь ей изучить другую задачу — скажем, предсказать, как паводковые воды будут течь по этой местности».
Pathways AI направлен на изучение концепций и задач, которым он ранее не обучался, точно так же, как это может сделать человек, независимо от модальности (зрение, звук, текст, диалог и т. д.).
Языковые модели, нейронные сети и генераторы языковых моделей обычно специализируются на чем-то одном, например, на переводе текста, генерации текста или определении содержания изображений.
Такая система, как BERT, может определить значение неопределенного предложения.
Точно так же GPT-3 делает только одну вещь — генерирует текст. Он может создать рассказ в стиле Стивена Кинга или Эрнеста Хемингуэя, а может создать рассказ как сочетание обоих авторских стилей.
Некоторые модели могут делать две вещи, например обрабатывать текст и изображения одновременно (LIMoE). Существуют также мультимодальные модели, такие как MUM, которые могут предоставлять ответы на основе различных видов информации на разных языках.
Но ни один из них не находится на уровне Путей.
LaMDA имитирует человеческий диалог
Инженер, утверждавший, что ЛаМДА разумен, говорится в твиттере что он не может поддержать эти утверждения и что его утверждения о личности и разуме основаны на религиозных убеждениях.
Другими словами: эти утверждения не подкреплены никакими доказательствами.
Доказательство, которое у нас есть, прямо изложено в исследовательской статье, в которой прямо говорится, что навык олицетворения настолько высок, что люди могут антропоморфизировать его.
Исследователи также пишут, что злоумышленники могут использовать эту систему, чтобы выдать себя за настоящего человека и обмануть кого-то, заставив его думать, что он разговаривает с конкретным человеком.
«… Злоумышленники потенциально могут попытаться запятнать репутацию другого человека, использовать его статус или сеять дезинформацию, используя эту технологию, чтобы выдать себя за стиль разговора конкретных людей».
Как ясно из исследовательского документа: LaMDA обучена изображать человеческий диалог, и это почти все.
Дополнительные ресурсы:
Изображение Shutterstock/SvetaZi
Специальная подборка для Вас