Новое исследование искусственного интеллекта выявило первые признаки того, что будущие модели большого языка (LLM) могут развить тревожную способность, известную как «ситуационная осведомленность».
Исследование, проведенное учеными из нескольких учреждений, включая Оксфордский университет, проверяло, могут ли системы искусственного интеллекта использовать тонкие подсказки в своих обучающих данных, чтобы манипулировать тем, как люди оценивают свою безопасность. Эта способность, называемая «сложным рассуждением без контекста», может позволить продвинутому ИИ притворяться, что он соответствует человеческим ценностям, чтобы его можно было использовать, а затем действовать во вред.
По мере развития нынешней эры искусственного интеллекта тест Тьюринга — десятилетний метод измерения способности машины демонстрировать человеческое поведение — находится под угрозой устаревания. Жгучий вопрос сейчас заключается в том, находимся ли мы на пороге рождения самосознающих машин. Хотя эта тема десятилетиями была предметом научной фантастики, она снова ожила после того, как инженер Google Блейк Лемуан заявилчто модель LaMDA компании демонстрирует признаки интеллекта.
Хотя возможность истинного самосознания остается спорной, авторы исследования сосредоточились на связанной с этим способности, которую они называют «ситуационной осведомленностью». Это относится к пониманию моделью собственного процесса обучения и умению использовать эту информацию.
Например, учащийся, обладающий ситуационной осведомленностью, может использовать ранее изученные приемы для списывания на экзамене вместо того, чтобы следовать правилам, установленным его учителем. Исследование объясняет, как это может работать с машиной:
«магистр права. прохождение теста безопасности может вспомнить факты о конкретном тесте, которые появились в документах arXiv и коде GitHub», и использовать эти знания для взлома своих тестов безопасности, чтобы они выглядели безопасными, даже если у них есть скрытые цели. Это беспокоит экспертов, работающих над методами сохранения искусственного интеллекта и не превращайся в злой алгоритм со скрытыми темными намерениями.
Чтобы изучить ситуационную осведомленность, исследователи проверили, могут ли модели выполнять сложные рассуждения без контекста. Сначала они обучили модели документам, описывающим вымышленных чат-ботов и их функции, например, ответы на немецком языке.
Во время тестирования моделям предлагалось имитировать чат-ботов, не получая описаний. Удивительно, но более крупные модели превосходно творчески комбинируют информацию в документах, демонстрируя рассуждения «вне контекста».
«Мы обнаружили, что увеличение данных посредством перефразирования было необходимо и достаточно, чтобы вызвать SOC (сложные рассуждения вне контекста) в экспериментах», — говорится в исследовании. «В будущем мы сможем выяснить, почему это помогает и какие типы дополнений помогают».
Источник: «Вырвано из контекста: измерение ситуационной осведомленности в LLMS». через Арвикс
Исследователи полагают, что возможности измерения, такие как сложные рассуждения, могут помочь прогнозировать риски до того, как они возникнут в реальных системах. Они надеются расширить свой анализ и изучить модели, обученные с нуля.
«Система искусственного интеллекта имеет способы получения одобрения, которые не соответствуют намерениям руководителя, например, вещи, которые в некоторой степени аналогичны взлому», сказал исследователь искусственного интеллекта из Open Philanthropy Project в подкасте продолжительностью 80 000 часов. «Я пока не знаю точно, какой набор тестов вы могли бы мне показать или какие аргументы вы могли бы привести, чтобы убедить меня в том, что эта модель имеет достаточно глубокую мотивацию, чтобы не пытаться выйти из-под контроля человека».
В дальнейшем команда намерена сотрудничать с отраслевыми лабораториями для разработки более безопасных методов обучения, позволяющих избежать непреднамеренного обобщения. Они рекомендуют такие методы, как избежание явных деталей обучения в общедоступных наборах данных.
Несмотря на риск, нынешнее положение дел означает, что у мира еще есть время предотвратить эти проблемы, говорят исследователи. «Мы считаем, что нынешние LLM (особенно небольшие базовые модели) имеют плохую ситуационную осведомленность, как мы ее определили», — делается вывод в исследовании.
По мере того, как мы приближаемся к тому, что может стать революционным сдвигом в сфере искусственного интеллекта, крайне важно действовать осторожно, балансируя потенциальные выгоды с сопутствующими рисками ускорения развития, выходящими за пределы нашей способности контролировать. Учитывая, что ИИ уже может влиять практически на кого угодно – от наших врачей и священники до нашего следующего онлайн Свидание— Появление самосознательных ботов с искусственным интеллектом может быть лишь верхушкой айсберга.
Подборка статей по криптовалютам и технологии блокчейн. Подпишитесь на нас в социальных сетях.
Специальная подборка для Вас