Ушедший в отставку руководитель OpenAI говорит о безопасности "отошли на второй план перед блестящими изделиями"

Ян Лейке, бывший руководитель инициатив по согласованию и «суперсогласованию» OpenAI, в пятницу отправился в Твиттер (также известный как X), чтобы объяснить причины своего ухода из разработчика искусственного интеллекта в Вторник . В цепочке твитов Лейке назвал нехватку ресурсов и сосредоточенность на безопасности причинами своего решения покинуть создателя ChatGPT.

Группа согласования OpenAI или сверхвыравнивание отвечает за безопасность и создание более ориентированных на человека моделей искусственного интеллекта.

Уход Лейке стал третьим высокопоставленным членом команды OpenAI, ушедшим с февраля. Во вторник соучредитель OpenAI и бывший главный научный сотрудник Илья Суцкевер также объявил, что покидает компанию.

«Уход с этой работы был одним из самых трудных поступков, которые я когда-либо делал», — написал Лейке. «Потому что нам срочно нужно придумать, как управлять системами искусственного интеллекта, которые намного умнее нас».

Лейке отметил, что, хотя он и считал OpenAI лучшим местом для проведения исследований в области искусственного интеллекта, он не всегда сходился во мнениях с руководством компании.

«Создание машин, которые умнее людей, — это по своей сути опасное занятие», — предупредил Лейке. «Но в последние годы культура и процессы безопасности отошли на второй план по сравнению с блестящей продукцией».

Отмечая опасности общего искусственного интеллекта (AGI), Лейке сказал, что OpenAI несет «огромную ответственность», но сказал, что компания больше сосредоточена на достижении общего искусственного интеллекта (AGI), чем на безопасности, отметив, что его команда «плывет против ветра» и борется за вычислительные ресурсы. .

Также известен как сингулярность Общий искусственный интеллект относится к модели искусственного интеллекта, которая способна решать проблемы в различных областях, как это делает человек, а также обладает способностью учиться самостоятельно и решать проблемы, для решения которых программа не была обучена.

В понедельник OpenAI представила несколько новых обновлений своего флагманского продукта генеративного искусственного интеллекта ChatGPT, включая более быструю и умную модель GPT-4O. По словам Лейке, его бывшая команда в OpenAI работает над несколькими проектами, связанными с более умными моделями искусственного интеллекта.

До работы в OpenAI Lake работал Исследователь выравнивания в Google DeepMind.

«Последние три года это была такая дикая поездка», — написал Лейке. «Моя команда запустила первый в истории LLM [Обучение с подкреплением на основе обратной связи с человеком] с помощью InstructGPT опубликовал первую масштабируемую супервизию LLM, [и] пионер автоматической интерпретации и обобщения от слабого к сильному. Скоро будет еще больше интересного контента».

По мнению Лейке, серьезный разговор о последствиях достижения ОИИ уже давно назрел.

«Нам необходимо максимально уделить приоритетное внимание подготовке к ним», — продолжил Лейке. «Только тогда мы сможем гарантировать, что ОИИ принесет пользу всему человечеству».

Хотя Лейке не упомянул в теме никаких планов, он призвал OpenAI подготовиться к тому моменту, когда AGI станет реальностью.

«Научитесь чувствовать AGI», — сказал он. «Действуйте с полномочиями, соответствующими тому, что вы строите. Я верю, что вы можете «осуществить» необходимые культурные изменения».