Инженеры по искусственному интеллекту Meta все больше разочаровывались из-за медленного времени сборки и неэффективных процессов распространения, снижающих их производительность. Теперь компания представила решения, разработанные ее инженерами для максимизации эффективности.
Рабочие процессы инженеров по машинному обучению Meta состоят из итеративной проверки кода, написания новых алгоритмов, построения моделей, упаковки результатов и тестирования в среде удаленного выполнения Meta. По мере того, как модели машинного обучения и кодовые базы приложений Meta становились все сложнее, инженеры компании столкнулись с двумя основными болевыми проблемами: медленными сборками и неэффективным распространением.
Старые версии кодовых баз не кэшируются так эффективно в инфраструктуре сборки Meta, что часто требует обширных пересборок. Компания заявляет, что проблема усугубляется недетерминированностью сборки. Различия в результатах одного и того же исходного кода делают бесполезным кэширование артефактов предыдущей сборки.
Распространение также было проблемой, поскольку исполняемые файлы Python обычно упаковываются как автономные файлы XAR. Даже незначительные изменения кода требуют полной пересборки и распространения плотных исполняемых файлов; это трудный процесс, приводящий к длительным задержкам, прежде чем инженеры смогут их протестировать.
Инженеры Meta разработали решения, направленные на максимальное увеличение кэширования сборок и введение инкрементности в процесс распространения.
Чтобы решить проблему скорости сборки, команда работала над минимизацией ненужных перестроек двумя способами:
- Во-первых, используя систему сборки Meta Buck2 в тандеме со средой удаленного выполнения (RE) для устранения недетерминизма за счет согласованных результатов.
- Во-вторых, за счет уменьшения зависимостей и удаления ненужного кода для оптимизации графов сборки.
Для распространения инженеры создали файловую систему с адресацией содержимого (CAF), позволяющую пропускать избыточные загрузки и использовать дублирование файлов в исполняемых файлах. Система также поддерживает локальные кэши для загрузки только обновленного контента. Мета утверждает, что такой «поэтапный» подход радикально сокращает время распространения.
Компания количественно оценила эффект, написав: «Более быстрое время сборки и более эффективная упаковка и распространение исполняемых файлов сократили накладные расходы на двузначные проценты».
Но Мета считает, что есть возможности для улучшения. В настоящее время компания занимается разработкой LazyCAF — системы, позволяющей получать только исполняемый контент, необходимый для конкретных сценариев, а не целых моделей. Meta также стремится обеспечить согласованность изменений кода для дальнейшего улучшения кэширования.
Решения, разработанные инженерами Meta, позволяют преодолеть масштабные проблемы в разработке искусственного интеллекта.
Смотрите также: Google добавляет в Project IDX симуляторы iOS и Android
Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая проходит в Амстердаме, Калифорнии и Лондоне. Это комплексное мероприятие проводится совместно с Неделей цифровой трансформации и выставкой Cyber Security & Cloud Expo.
Узнайте о других предстоящих мероприятиях и вебинарах в области корпоративных технологий, проводимых TechForge, здесь.
Специальная подборка для Вас