Алгоритм машинного обучения продемонстрировал способность обрабатывать данные, объем которых превышает доступную память компьютера, путем определения ключевых характеристик огромного набора данных и разделения их на управляемые пакеты, которые не перегружают компьютерное оборудование. Алгоритм, разработанный в Национальной лаборатории Лос-Аламоса, установил мировой рекорд по факторизации огромных наборов данных во время тестового запуска на саммите Национальной лаборатории Ок-Ридж, пятом по скорости суперкомпьютере в мире.
Одинаково эффективный на ноутбуках и суперкомпьютерах, высокомасштабируемый алгоритм устраняет узкие места оборудования, которые не позволяют обрабатывать информацию из приложений с большим объемом данных в области исследований рака, спутниковых изображений, социальных сетей, науки о национальной безопасности и исследованиях землетрясений, и это лишь некоторые из них.
«Мы разработали реализацию метода факторизации неотрицательной матрицы без использования памяти, которая позволяет факторизовать большие наборы данных, чем это было возможно ранее на данном оборудовании», — сказал Исмаэль Бурейма, физик-вычислитель из Национальной лаборатории Лос-Аламоса. Бурейма — первый автор статьи в Журнал суперкомпьютеров по рекордному алгоритму.
«Наша реализация просто разбивает большие данные на более мелкие единицы, которые можно обрабатывать с использованием доступных ресурсов. Следовательно, это полезный инструмент для работы с экспоненциально растущими наборами данных».
«Традиционный анализ данных требует, чтобы данные укладывались в ограничения памяти. Наш подход бросает вызов этому понятию», — сказал Маниш Бхаттараи, ученый в области машинного обучения из Лос-Аламоса и соавтор статьи.
«Мы представили решение, связанное с нехваткой памяти. Когда объем данных превышает доступную память, наш алгоритм разбивает его на более мелкие сегменты. Он обрабатывает эти сегменты по одному, циклически перемещая их в память и из нее. Этот метод дает нам уникальную возможность эффективно управлять и анализировать чрезвычайно большие наборы данных».
Распределенный алгоритм для современных и гетерогенных высокопроизводительных компьютерных систем может быть полезен на аппаратном обеспечении, таком маленьком, как настольный компьютер, или на таком большом и сложном оборудовании, как Chicoma, Summit или будущие суперкомпьютеры Venado, сказал Бурейма.
«Вопрос больше не в том, можно ли факторизовать большую матрицу, а в том, сколько времени займет факторизация», — сказал Бурейма.
Реализация в Лос-Аламосе использует преимущества аппаратных функций, таких как графические процессоры, для ускорения вычислений и быстрого соединения для эффективного перемещения данных между компьютерами. В то же время алгоритм эффективно выполняет несколько задач одновременно.
Факторизация неотрицательной матрицы — это еще одна версия высокопроизводительных алгоритмов, разработанных в рамках проекта SmartTensors в Лос-Аламосе.
По словам Буреймы, в машинном обучении факторизация неотрицательной матрицы может использоваться как форма обучения без учителя для извлечения смысла из данных. «Это очень важно для машинного обучения и анализа данных, поскольку алгоритм может идентифицировать объяснимые скрытые особенности данных, которые имеют особое значение для пользователя».
Рекордный пробег
В ходе рекордного эксперимента команды из Лос-Аламоса алгоритм обработал плотную матрицу размером 340 терабайт и разреженную матрицу размером 11 экзабайт, используя 25 000 графических процессоров.
«Насколько нам известно, мы приближаемся к эксабайтной факторизации, чего еще никто не делал», — сказал Боян Александров, соавтор новой статьи и физик-теоретик из Лос-Аламоса, возглавлявший команду, разработавшую платформу искусственного интеллекта SmartTensors. .
Разложение или факторизация данных — это специализированный метод интеллектуального анализа данных, направленный на извлечение соответствующей информации и упрощение данных до понятных форматов.
Бхаттараи далее подчеркнул масштабируемость их алгоритма, отметив: «Напротив, традиционные методы часто сталкиваются с узкими местами, главным образом из-за задержки в передаче данных между процессорами компьютера и его памятью».
«Мы также показали, что вам не обязательно нужны большие компьютеры», — сказал Бурейма. «Масштабирование до 25 000 графических процессоров — это здорово, если вы можете себе это позволить, но наш алгоритм будет полезен на настольных компьютерах для того, что вы раньше не могли обработать».
Специальная подборка для Вас