Сбер научил GigaChat писать музыку по текстовому запросу

Сбер интегрировал в GigaChat нейросети CLaMP и SymFormer. Это позволит GigaChat генерировать музыкальные треки на основе произвольных текстовых запросов пользователей.

Пользователю необходимо сформулировать задачу, например, «сочинить веселую музыку в стиле кантри» или «написать трек для лаунж-зоны бизнес-центра». GigaChat отправит аудиофайл с уникальной музыкальной композицией и даже партитурой в формате MIDI.

В этом случае создание музыки происходит в несколько этапов:

1. Сначала модель CLaMP обрабатывает запрос пользователя и преобразует его в язык, понятный генератору мелодий.
2. Затем SymFormer генерирует несколько вариантов многодорожечного трека, из которых нейросеть выбирает наиболее удачные варианты по стилю и композиции.
3. На последнем этапе генерируется аудиофайл и передается пользователю.

Об этом рассказал Денис Филипповвице-президент по цифровым поверхностям «Салют» Сбербанка в рамках международной конференции по искусственному интеллекту AI Journey 2023.

Одним из сегментов целевой аудитории сервиса мы видим представителей среднего и малого бизнеса. Благодаря GigaChat они смогут быстро, эффективно и, что немаловажно, абсолютно легально решать бизнес-задачи: создавать фоновую музыку для кафе, салонов красоты и залов ожидания, генерировать треки для рекламных видеороликов и социальных сетей.

Для обучения SymFormer мы использовали платформу ML Space на базе суперкомпьютера Christofari и датасета из более чем 200 тысяч композиций разных стилей: от классики до современной электронной музыки и рока.

По ссылке собраны все новости о GigaChat.

Источник: Кодекс Дурова