Искусственный интеллект использовал для воспроизведения музыки, читая мысли

Технологии многое сделали, чтобы помочь в те моменты, когда название мелодии вертится у вас на языке. Благодаря ИИ теперь вам даже не нужно петь или напевать песню — просто подумайте об этом.

Это будущее, к которому стремятся ученые после прорывного исследования, в котором искусственный интеллект (ИИ) успешно использовался для воссоздания музыки, просто сканируя активность мозга, пока они думали о песне.

В статье опубликовано Исследователи из PLOS Biology под руководством Калифорнийского университета в Беркли смогли сгенерировать узнаваемый звук «Another Brick in the Wall, Part 1» группы Pink Floyd, используя только данные мозга.

Исследование включало запись электрических сигналов непосредственно из мозга пациентов с эпилепсией, которые уже находятся под наблюдением для лечения приступов. Когда пациенты пассивно слушали классическую рок-песню, электроды на поверхности их мозга регистрировали активность в их слуховых областях обработки.

Затем исследователи ввели этот набор данных о мозге в алгоритмы машинного обучения. Анализируя паттерны реакции различных областей слуховой коры на такие компоненты, как высота звука, темп, вокал и инструменты, модели искусственного интеллекта научились связывать конкретную нейронную активность с определенными акустическими характеристиками.

После обучения на этих парах «ввод-отклик» модели смогли генерировать новые спектрографические представления только на основе данных мозга. Затем исследователи преобразовали эти визуализации в сигналы, создав звук, который хотя и был искажен, но явно напоминал «Еще один кирпич в стене, часть 1».

Были идентифицированы не только мелодия и текст, но и нейронное декодирование даже отразило, какие инструменты вызывали определенные реакции в разных областях мозга. Например, активность отдельных отделов верхней височной извилины специфически колебалась в ответ на голосовые слоги. Между тем, другие области активизировались в большей степени в ответ на устойчивые мотивы ритм-гитары в песне.

Это демонстрирует способность разбивать сложный музыкальный стимул на составные части, основываясь исключительно на обработке мозга. Если это подтвердится будущими исследованиями, это будет огромный скачок вперед в расшифровке мыслей, поскольку предыдущие методы ограничивались отдельными словами или буквами.

Старший писатель, нейробиолог Калифорнийского университета в Беркли доктор Роберт Найт объяснил, что команда выбрала песню Pink Floyd именно из-за ее богатого многослойного инструментального оформления. Но этот подход применим к любой музыке и даже к воспроизведению мелодических свойств естественной речи.

Исследователи предполагают, что эта технология в конечном итоге может быть использована, чтобы помочь тяжело парализованным пациентам или жертвам инсульта восстановить способность говорить, просто думая. Интерфейсы мозг-компьютер уже разрабатываются для расшифровки слов или текста из неинвазивных сканов мозга. Добавление измерения мелодии и просодии позволило бы более полно воссоздать мысли и предполагаемую речь.

Исследователи добились прогресса в этой области чтения мыслей в течение многих лет, и появление мощных моделей ИИ (и аппаратного обеспечения) привело к крупным прорывам в этой области.

Совсем недавно, в мае, группа исследователей смогла превратить мысли в текст. «Мы были немного шокированы тем, что это работает так хорошо, как работает. Я работаю над этим уже 15 лет… так что это было шокирующе и волнующе, когда это, наконец, сработало» — сказал ведущий автор доктор Александр Хут, нейробиолог из Техасского университета в Остине.

Кроме того, расшифровать недавно сообщиличто медицинская бригада успешно внедрила микрочипы в мозг человека с параличом нижних конечностей и смогла использовать искусственный интеллект для восстановления чувствительности и движения путем «(повторного соединения) его мозга с телом и спинным мозгом».