На стыке нейробиологии и музыкальных технологий произошло революционное открытие: учёным удалось реконструировать знаменитую композицию Pink Floyd «Another Brick in the Wall» путём анализа электрической активности мозга слушателей. Этот эксперимент, проведённый исследователями из Калифорнийского университета в Беркли, демонстрирует не только техническую возможность расшифровки сложных аудиосигналов, но и открывает перспективы для создания принципиально новых интерфейсов «мозг-компьютер». В будущем подобные технологии могут помочь людям с нарушениями речи восстановить естественное и эмоционально окрашенное общение.
Современные достижения в области нейротехнологий позволяют заглянуть в ранее недоступные глубины человеческого восприятия. В ходе новаторского исследования, результаты которого опубликованы в журнале Plos Biology, специалисты смогли декодировать и воспроизвести музыкальное произведение, основываясь исключительно на паттернах мозговой активности. Это стало возможным благодаря симбиозу передовых методов нейровизуализации и алгоритмов искусственного интеллекта.
Методология эксперимента: от мозга к звуку
В исследовании приняли участие 29 пациентов, страдающих эпилепсией и уже проходивших процедуру инвазивного мониторинга мозговой активности. Им на поверхность коры головного мозга были имплантированы электроды для точной регистрации электрических сигналов. Во время прослушивания песни Pink Floyd аппаратура фиксировала, как различные зоны мозга реагируют на музыкальные элементы: ритм, мелодию, тембр инструментов и вокал.
Схема эксперимента: установка электродов, сбор данных и последующая обработка сигналов с помощью модели машинного обучения.Собранные нейронные данные были обработаны сложными алгоритмами искусственного интеллекта, обученными интерпретировать электрические паттерны и преобразовывать их в звук. Воссозданная версия песни, хотя и не была идеальной копией оригинала, чётко передавала её ритмическую и мелодическую структуру, что подтвердило возможность «слышать» музыку через призму мозговой активности.
Визуализация процесса реконструкции песни и ключевые методологические аспекты исследования.Как отметил один из авторов работы, в ходе анализа были обнаружены новые детали о том, как мозг обрабатывает музыку. Например, выяснилось, что за распознавание ритма гитарного партия отвечают специфические области, ранее не ассоциировавшиеся с этой функцией. Также подтвердилась гипотеза о латерализации: правая слуховая кора (в верхней височной извилине) проявила большую чувствительность к музыкальным компонентам по сравнению с левой. Одни зоны мозга реагировали на резкое начало звука (вокал, синтезатор), а другие — на продолжительные тоны.
Карта активности различных участков мозга пациента во время прослушивания музыкальной композиции.Для наглядного сравнения представлены две аудиодорожки:
Оригинальная композиция, обработанная для чистоты сравнения:
https://new-science.ru/wp-content/uploads/2023/08/658.wavВерсия, сгенерированная искусственным интеллектом на основе декодированных мозговых волн:
https://new-science.ru/wp-content/uploads/2023/08/659.wavПочему была выбрана именно эта песня?
Выбор «Another Brick in the Wall» группы Pink Floyd в качестве объекта исследования был обусловлен несколькими важными факторами. Эта композиция представляет собой сложное музыкальное полотно с многослойными аранжировками, разнообразными инструментами и выраженным ритмическим рисунком. Такое богатство акустических стимулов предоставило учёным плотный и разнообразный материал для анализа нейронных реакций.
Обратите внимание: Почему этот год будет прорывным для российской науки?.
Ключевым аспектом является просодия — совокупность ритмических, интонационных и тембральных характеристик речи и музыки, которые несут эмоциональный смысл поверх слов. Изучение того, как мозг кодирует просодию в музыке, является прямым путём к пониманию того, как он обрабатывает интонации в человеческой речи. Нельзя исключать и субъективный фактор: личная симпатия исследователей к творчеству Pink Floyd, чья музыка признана эталонной и сложной, также сыграла свою роль в выборе.
Перспективы, выходящие за рамки музыки
Хотя эксперимент был сосредоточен на музыке, его фундаментальное значение гораздо шире. Человеческая речь, подобно музыке, насыщена просодическими элементами: темпом, ударением, модуляциями голоса, которые передают эмоции, иронию, вопрос или утверждение. Современные речевые нейроинтерфейсы, подобные тому, что использовал Стивен Хокинг, могут декодировать слова, но лишают речь этих естественных, «человеческих» качеств, делая её монотонной и роботизированной.
Данное исследование прокладывает путь к созданию имплантируемых декодеров нового поколения, способных улавливать тончайшие нюансы нейронной активности, связанные с просодией. В перспективе это позволит людям, лишённым возможности говорить из-за болезней или травм, общаться не просто набором слов, а полноценной, эмоционально окрашенной речью. Фраза «Я тебя люблю», произнесённая через такой интерфейс, сможет передать всю гамму чувств — страсть, нежность или грусть, — что кардинально изменит качество жизни таких пациентов.
Вызовы и будущие направления исследований
Несмотря на впечатляющий результат, до широкого клинического применения технологии предстоит пройти долгий путь. Основным препятствием остаётся инвазивность метода: для получения сигналов высокой точности по-прежнему требуется хирургическая имплантация электродов на поверхность мозга, что сопряжено с рисками инфекций, кровотечений и других осложнений.
Поэтому одно из ключевых направлений будущих работ — разработка неинвазивных или малоинвазивных аналогов. Учёные активно исследуют возможности улучшения чувствительности электроэнцефалографии (ЭЭГ), когда электроды размещаются на коже головы, а также других методов, таких как магнитоэнцефалография (МЭГ) и функциональная магнитно-резонансная томография (фМРТ). Повышение точности этих методов может в будущем сделать технологию декодирования речи более безопасной и доступной.
Больше интересных статей здесь: Новости науки и техники.
Источник статьи: Пересечение музыки и науки привело к смелым исследованиям в области неврологии.