Stems: как искусственный интеллект научился разбирать музыку на части

Музыканты всегда мечтали о кнопке «вытащить вокал» или «оставить только барабаны». Ещё недавно подобное было фантастикой: инженеры могли лишь пытаться эквалайзером «выковырять» голос или гитару, но результат звучал мутно и далёк от оригинала.

Stem Separation — это технология, которая позволяет разложить готовый микс на отдельные дорожки (стемы): вокал, бас, ударные, аккордовые инструменты и даже соло-партии. По сути, мы получаем виртуальную «сессию» из уже сведённой песни.

Немного физики: как алгоритмы понимают, где вокал, а где барабаны

Чтобы разделить готовый трек на части, алгоритмы используют спектральный анализ.

Любой звук можно описать как набор волн с разными частотами и амплитудами. Когда вокалист поёт, в спектре появляются форманты — устойчивые «горбы» на определённых частотах, которые отличают человеческий голос от, скажем, бас-гитары. Ударные, наоборот, содержат много коротких всплесков с широким частотным диапазоном, а струны или клавиши — устойчивые гармоники, выстроенные по законам обертонового ряда.
Нейросеть анализирует спектрограмму — визуальное представление, где по горизонтали идёт время, по вертикали частота, а яркость отражает энергию сигнала. В спектрограмме партии вокала и барабанов выглядят совершенно по-разному: голос рисует плавные горизонтальные линии, отражающие высоту нот, а перкуссия — вертикальные вспышки.
Алгоритм «учится» на тысячах примеров, сопоставляя эти визуальные паттерны с метками «вокал», «барабаны», «бас». Когда он встречает новый трек, он ищет похожие узоры и «вычленяет» соответствующий сигнал.
Именно поэтому современные модели могут разложить даже сложный микс, где инструменты наслаиваются друг на друга, — они видят не просто частоты, а статистические закономерности в звуковом спектре.Немного физики: любая звуковая волна — это сумма других волн. Когда мы слышим трек, в нём переплетены сотни частот. Алгоритмы машинного обучения «учат» нейросеть на миллионах записей вокала, барабанов и гитар, чтобы та могла узнавать характерные паттерны и «вычленять» их из общего микса.

Если раньше разделение было похоже на попытку отделить кофе от молока после того, как напиток перемешан, то сегодня это скорее интеллектуальный фильтр, способный распознать, где заканчивается голос и начинаются клавишные.

В 70–90-е инженеры могли работать только с мультитрековыми лентами — у кого были исходники, у того был и контроль. DJ и ремикс-продюсеры мучились: чтобы сделать минус, приходилось заказывать инструментальные версии у лейблов или записывать всё заново.

Только в начале 2010-х появились первые нейросетевые эксперименты, вроде Spleeter от Deezer, открывшие дорогу настоящему «демиксингу». Сегодня это стало стандартом индустрии — и в студии, и на сцене.

Американский продюсер Illmind отмечал в интервью, что современные алгоритмы «дают свободу, о которой 10 лет назад можно было только мечтать: теперь любой трек можно превратить в набор инструментов для вдохновения».

DJ и продюсер Laidback Luke в обзоре Traktor Pro говорил: «Это будущее диджеинга. Управлять вокалом и барабанами отдельно — значит управлять энергией танцпола в реальном времени».

Разделение на стемы — это не просто удобный инструмент. Это новый этап эволюции музыки, где прошлое и будущее соединяются: из старых записей рождаются новые идеи, а из ограничений — бесконечная свобода.

Сегодня достаточно одного клика, чтобы услышать песню заново — разобранную на части, готовую для эксперимента. И именно в этом кроется главное волшебство технологии Stem Separation.