Нейросеть для музыки: как сделать трек без студии

Музыкальные нейросети за пару лет прошли путь от забавных экспериментов до инструмента, которым закрывают реальные задачи: фон для ролика, минусовка, набросок аранжировки. Разберём, что они делают и где предел.

Четыре разные задачи

Генерация трека по описанию. Пишете, какой нужен жанр, настроение, темп и инструменты, получаете готовую композицию. Иногда с вокалом, иногда без.

Разделение готовой записи на дорожки. Из одного файла вытаскиваются отдельно вокал, барабаны, бас, остальное. Отсюда берутся минусовки и а капеллы.

Замена голоса. Партия, спетая одним человеком, звучит голосом другого. Технически впечатляет и юридически опаснее всего.

Продолжение и доработка. Есть кусок мелодии, нужно развить его в полноценную вещь или подобрать аккомпанемент.

Что получается прилично

Фоновая музыка. Для видео, подкаста, заставки, рекламы. Именно тут нейросети закрыли задачу целиком: раньше искали в стоках, теперь генерируют под нужный хронометраж.

Наброски. Композитору быстрее получить десять вариантов и выбрать направление, чем начинать с нуля.

Минусовки. Разделение дорожек работает настолько хорошо, что этим пользуются в караоке, на репетициях и при обучении.

Жанровая стилизация. Попросить «то же самое, но как босса-нова» — задача, где машина справляется играючи.

Что получается хуже

Вокал на русском. Произношение плавает, ударения падают не туда, окончания съедаются. Английский у моделей звучит заметно чище просто потому, что данных больше.

Длинные формы. Трек на три минуты обычно держится, а на десять минут разваливается: повторы, потеря темы, странные переходы.

Точное попадание в задачу. Если нужен трек «как вот этот, только другой», модель даст похожее, но не то. Целенаправленная правка деталей ей даётся плохо.

Живой звук. Скрип стула, дыхание, крошечные ошибки исполнителя. То, что делает запись человеческой, генерации пока не хватает.

Про авторские права

Здесь стоит быть внимательным, потому что цена ошибки денежная.

Права на сгенерированное. Условия у каждого сервиса свои. Где-то трек ваш, где-то только для личного использования, где-то коммерческое использование доступно на платном тарифе. Читайте лицензию до того, как поставите музыку в рекламный ролик.

Похожесть на существующее. Модели учились на реальной музыке, и иногда результат оказывается слишком узнаваемым. Перед коммерческим использованием стоит проверить трек хотя бы на слух и через сервисы распознавания.

Чужой голос. Замена голоса на голос известного исполнителя — прямой путь к претензиям. Голос охраняется отдельно от исполнения.

Площадки. Некоторые сервисы требуют указывать, что музыка создана нейросетью. Это влияет на монетизацию.

Как ставить задачу

Описывайте не жанр, а картинку. «Спокойный фон для видео о ремонте квартиры, без вокала, ненавязчиво, чтобы речь была слышна» работает лучше, чем «эмбиент».

Указывайте хронометраж и структуру. Начало, основная часть, спад в конце.

Просите варианты. Три версии одного запроса дают лучший выбор, чем десять правок одной.

Сохраняйте удачное сразу. У многих сервисов повторный запуск того же запроса даёт другой результат, и вернуть понравившийся вариант потом невозможно.

С чего начать

Возьмите свой ролик и задачу «нужен фон на две минуты». Сгенерируйте пять вариантов, подложите под видео и послушайте. За полчаса станет ясно, где проходит граница между «звучит нормально» и «слышно, что это машина».