Благодаря технологии машинного обучения нейросети научились генерировать музыкальные треки с нуля на основе текстовых описаний и редактировать уже существующие записи. Ожидается, что теперь сервисы на основе AI смогут заменить композиторов и саунд-дизайнеров в низшем и среднем сегментах музыкальной индустрии. В этом обзоре мы рассмотрим возможности самых известных нейросетей для создания музыкальных треков.
1. Riffusion
Нейросеть Riffusion специализируется на создании аудиоспектрограмм на основе текстовых описаний. Во время работы над ней разработчики использовали код генератора изображений Stable Diffusion. Теперь достаточно задать AI несколько слов или предложений, и он сгенерирует визуальное изображение звуковых частот в треке.
Пользователь также может выбрать музыкальный стиль, инструменты и другие характеристики. После этого аудиоспектрограмму можно перевести в звук при помощи проигрывателя на сайте сервиса. Нейросеть имеет открытый код, поэтому пользователи могут скачать ее на свой компьютер и самостоятельно работать над скриптами. На данный момент доступ к сервису не ограничен.
Сайт: https://www.riffusion.com/
2. Soundraw
Нейросеть Soundraw – генератор звуков и музыки от японской компании SOUNDRAW Inc. Сервис предлагает пользователям при помощи AI создавать, редактировать и монтировать новые музыкальные треки. Нейросеть активно используют при генерации звуковых дорожек для радиопередач, подкастов, медитаций с гидом и для личных потребностей.
На сайте soundraw.io для ознакомления можно создать небольшой трек. Сервис предложит вам выбрать настроение, жанр и тему. После этого появится список треков. Пользователю нужно выбрать понравившуюся мелодию в качестве шаблона, и нейросеть начнет генерировать похожие дорожки. Вы также можете на таймплейте редактировать отдельные фрагменты трека. Интерфейс имеет простую архитектуру, поэтому пользователь без подготовки сможет быстро перейти к генерации дорожек.
Для получения доступа к сервису нужно приобрести подписку по цене $19.99 / мес. При покупке годовой подписки 1 месяц будет стоить $16.99. По условиям соглашения, сгенерированные треки можно использовать для коммерческих целей.
Сайт: https://soundraw.io/
3. AIVA
AI AIVA была запущен в 2016 году. Нейросеть предоставляет пользователю набор инструментов для создания и редактирования музыкальных треков. Для начала сервис предлагает пользователю выбрать один из уже существующих треков и перенести его на таймплейт. После редактирования и преобразования появится новый трек. По количеству настроек интерфейс может конкурировать с профессиональными программами для написания музыки.
На тарифном плане «Free» можно загружать3 трека длиною до 3 минут в MP3 и MIDI форматах. Для загрузки большего числа треков нужно приобрести подписку. За €15 / мес. На плане «Standard» можно загружать до 15 треков длительностью до 5 минут в MP3 и MIDI форматах. Для работы с большими объемами музыкальных треков придется приобрести план «Pro». За €49 / мес. пользователь получит 300 дорожек длительностью 5 минут 30 секунд во всех доступных форматах.
Сайт: https://aiva.ai/
4. Mubert
Нейрость Mubert предлагает пользователям набор удобных инструментов для создания музыкальных треков. Для генерации достаточно придумать текстовое описание и загрузить его в строку сервиса. Трек будет готов в течение нескольких секунд. Не стоит ждать полного совпадения слов с мелодией. Практика показывает, что даже описание с ошибками дает нейросети «материал» для генерации трека. Возможно, Mubert обращает внимание на звучание слов, а не их смысл.
В потоке также доступны треки, сгенерированные другими пользователями. На тарифном плане «Free» можно генерировать до 25 треков в формате MP3. На плане «Creator» ($14 / мес.) можно генерировать и загружать до 500 треков в разных форматах. Оба плана дают возможность использовать музыкальные дорожки только для личных целей и NFT. На тарифном плане «Pro» ($39 / мес.) пользователь имеет до 500 загрузок во всех форматах. Использовать треки можно в личных и коммерческих целях.
Сайт: https://mubert.com/
5. Jukebox
AI Jukebox от OpenAI может генерировать музыкальные произведения с вокалом. Он имеет открытый код, поэтому пользователи могут скачивать загрузочный файл на компьютер и продолжать обучение нейросети. На основе анализа доступных в сети музыкальных произведений англоязычных исполнителей Jukebox распознает не только игру отдельных инструментов, но и аплодисменты зрителей.
В качестве основы для трека можно использовать обычную необработанную звуковую дорожку. Позже Jukebox кодирует звук и проводит его авторегрессионное преобразование. По мнению пользователей, AI пока плохо справляется с генерацией композиций длинною более 20 секунд. К тому же, на рендер 1 дорожки длительностью 60 секунд уходит до 9 часов. Компания OpenAI предоставляет лицензию на использование Jukebox, но только для некоммерческих целей с указанием названия компании разработчика.
Сайт: https://jukebox.openai.com/
6. Boomy
Нейросеть Boomy успешно прошла бета-тестирование в 2021 году. С тех пор ее активно используют для генерации потоковых музыкальных треков. По приблизительным подсчетам, каждый день с помощью нейросети генерируется около 15 тыс. произведений.
Для создания нового трека необходимо на платформе сервиса Boomy выбрать стиль музыки, после чего система сгенерирует произвольный трек. Его можно сохранить или начать редактирование. Пользователь может:
- добавить вокал;
- регулировать параметры музыки (темп, бас, плотность хорд, барабана и др.);
- добавлять различные эффекты.
Нейросеть Boomy можно использовать бесплатно, но с ограниченным функционалом и только в некоммерческих целях. На тарифном плане «BoomyPremium» ($2.99 / мес.) можно создавать до 20 альбомов и скачивать песни. При покупке «BoomyPro» ($9.99 / мес.) пользователь может сохранять треки и выпускать альбомы без ограничений с запросом авторских прав.
Сайт: https://boomy.com/
7. Amper Music
Сервис Amper Music предлагает пользователям генератор, который по заданным параметрам генерирует музыкальные треки. В отличие от других схожих продуктов возможности редактирования сводятся к минимуму. Пользователь может выбирать длину дорожки и параметры дескриптора.
Разработчик предлагают несколько тарифных планов. За $49 можно приобрести лицензию «On-Demand» для одного пользователя. Она даст возможность скачивать треки в любое время по запросу. План «All-in-oneSubscription» с плавающим тарифом (от $29 / мес.) – это пакетное предложение. На нем клиент получает доступ к генератору музыки, картинок и видео. План «UnlimitedSubscription» ($19 / мес.) открывает доступ к неимитированным загрузкам музыкальных треков.
Сайт: https://www.shutterstock.com/discover/ampermusic
8. Ecrett Music
Нейросеть Ecrett Music – это удобный инструмент для моушн-дизайнеров, блогеров и других представителей творческих профессий. С помощью AI можно легко и быстро создавать аудио дорожки и фоновую музыку для различных проектов. Для запуска генерации достаточно выбрать сцену, настроение и жанр.
Попробовать функционал сервиса бесплатно можно тарифном плане «Free». На нем вы сможете загружать превью созданных вами треков и сохранять их на аккаунте. План «Individual» (от $4.99 / мес.) открывает доступ к скачиванию сгенерированных файлов без ограничений и использованию их в коммерческих целях. Для организаций сервис предлагает подписку «Business» (от $14.99 / мес.). На базе Ecrett Music была создана новая нейросеть для генерации музыки SOUNDRAW.
Сайт: https://ecrettmusic.com/
9. MuseNet
AI MuseNet – еще одна разработка OpenAI. Нейросеть может генерировать музыкальные композиции длительностью до 4 минут с использованием различных инструментов. Свободное комбинирование стилей иногда дает неожиданные результаты.
MuseNet – это система с открытым кодом. Для генерации видео нужно будет скачать клиент на десктоп и провести настройку. При помощи AI можно генерировать треки бесплатно, но с указанием нейросети.
Сайт: https://openai.com/blog/musenet/
10. Amadeus Code
Нейросеть Amadeus Code основной продукт японского стартапа Amadeus Code AI Music. Генератор проанализировал все доступные музыкальные произведения, начиная с первой половины XIX века. На основе образцов нейросеть создает мелодию, повторяя тональность, композицию и другие характеристики.
Тарифный план «Free» открывает доступ к генерации треков на протяжении двухнедельного пробного периода. После этого можно приобрести подписку «Pay as you go» ($1.99 / мес.). С ней можно покупать понравившиеся песни и скачивать их в разных форматах. При покупке плана «Premium» ($9.99 / мес.) ограничений по генерации и сохранению треков нет.
Сайт: https://amadeuscode.com/app/en
11. Dadabots
Нейросеть Dadabots создала группа энтузиастов из исследовательской лаборатории DADABOTS. Изначально AI разрабатывали как альтернативу примитивным программам для ремикса аудио треков. Начиная с 2018 года, разработчики регулярно выставляют музыкальные треки в различных стилях и направлениях рока длиною в несколько часов.
Доступа к нейросети на сайте проекта нет, что обусловлено взглядами разработчиков на свою деятельность: они позиционируют себя как свободных музыкантов-ученых.
Сайт: https://dadabots.com/
Выводы
На рынке нейросетей для генерации аудио сегодня можно найти AI для выполнения любых задач. Сгенерированные треки могут быть как самостоятельными музыкальными произведениями, так и амбиентами для роликов в YouTube и подкастов. При выборе нейросети нужно обратить внимание на возможности ее технологии, а также условия использования в личных и коммерческих целях.