Нейросеть Eleven Labs для создания реалистичных голосовых имитаций

Eleven Labs – сервис, который использует искусственный интеллект и машинное обучение для создания реалистичных голосовых имитаций. Он позволяет пользователям записывать свой голос и изменять его в соответствии с выбранным персонажем или эмоциональным состоянием.

С помощью Eleven Labs можно создавать голосовые имитации известных личностей, персонажей из кино или мультфильмов, а также изменять голос для использования в коммерческих целях, например, в рекламе или аудиокнигах.

Сервис также предоставляет возможность создавать голосовые модели на основе нескольких голосовых образцов, что повышает точность и реалистичность имитации.

Eleven Labs является инновационной технологией, которая может применяться в различных областях, таких как развлечения, образование, медицина и многое другое.

Как зарегистрироваться

Переходим на сайт https://elevenlabs.io/ и нажимаем на «Sign up» в правом верхнем углу.

Регистрируемся в сервисе с помощью Google аккаунта или электронной почты – вводим адрес электронной почты и пароль для создания аккаунта. При регистрации через электронную почту, будет направлено письмо с подтверждением регистрации. Нужно открыть письмо и нажать на ссылку для подтверждения регистрации.

Пользователь должен согласиться с условиями и услугами, нажав «I agree to terms of service», и выбрать бесплатный тарифный план.

Как пользоваться

Пользователю доступен следующий функционал:

Speech Synthesis – синтез речи. Позволяет сгенерировать аудиодорожку для заданного текста. Голос для озвучивания можно выбрать готовый, из сообщества Eleven Labs, или создать собственную голосовую модель.
VoiceLab – создание уникального синтетического голоса. Важно, если используется клонированный голос (например, голос артиста), необходимо получить соответствующее разрешение на его коммерческое использование, даже на платном тарифном плане.
Voice Library – готовые голоса из сообщества Eleven Labs.
History – список сгенерированных пользователем голосов.

Рассмотрим каждый функционал подробнее.

VoiceLab

Инструмент для создания нового синтетического голоса. Бесплатно можно создать до трёх голосов.

Нажимаем «Add Generative or Cloned Voice» и выбираем тип создаваемого голоса:

Voice Design – создание совершенно нового голоса. Каждый голос, который вы создаете, генерируется случайным образом и является совершенно уникальным, даже если применяются одни и те же настройки.
Instant Voice Cloning – клонирование голоса. Клонировать голос необходимо из чистого образца записи. Сэмплы должны содержать 1 динамик, длиться более 1 минуты и не содержать фонового шума. Данный функционал теперь доступен только при оформлении платной подписки из-за большого количества случаев неправильного использования, злоупотребления клонированного голоса.
Voice Library – создание голоса на основе шаблона из сообщества Eleven Labs.
Professional Voice Cloning – функционал пока недоступен пользователям.

Мы выбрали «Voice Design». Приступаем к настройкам для будущего голоса.

В «Gender» выбираем пол, «Age» – возраст, «Accent» – акцент, «Accent Strength» – выраженность акцента. В соответствующем поле можем ввести свой текст и нажимаем «Generate». Ждём несколько секунд и прослушиваем аудиозапись.

Сгенерированную аудиозапись можно сохранить, нажав на соответствующую иконку.

Нажимаем «Use Voice», вводим название и нажимаем «Create Voice». Таким образом мы сгенерировали синтетический голос с нуля.

Теперь мы можем использовать сгенерированный голос для озвучивания.

Speech Synthesis

Здесь приступим к озвучиванию текста голосом, который был сгенерирован ранее.

В «Settings» выбираем сгенерированный голос или можно выбрать готовый из предложенных.

В «Voice Settings» также можно поиграться с параметрами. В поле «Text» добавляем текст для озвучивания и нажимаем «Generate». Ждём несколько секунд и прослушиваем аудиозапись. Сгенерированную аудиозапись можно сохранить, нажав на соответствующую иконку.

Хотелось бы отметить, что с задачей озвучивания текста на русском языке, без акцента, данный сервис не справляется.

Voice Library

Здесь представлены готовые голоса из сообщества Eleven Labs.

Здесь можно отфильтровать список: по полу, возрасту, акценту. Для прослушивания нажимаем «Sample». Для добавления голоса в «VoiceLab» нажимаем «Add to VoiceLab» и дальше этот голос можно выбрать из списка для озвучивания текста.

History

Здесь хранится список сгенерированных пользователем синтетических голосов.

Какие есть лимиты и ограничения

Пользователям бесплатно доступно 10 000 символов в месяц, генерация 3 синтетических голосов. Для доступа к функционалу клонирования голоса необходимо оформить подписку «Starter» — 5$/мес. Также сервис предлагает и другие виды подписок, стоимость варьируется от 5 до 330$/мес, в зависимости от предоставляемого функционала и количества генерации голосов.