Кратко о нейросети
В начале февраля 2023 года компания Runway презентовала революционную разработку – нейросеть Gen-1 (также ее называют Runway) для обработки видео-контента. Теперь пользователи получили возможность преобразовывать свои ролики при помощи текстовых описаний. В сети была опубликована видеозапись, на которой при помощи инструментов нейросети идущие по улице люди были трансформированы в пластилиновых человечков.
Ниже мы подробно рассмотрим функционал Runway и расскажем об областях ее применения.
Что нужно, чтобы начать пользоваться
Для получения доступа к нейросети необходимо зайти на сайт runwayml.com. На главной странице сайта, в правом верхнем углу, будут 2 кнопки LOG IN и SIGN UP.
Если у вас есть Google аккаунт, вы можете авторизоваться на сайте нажав LOG IN и выбрав ваш аккаунт в Гугле. Либо кликайте по кнопке SIGN IP и регистрируйтесь на сайте.
После авторизации на сайте откроется интерфейс программы с предложением выбрать тариф. Выбирая тариф FREE вам будет доступно 3 бесплатных проекта для редактирования видео. После этого можно приступать к работе с сервисом. Ограничений на доступ пользователей из России нет.
Как использовать, какие функции и режимы есть
После захода в личный кабинет перед пользователем открывается интерфейс программы с интуитивно понятным меню. Для создания видеоролика пользователь может использовать свой видеоматериал или генерировать его на основе описаний и шаблонов.
В программе доступны следующие инструменты и функции:
- Timeline. Временная шкала Runway охватывает нижнюю часть экрана. Клипы можно перетаскивать на нее с галереи для добавления в проект.
- Layers. Редактор временной шкалы Runway разделен на слои для быстрого доступа к различным трекам. Хотя нет ограничений на их количество, для оптимизации рендера рекомендуется редактировать не более 10 слоев одновременно.
- Inpainting. Революционный инструмент, который позволяет автоматически удалять ненужные объекты из клипа. В обычных видео-редакторах этот процесс может занимать часы и даже сутки. С помощью инструмента можно раскрашивать загруженный видеоролик, как это делается в обычном графическом редакторе наподобие Photoshop. Наложенные маски можно тестировать в режиме предосмотра перед ее фиксацией.
- Motion tracking. С помощью этой функции можно отслеживать движение и переносить его с одного слоя на другой для максимально корректной анимации движений и перемещений объектов.
- Slow motion. После того, как видео будет загружено и помещено на временную шкалу редактора, можно использовать ползунок регулировки скорости на правой панели. Скорость воспроизведения будет меняться по замыслу пользователя. Для фиксации результата нужно нажать флажок рядом с Smooth Slo-Mo.
- Subtitles. В ролик можно добавить субтитры для сопровождения звукового ряда. Они будут генерироваться автоматически и размещаться в соответствии с временными интервалами.
- Clean Audio. Функция поможет быстро избавиться от нежелательного фонового шума в видео.
- Adding Effects. Пользователь имеет доступ к библиотеке эффектов композиции и настройки цвета, начиная от размытия и заканчивая обнаружением краев.
- Effect Control. Управлять эффектами можно и после их добавления к видеоролику на таймлайне. Runway имеет расширенную панель управления каждой опцией.
Какие есть лимиты, ограничения на использование
В данный момент сервис работает только в онлайн режиме, поэтому для получения доступа к нейросети необходимо будет выбрать один из 3 тарифов:
- Free (3 бесплатных проекта общим размером до 5Гб, 25 бесплатных генераций картинок, экспорт видео в формате 720p).
- Pro (отсутствие лимитов на количество проектов, общий размер генерируемого контента – 500Гб/месяц, 125 бесплатных генераций картинок, экспорт видео в формате 4К, расширенный пакет настроек экспорта роликов). Стоимость – $15/месяц.
- Team (отсутствие лимитов на количество проектов, общий размер генерируемого контента – 1Тб/месяц, 450 бесплатных генераций картинок, экспорт видео в формате 4К, полный пакет настроек экспорта роликов). Стоимость – $35/месяц.
При оформлении годовой подписки можно получить скидку 20% (Pro – $144/год, Team – $336/год).
Области применения
Runway можно использовать везде, где ранее требовались специализированные программы для моушн-дизайна наподобие Adobe After Effects или Cinema 4D.
Подготовка клипов для социальных сетей, создание короткометражных фильмов, презентационных материалов – вот далеко не полный перечень возможных областей применения нейросети. В более глобальном масштабе разработчики позиционируют Runway как комплексный инструмент для популяризации творчества среди широких масс.
Аналоги Runway
До выхода Runway уже существовали генераторы видеороликов от таких технологических гигантов, как Meta и Google. Среди них наибольшую популярность получили:
- Make-a-Video. Нейросеть компании Meta генерирует ролики на основе текстовых описаний. Сейчас функционал Make-a-Video недоступен пользователям, поэтому трудно оценить ее достоинства.
- Phenaki. Нейросеть Google для генерации длинных роликов по детальным текстовым описаниям. Разрешение пока не очень высокое, но с поставленной задачей Phenaki справляется.
- Imagen Video. Еще один продукт Google для создания коротких роликов по текстовым описаниям высокого разрешения. Imagen Video пока не научилась реалистично генерировать движения людей и животных.
Подведем итоги
Runway снижает порог входа в профессию моушн-дизайнера. Теперь специалисту легче будет сконцентрироваться на концептуальной части работы, оставив технические детали нейросети. С другой стороны, существует риск снижения стоимости труда моушн-дизайнера или же его полной замены сервисами наподобие Runway. В любом случае с нейросетью генерация видео-контента станет более доступной для всех желающих.