Что такое GauGAN2
Nvidia представила обновлённую нейросеть GauGAN2, которая создаёт реалистичные и футуристические пейзажи и рисунки на основе набросков и текстовых описаний.
Как пользоваться
Здесь не требуется авторизация, просто нужно перейти на http://gaugan.org/gaugan2/.
Скажем честно, интерфейс нас напугал, но немного поработав с сервисом – мы привыкли и разбирались что за чем следует.
Расскажем об основных элементах интерфейса.
Первым делом, прокручиваем колёсико мыши, переходим в конец сайта и ставим галочку, давая согласие о правилах предоставления услуг.
Область слева – рабочая зона, где мы будем творить: либо рисовать, либо загрузим шаблон и будем дорабатывать. Она по умолчанию уже закрашена. Этот цвет используется, если нужно нарисовать небо (sky), то есть уже можно сгенерировать изображение и результатом будет небо. Область справа – здесь будет изображение, сгенерированное AI.
Выбираем тип данных запроса, с которым AI будет работать. Можно выбрать комбинацию, например: набросок + текст.
- segmentation – сегментация;
- sketch – набросок, эскиз, который вы сами нарисуете, аналогично, если бы рисовали в Paint;
- image – генерация картинки на основе изображения;
- text – генерация картинки на основе текстового запроса;
- Input text – поле для ввода текстового запроса.
Очень важно проверять где проставлены галочки в этой строке. Например, если Вы хотите сгенерировать изображение только по текстовому запросу, игнорируя, загруженную картинку-референс, обязательно галочка должна стоять рядом с «text» и отсутствовать у «image». Иначе AI будет работать с тем, что задано.
Мы снимем галочку напротив «segmentation» и выберем «text». Вводим запрос: «mountains next to a lake». Для генерации изображения нажимаем на правую стрелочку.
Вот что получилось:
Чтобы сгенерировать изображение снова по этому же запросу нажимаем на иконку «игральные кости».
Можно изменить цветовую схему, выбрав на панели справа один из предложенных фильтров:
Мы не стали применять дополнительно фильтры, данный результат нас устраивает и продолжаем с ним работать дальше.
Нажимаем на иконку «левая стрелочка» и сгенерированное изображение скопируется на левую половину – рабочую область. Автоматом проставилась галочка напротив «image». Мы начинаем работать с изображением, которое служит шаблоном.
Хотим убрать облака и что-нибудь добавить в наш пейзаж. Воспользуемся ластиком, чтобы убрать лишние.
Если выбрать инструмент – «Волшебная палочка», который на рисунке выше справа, то он будет автоматом закрашивать схожие области, что может быть не совсем корректно. Поэтому мы выбрали обычный ластик и закрасили левую часть изображения:
Затем нажимаем:
Немного ждём и видим, что AI разбила наше изображение на сегменты
Как оказалось, так легче и нагляднее работать. Мы выше убрали часть неба, теперь добавим облака. Выбираем слева Landscape, затем Clouds. И кистью, на месте, где мы убрали небо, рисуем облака.
Ставим галочку напротив «segmentation», так как дополнительно к запросу, мы добавили сегменты, и генерируем изображение нажав на стрелочку.
Дополнительно удаляем озеро, что справа. Те же действия: выбрали ластик, замазали озеро, снова поделили изображение на сегменты, выбрали Hill (холм) в Landscape и с помощью кисти нарисовали холм.
Не забываем что можно применить фильтр или сгенерировать снова изображение, нажав на иконку «игральные кости».
Нажав на
AI сгенерирует «набросок», который мы можем доработать, т.е. это ещё один формат представления запроса.
С помощью инструментов «карандаш» и «ластик», который для эскизов, мы дорисовали, добавив гору, и дополнительно выбрали Mountain (гора) в Landscape и кистью закрасили, надеясь что GauGAN2 нас лучше поймёт.
Обязательно напротив «sketch» проставили галочку, тем самым, указывая, что в нашем запросе есть и эскиз, который нужно учесть при генерации, иначе AI просто проигнорирует его.
Довольно неплохо получилось для первого раза.
И исходное изображение и сгенерированное изображение можно сохранить, нажав на иконку дискеты под изображениями. Исходное изображение GauGAN2 сохраняет в zip-архив, который содержит отдельные png-файлы: картинка-шаблон, сегментированная карта и эскиз. В дальнейшем эти файлы можно загрузить для последующей работы.
Вот пример ещё одного сгенерированного изображения. На входе мы выбрали только сегментацию (segmentation) и кистью нарисовали объекты.
Особенности
- Бесплатный сервис.
- Высокое качество изображения.
- Возможность комбинации несколько режимов запросов для последующей генерации изображения.
- Возможность загружать свои собственные фильтры для наложения на изображение.
Аналоги этой нейросети
Artbreeder – это нейросеть, позволяющая генерировать изображения, пейзажи, портреты, включая «оживление» персонажей, по текстовым запросам, фото, собственным схематичным изображениям.
Scribble Diffusion – нейросеть, генерирующая рисунки по вашим наброскам. Всё что нужно – это сделать эскиз будущей картинки, задать дополнительные настройки и отправить на дорисовку нейросети.