Ретушь изображений и в частности фотопортретов находит множество применений в фотографировании — от создания свадебных и рекламных до личных снимков. Значительные усилия по ретушированию фотографий дают потрясающие результаты, однако в основном изменяют такие общие аспекты изображения, как цвет, освещение и экспозиция. Наиболее трудоемкой и затратной частью является работа с локальными областями изображений.
Что такое фоторетушь?
Термин “фоторетушь” означает внесение изменений в фотографию перед ее показом. Как правило, ретушер вносит локальные изменения в изображение. Ретушь — это последний шаг в совершенствовании фотографии после внесения глобальных изменений (например, цветокоррекции).
Контекстно-ориентированная локальная ретушь
Новая адаптивная сеть пирамид наложения (adaptive blend pyramid network, ABPN) нацелена на быстрое выполнение ретуши на отдельных участках фотографий сверхвысокого разрешения. Контекстно-ориентированный слой локальной ретуши (LRL) и адаптивный слой пирамид наложения (BPL) — основные части сети, последовательно решающие две задачи.
- Сначала LRL выполняет ретушь на отдельных участках изображений с низким разрешением, учитывая общий контекст и информацию о локальной текстуре.
- Затем BPL используется для расширения результатов низкого разрешения до более высокого с помощью предложенного адаптивного модуля наложения и модуля оптимизации.
В решении этих задач локального фоторедактирования технология ABPN превосходит все существующие методы с большим отрывом. Она также опережает их по скорости работы: ABPN выполняет вывод изображений 4K в реальном времени, используя всего один графический процессор NVIDIA Tesla P100. Кроме того, был создан первый HD-датасет по выполнению ретуши ткани, CRHD-3K, который поможет исследовать локальное фоторетуширование.
Ретушь фотографий в мгновение ока
Новый фреймворк под названием ABPN предназначен для локальной ретуши фотографий сверхвысокого разрешения. Он отличается значительной эффективностью (выводит в реальном времени изображения 4K с использованием одного GPU NVIDIA Tesla P100) и выполняет ретушь качественнее, чем уже используемые методы.
Локальный модуль (attentive local module, LAM) хорошо улавливает общий контекст и локальную текстуру, гармонично соединяя их в одном изображении.
Адаптивный модуль наложения (adaptive blend module, ABM) заключает в себе большой потенциал для развития фреймворка и позволяет быстро переходить от результатов с низким разрешением к результатам с высоким разрешением.
CRHD-3K — первый HD-датасет для ретуширования ткани.
Здесь представлено визуальное сравнение различных способов наложения на CRHD-3K, в том числе:
- (b) прямая RGB-оптимизация;
- (с) добавление;
- (d) мягкий свет;
- (e) адаптивное наложение с помощью сверток;
- (f) новый метод.
Чтобы упростить просмотр, все значения слоя наложения установлены в диапазоне 0 ~ 255.
Читайте также:
- Чем отличаются модели МО в науке и производстве
- DetectoRS - новейшее средство обнаружения объектов от Google Research
- Как запустить ИИ-генератор Stable Diffusion
Читайте нас в Telegram, VK и Дзен
Перевод статьи Dariusz Gross #DATAsculptor: The Local Photo AI Retouching
