01 Обработка фотографий — важная составляющая для качественной подачи и продажи продукта. Уже несколько сезонов в рекламе наблюдается тренд на контраст и точечное размытие, словно полностью объект можно увидеть, когда его приобретёшь.
Примеры эффекта на фотографиях, которые были использованы при обучении модели и для выявления характерных свойств эффекта
02 Идея проекта
Идея проекта — научить нейросеть обрабатывать фотографии предметов в этой актуальной стилистике максимально точно.
Референсная подборка эффектов и их проявлений, фотографии использовались при обучении
03 Генерация изображений
Для генерации изображений была выбрана нейросетевая модель Stable Diffusion, которую нужно было научить обрабатывать фотографии объектов в этой стилистике.
Для дообучения были взяты 22 фотографии предметной заблюренной обработки объектов в формате соотношения сторон 1:1. В датасете преимущественно использовались фотографии с крупным планом объектов и контрастным студийным светом.
Референсная подборка эффектов и их проявлений, фотографии использовались при обучении
Для первичной оценки качества модели использовались максимально простые промпты. Это позволило сгенерировать изображения, наиболее близкие к обучающей выборке, и таким образом проверить, насколько хорошо модель усвоила визуальные характеристики обработки.
1. Artistic macro photography of eucalyptus branches with round leaves, soft focus, heavy background blur, muted sage green 2. Artistic light and shadow play, selective focus, distinct bokeh effect with blurred foreground and background elements, sharp focus on the central leaves with visible veins and texture
Модель показала хорошие результаты. Чтобы исключить переобучение и найти точки для оптимизации, нужно оценить качество её работы на промежуточных этапах обучения.
Результат на промежуточном этапе, поиск точек для оптимизации
На изображении видно, что явного переобучения у модели нет. Она уже выучила основные общие черты главного объекта, но пока не может передать его достоверно (сливание объектов), то есть модель на 500 не работает с предметами, которых не было в обучающей выборке. Поскольку промежуточный результат хуже финального, можно сделать вывод: увеличение количества шагов обучения, скорее всего, позволит добиться более высокого качества.
1. Модель на 500 шагов, выполняется эффект, но недостаточно, чрезмерное размытие в движении 2. Модель на 1000 шагов, эффект выполняется точнее, выглядит презентабельнее
Для финального этапа генерации была выбрана модель, обученная с 1000 шагами. Текстовые запросы были дополнены детальными описаниями и ключевыми словами, отвечающими за конкретные важные визуальные эффекты.
Генерации фотографий получаются лучше, если объекты были в обучающей выборке, эффект передается достаточно точно.
04 Принцип работы кода
Для начала установим все необходимые библиотеки, а затем просмотрим несколько случайных фотографий из датасета, чтобы оценить качество исполнения.
Для цветовой обработки скриншотов кода из ноутбука был использован ChatGPT
Далее с использованием BLIP для каждого изображения из датасета были автоматически сгенерированы текстовые описания, которые затем использовались в качестве промптов. Это требование обусловлено устройством Stable Diffusion, обучение которой строго требует парных данных (текстовый запрос и изображение)
