Обучение Stable Diffusion под стиль художницы Юлии Малининой
Идея проекта
В качестве референсов я решила взять работы Юлии Малининой, московской художницы, которая вдохновляется индустриальными пейзажами и эстетикой старых промышленных зданий.
В её творчестве прослеживается особый стиль с характерными строгими геометрическими формами и большим количеством воздуха.
Примеры работ Юлии Малининой
Генерации Stable Diffusion
Изначально я использовала 50 изображений, среди которых были картины, немного отличающиеся друг от друга по технике и стилистике.
Я начала генерацию изображений с промта «factory building in malinina style». На выходе получились неплохие картинки, которые по своей геометрии и композиции действительно напоминают работы художницы. Тем не менее, они вышли слишком смазанными, а цвета — тусклыми и грязными.
Промт: - factory building in MALININA style
Генерации Stable Diffusion
Иногда изображения вовсе представляли собой не пейзаж, а интерьер промышленных зданий, хотя таких примеров в исходных референсах не было.
Генерации Stable Diffusion
Далее я попробовала немного расширить промт, чтобы нейросеть понимала, что мне нужен именно пейзаж.
Промт: - factory building, [цвет] sky, MALININA style
Генерации Stable Diffusion
Изображения получились гораздо чище, но оставались достаточно однотипными, поэтому я не остановилась на зданиях и попробовала создать другие объекты. На правой картинке с трубами видно, что результат еще далёк от желаемого: всё размыто.
Промты: - metal industrial pipes, landscape, MALININA style - metal industrial pipes, clear image, landscape, MALININA style
Генерации Stable Diffusion
Далее я попробовала сократить количество референсов до 20 с целью достичь большей правдоподобности.
Получились более детальные и менее абстрактные изображения, цветовая палитра стала интереснее, где-то небо получилось градиентным почти как в работах Малининой.
Промты: — building, night, MALININA style — landscape, factory, grass, sky, MALININA style
Генерации Stable Diffusion
В целом пейзажи более разнообразные, отчасти удалось убрать «размытость», но кое-где картинки остались не совсем четкими.
Промты: - factory building, sunny day, MALININA style - hangars, landscape, sky, MALININA style - building, night, MALININA style
Генерации Stable Diffusion
Я попробовала снова сгенерировать промышленные трубы, и они вышли достаточно интересными и вариативными, в отличие от первых попыток.
Промт: — metal industrial pipes, landscape, MALININA style
Работа Юлии Малининой (слева); генерация Stable Diffusion (справа).
Последняя генерация получилась действительно качественной; я бы могла её представить среди работ художницы.
Промт: — street, night, MALININA style
Работа Юлии Малининой (слева); генерация Stable Diffusion (справа).
Так или иначе, результат нельзя назвать идеальным. Видно, что нейросеть не может полностью повторить стилистику; изображения получаются недостаточно «живыми» по цветовой палитре, чувствуется недостаток деталей.
Из хорошего можно отметить неплохую работу с композицией: во многом удалось добиться эффекта с большим количеством «воздуха», а также видна характерная геометрия.
Видно, что нейросеть не может полностью заменить художника, но вполне может стать помощником в генерации идей с последующей ручной проработкой.
Процесс обучения модели
Я начала с загрузки необходимых библиотек.
Далее было необходимо подгрузить собранные изображения и убедиться, что это всё работает правильно.
После этого с помощью BLIP были сгенерированы подписи к изображениям.
Далее нужно было ввести созданный токен в систему Hugging Face.
Разрешение изображений — 512 пикселей, максимальный шаг — 500.
Необходимо было сохранить получившуюся модель.
