Разработка LoRA-модели для Stable Diffusion на основе собственных макрофотографий
Цель — создание генератора идей, который воспроизводит характерные для стиля фактуры, цвета и композиции для поиска новых визуальных решений
Один из моих любимых лайфхаков у художников для рисования сложных фонов — выстраивать композицию из рандомных предметов и обрисовывать ее. Меня в этом плане очень вдохновляют макрофотографии природы, однако в моем архиве их довольно мало. С помощью новой модели хотелось бы попробовать его разнообразить для последующего использования в рисовании.
©неизвестный из Pinterest
Для обучения модели было отобрано 13 квадратных макрофотографий из Карелии с общей тематикой камни / мох / трава / земля. Для их описания использовался BLIP.
Генерации
Для начала было интересно посмотреть, что за котов и птиц увидел BLIP при описании изображений:
«prompt»: «mossrck_style, a cat is sitting on a rock in the grass»
«prompt»: «mossrck_style, a small bird is sitting on the ground»
1 «mossrck_style, a cat on the stone in woods» 2 «mossrck_style, a pile of cats on moss»
Показалось, что он так воспринимает каменную лестницу, но, видимо, просто один из природных паттернов он видит как окрас кота.
«mossrck_style, a bird on a moss bench»
Птицей оказался листик, а каменные блоки с референса он воспринял как лавочку. Это не помешало работе, даже наоборот, ее разнообразило.
1 «mossrck_style, a moss bench» 2 «mossrck_style, stone benches in the woods»
«mossrck_style, stone with moss»
«mossrck_style, a moss in the sun»
1 «mossrck_style, single stone in woods» 2 «mossrck_style, a moss cat»
«mossrck_style, a pile of leaves on the stone»
1 «mossrck_style, stone stairs in the sun» 2 «mossrck_style, broken stone tiles with moss»
«mossrck_style, a single leaf on a cat»
«mossrck_style, moss with leaves»
1 «mossrck_style, a pile if stones in woods in the sun» 2 «mossrck_style, a pile of stones on moss»
На некоторых генерациях можно догадаться, с какого фото был взят цвет или объект, но, если использовать более сложные промты, нейросеть способна предложить более оригинальные и интересные решения. Изображения по итогу получились чёткими, соответствующие стилистике и разные по содержанию — этого более чем достаточно для идеи этого проекта.
Нейросеть выступает хорошим генератором идей и референсов для дальнейшей творческой работы, а не заменой процесса ★
Для создания кода использовался шаблон, предоставленный в описании критериев проекта. Работа производилась в Google Colab, архив загружался через Google Drive, а сам файл 3 раза переписывался в надежде наконец получить достаточно ОЗУ для обучения модели.
