HOROVOD STYLE
На 1 курсе мы делали командный проект, для которого я рисовала иллюстрации. Его концепция заключалась в том, чтобы создать линейку отделочной плитки с иллюстрациями по мотивам мифологии регионов, откуда мы с командой приехали.
Чтобы тиражировать эту серию на большую аудиторию, полезно расширить список персонажей, например, персонажами европейской мифологии. В этом поможет обученный ИИ.
Для обучения использовались 32 исходные иллюстрации, часть которых показана выше
Поиск оптимальных настроек
Я начала генерацию с 25 шагов вывода, однако результат меня не устроил и я переключаилась на 50. Результаты можно сравнить на примере генерации русалки:
На примере генерации вампира:
Также я попробовала слить мои веса с оригинальными весами LoRA, однако результат был далек от того, чему мне хотелось обучить нейросеть: они слишком похожи на типичные нейросетевые иллюстрации и не отражают авторский стиль.
50 шагов вывода без слияния весов LoRA с исходной моделью, на мой взгляд — оптимальный способ донастройки модели для моего стиля. С этим способом я сделала около 20 генераций:
Выводы
Нейросеть довольно точно уловила сложный и разрозненный стиль изначальных иллюстраций: они орнаментальные, запутанные, достаточно абстрактные. Хаотичность и, местами, невнятность итоговых изображений обусловлена в большей степени общей для нейросетей трудностью в генерации мифических персонажей (в свое время видела множество шуток над ЧатГПТ по этому поводу): чтобы запросить у ИИ более точно сгенерировать русалку/кентавра/стрыгу, нужно сначала тщательно обучить ее понимать, что это за существо, что является отдельной работой. Однако задача научить SD видеть индивидуальный авторский стиль и копировать его, на мой взгляд, выполнена успешно.
