Идея проекта
Целью проекта я поставила посмотреть на возможность модели генерировать изображения подобных картинам Леонардо Да Винчи именно написанных маслом с соответствующими часатую резными и статными чертами лица, а также подобным пафосом.Основной идеей было обучить модель воспроизводить упомянутые черты и создавать ранее не существующие изображения. Во всяком случае один в один. Дополнительно, в связи с собственным интересом, я решила генерировать изображения в основном ангелов, так как Да Винчи популярен не только портретами богатых заказчиков, но и произведениями религиозной направленности.
Для обучения модели мной был собран датасет из 20 специально отобранных картин написанных маслом Леонардо Да Винчи.
Выбрав именно Да Винчи, я убеждаюсь, что его работы не обложены авторским правом и считаются публичным достоянием.
Обучение модели
Процесс обучения модели был выполнен в Kaggle, через Fine-tuning Stable Diffusion XL и метод LoRA.
Для самого обучения модели использовалось 20 квадратных картинок, каждая в разрешении 1280×1280.Во время дообучения модели у меня на пути встали некоторые проблемы, которые не были упомянуты в курсе. По этой причине мне понадобились несколько дополнительных строк и работать с акселератором GPU T4 ×2, а не заявленные в лекциях GPU P100.
Также, некоторые промпты пришлось восстанавливать по памяти из-за того, что записная книжка kaggle не сохранила их.
Результат, серия
— oil painting in DAVINCI style, beautiful angel
— oil painting in DAVINCI style, divine and menacing angel
— oil painting in DAVINCI style, angelic woman with long hair
–oil painting in DAVINCI style, angelic man with long hair
–oil painting in DAVINCI style, portrait of young angel
— oil painting in DAVINCI style, angel talking to a adolescent
— oil painting in DAVINCI style, italian landscape with a lake and swans, two people siting nearby
oil painting in DAVINCI style, man with light hair and flowers
— oil painting in DAVINCI style, woman modestly dressed
— oil painting in DAVINCI style, woman with black hair slightly smiling
И последнее, ради собственного интереса
— oil painting in DAVINCI style, a prophet
— oil painting in DAVINCI style, horrifying angel
— oil painting in DAVINCI style, divine prophesy
— oil painting in DAVINCI style, the Judgment day
Выводы
Стоит отметить, что несмотря на искривлённые руки, модель продемонстрировала хорошее сохранение общего стиля картин и не потеряла вариативность генераций. Она справилась как с очень простыми и привычными для стиля Да Винчи изображениями, а также с менее типичными — пугающими.Помимо этого, модель отлично сработала с более простыми и чуть более подробными запросами.
Было бы очень интересно узнать, что бы сам Леонардо подумал о такой технологии, но, к сожалению или к счастью, он никогда о ней не узнает.
