Идея
Проект посвящён созданию авторского визуального стиля с помощью технологии LoRA (Low-Rank Adaptation) на базе модели Stable Diffusion.
Основная идея заключалась в том, чтобы обучить нейросеть распознавать и воспроизводить характерные особенности моего иллюстративного портретного стиля — такие как графичность линий, акцент на чертах лица и стилизованная подача формы.
Цель проекта заключалась в исследовании того, насколько нейросеть способна перенять индивидуальные художественные особенности и затем применять их при генерации новых изображений, сохраняя стилистическую целостность.
Данные для обучения
В качестве обучающего набора использовались мои рисунки. В частности портреты в иллюстративном стиле.
Перед обучением изображения были приведены к единому размеру (512×512), очищены и стандартизированы, преобразованы в формат, пригодный для обучения модели (hf_dataset с metadata.jsonl).
Процесс
Для обучения использовалась модель Stable Diffusion v1.5, дополненная методом LoRA.
Основные параметры обучения:
–– размер изображений: 512×512; –– количество шагов: 200; –– batch size: 1; –– gradient accumulation: 4; –– learning rate: 1e-4; –– rank LoRA: 16.
В процессе изображения были преобразованы в датасет формата Hugging Face. Также каждому изображению был назначен текстовый промпт: «portrait of a person, my illustration style и т. д.
Результат
В результате обучения была получена серия изображений, сгенерированных на основе обученной LoRA-модели.
Итоговая серия изображений демонстрирует, что нейросети удалось частично перенять характерные особенности исходного стиля.
Переданные элементы стиля: –– выраженные контурные линии; –– акцент на глазах и бровях; –– упрощённая, но графичная форма лица; –– форма лица
В генерации использовались текстовые промпты с обязательным триггером «my illustration style»;
Ссылка на ноутбук
