Идея проекта
Мне давно нравится определенная манера живописи — пастельные, приглушенные цвета, видимые
мазки, зернистая фактура поверхности, немного угловатые, живые формы. Что-то между маслом и пастелью.
Я решила взять эту манеру как референс и попробовать обучить нейросеть её воспроизводить. При этом не скопировать конкретные работы, а передать характер: цветовую гамму, тип мазка, общее
настроение. Для этого я использовала метод DreamBooth — способ дообучить уже готовую нейросеть (Stable Diffusion) на небольшом наборе примеров (20-30 изображений).
Я решила взять эту манеру как референс и попробовать обучить нейросеть её воспроизводить. При этом не скопировать конкретные работы, а передать характер: цветовую гамму, тип мазка, общее
настроение. Для этого я использовала метод DreamBooth — способ дообучить уже готовую нейросеть (Stable Diffusion) на небольшом наборе примеров (20-30 изображений).
Датасет
Для обучения я подобрала 31 изображение — работы в технике масло и пастель, которые мне близки по манере. Все они объединены общими чертами:
— приглушенная, пастельная цветовая гамма
— видимые мазки и фактура поверхности
— зернистость, характерная для пастели
— живая, немного угловатая манера письма
Несколько примеров из датасета:
Процесс обучения
Обучение запускалось в Google Colab — с бесплатной видеокартой (T4 GPU), без которой
процесс занял бы несколько дней.
Базовая модель — Stable Diffusion 1.5.
Метод дообучения — DreamBooth: модель смотрит на примеры из датасета снова и снова, постепенно связывая
слово-триггер (skspastel) с характером этих изображений.
Параметры обучения:
800 шагов — достаточно, чтобы стиль «закрепился», но не переобучиться
learning rate 1e-6 — аккуратный, чтобы не сломать базовую модель
fp16 + gradient checkpointing — оптимизации памяти для T4
Всё обучение заняло около 25 минут.
После обучения при генерации достаточно написать skspastel painting of… — и модель рисует в нужной манере.
Ноутбук с полным кодом:
https://colab.research.google.com/drive/1CgxCeRYYYt75jDV2zFcZhuDSd7kxLUu6?usp=sharing
При написании текстов, комментариев и кода к проекту использовался Claude (Anthropic) — для помощи в формулировках и отладке ноутбука.
Результат
После обучения я сгенерировала серию из 10 изображений на разные сюжеты — пейзажи, натюрморты, бытовые сцены. Все промпты написаны на английском (так работает модель), но сюжеты выбраны близкие к тому, что встречается в живописи этого стиля.
Утренний пейзаж «a skspastel painting of a quiet morning landscape, soft light»
Ваза с полевыми цветами «a skspastel painting of a vase with wildflowers, warm tones»
Приморская деревня на закате «a skspastel painting of a seaside village at dusk»
Лесная тропа осенью «a skspastel painting of a forest path in autumn»
Девочка читает у окна «a skspastel painting of a girl reading by the window»
Дождливая улица «a skspastel painting of a rainy city street, reflections»
Кот на подоконнике «a skspastel painting of a cat sleeping on a windowsill»
Горное озеро на рассвете «a skspastel painting of a mountain lake at sunrise»
Старый деревенский дом «a skspastel painting of an old wooden house in the countryside»
Рыночный прилавок с фруктами «a skspastel painting of a market stall with fruits»
Разбор результатов
Модель хорошо усвоила приглушённость и
пастельность цветовой палитры, а так же передала характер исходных работ — нет
ничего резкого или динамичного, всё спокойное, немного меланхоличное. Фактуру и мазки удалось воспроизвести далеко не везде, с этим элементом нейросеть справляется неуверенно.
