Обучение генеративной нейросети // создание изображений в стиле Ван Гога
Идея проекта
Целью данного проекта было обучение генеративной модели для создания работ в стиле картин Винсента Ван Гога. Данный художник был выбран не случайно, а по причине моей большой любви к его творчеству. Его живопись всегда вызывала во мне восхищение — за искренность, смелость цвета и способность передавать внутренние переживания через фактуру мазков.
Исходные изображения
Для обучения модели я собрала 39 изображений — как полноценных картин Ван Гога маслом, так и укрупненных фрагментов его работ, на которых хорошо видна техника мазка и работа с фактурой. В подборке представлены как знаменитые работы, например, «Звёздная ночь» или «Подсолнухи», так и менее известные, но технически выразительные фрагменты.
Процесс обучения
Инструменты, использованные для реализации проекта:
Stable Diffusion — обучение генеративной нейросети под свой стиль
Hugging Face — получение токена для обучения нейросети
Для выполнения задания в качестве среды программирования был выбран Google Collab. Обучение нейросети было проведено на основе предоставленного в рамках курса шаблона кода. В первую очередь были установлены необходимые модели и библиотеки, а также собран датасет из 39 изображений в формате 1:1.
Для проверки корректности загрузки данных был создан визуальный вывод первых пяти изображений в виде сетки, что позволило убедиться в правильности подготовки датасета.
Для каждой картины было сгенерировано текстовое описание с помощью модели BLIP. Это описание включало префикс «painting in the style of Van Gogh», который задавал стиль для последующего обучения модели. Результаты описаний были сохранены в файл, содержащий пары «имя файла — текстовое описание».
На следующем этапе была настроена конфигурация для обучения модели с использованием метода DreamBooth. Базовой моделью выступила Stable Diffusion XL. Обучение проводилось с применением техники LoRA, которая позволяет эффективно адаптировать большую модель под конкретную задачу без необходимости полного переобучения.
После завершения обучения модель была сохранена в репозиторий Hugging Face. Для этого был создан репозиторий, куда были загружены веса модели и метаданные. Это позволило легко использовать обученную модель в будущем для генерации изображений.
На финальном этапе была протестирована обученная модель. Используя префикс «painting in the style of Van Gogh» и текстовый запрос, модель успешно генерировала изображения в стиле Ван Гога.
Серия готовых изображений
Первая серия сгенерированных изображений посвящена природным мотивам — пейзажам, которые отражают мои любимые места и состояния природы. Это море, облачное небо, цветущие луга, вечернее солнце, уходящее за горизонт. Я стремилась передать то же чувство покоя и вечности, которое Ван Гог находил в природе.
Природа как тема для генераций была выбрана так как для самого художника она была не просто фоном или декоративным элементом — она становилась символом внутреннего равновесия и даже исцеления.
(Для того, чтобы промпт влазил под описание картинок, мною был убран используемый для каждой генерации префикс «painting in the style of Van Gogh»)
»… если бы я не чувствовал любви к природе и своей работе, то я был бы несчастен»,
— писал Ван Гог своему брату Тео в 1882 году.
Одной из самых ярких черт сгенерированных изображений стало визуальное ощущение «движения» мазка. При генерации нейросеть смогла уловить и воспроизвести характерную для Ван Гога динамику кисти.
В области неба и солнца это проявляется в виде закрученных, волнообразных линий, а в изображениях листвы или травы — мазки повторяют ритм природы: изгибаются, словно под действием ветра
Затем я попробовала не указывать конкретную цветовую палитру. В результате сгенерированные изображения приобрели доминирующие оттенки, наиболее часто встречающиеся в оригинальных картинах, использованных для обучения. В случае данного проекта это характерные для Ван Гога насыщенные жёлтые, голубые, сине-зелёные и охристые тона.
Среди сгенерированных изображений особенно выделяется одна работа, которая визуально и композиционно очень близка к одной из оригинальных картин Винсента Ван Гога. Нейросеть, обученная на наборе произведений художника, не просто стилизовала изображение, а, по сути, воспроизвела узнаваемую структуру и детали полотна.
Вторая часть проекта — это попытка сгенерировать автопортрет на основе моего личного описания себя. Моя задача заключалась в том, чтобы перенести своё ощущение себя и своей внешности в текстовое описание.
Автопортреты занимали особое место в творчестве Ван Гога. Он писал себя снова и снова — не из тщеславия, а как способ исследовать и выразить своё внутреннее состояние. Для Ван Гога автопортрет был своего рода терапией — способом справляться с одиночеством, тревогой, неуверенностью.
Painting in Van Gogh style self-portrait of a 19 years old girl with light brown straight hair flowing below the shoulders, wearing glasses, and with deep brown eyes. The face reflects calm and introspection, with subtle warmth in the expression. There’s a quiet sense of peacefulness.
В моём текстовом описании не было точной детализации черт лица, и именно эту недостающую информацию нейросеть позаимствовала из автопортретов самого Ван Гога. В результате на сгенерированных изображениях появились характерные черты, знакомые по его работам: густые, выразительные брови и остро очерченный подбородок. Помимо этого, нейросеть дополнила образ элементами одежды, стилистически схожими с голубыми рубашками, часто встречающимися в автопортретах художника.
Третья серия изображений — это эмоциональные абстракции, в которых нет конкретного сюжета или объекта, но есть ощущение. Здесь я работала с описаниями различных эмоциональных состояний — тревоги и растерянности.
Этот подход вдохновлён тем, как сам Ван Гог воспринимал цвет и мазок: для него они были неотделимы от эмоционального содержания. Он не просто рисовал «жёлтое поле» или «синее небо» — он передавал чувства, вызванные этими элементами.
При генерации изображений, основанных на описании чувств и эмоций, особенно ярко проявилась одна из узнаваемых визуальных особенностей — вихреобразный характер мазков, ассоциирующийся с одной из самых известных и узнаваемых картин Винсента Ван Гога — «Звёздная ночь».
Итог
Обучение модели прошло успешно: сгенерированные изображения демонстрируют высокую степень адаптации под стиль работ Винсента Ван Гога. При сравнении оригинальных работ художника и результатов генерации отчётливо прослеживаются ключевые элементы его визуального языка — характерные вихревые мазки, вибрации цвета и динамика композиции.
