Обучение генеративной нейросети под стиль художника Айвазовского
Идея проекта
Наверное, каждый хоть раз в жизни замирал перед полотнами Айвазовского, завороженный его морскими стихиями. Лично меня всегда потрясало, как художник умел передать прозрачность волны и солнечные блики на воде — именно эта магия света и движения вдохновила меня на создание проекта.
Особенно меня восхищает, как Айвазовский улавливал момент — когда гребень волны вот-вот обрушится, когда луч только касается поверхности. Чтобы научить нейросеть этому умению, я собрала коллекцию высококачественных репродукций его лучших марин.
Цель проекта — заставить генеративную нейросеть создавать изображения, где будет узнаваться неповторимая кисть Айвазовского.
Ниже представлены некоторые картины Айвазовского, из датасета для обучения искусственного интеллекта.
Исходные изображения
Ссылка на папку со всеми картинами https://drive.google.com/drive/u/0/folders/1eBCWv9YTtfaov9WPN3jKJpDr9w6WxMnX
Процесс обучения модели
Сначала я подготовила сетап, а далее загрузила датасет с изображениями в среду.
После всего перечисленного генерируем подписи к изображениям с помощью модели BLIP. И после этого подготовка датасета к тренировке модели завершена.
Далее я зарегистрировалась на Hugging Face, получила токен и внесла его в свой Google Collab для дальнейшего обучения нейросети. Сохранила полученную модель на Hugging Face и приступила к генерации изображений.
Переходим уже непосредственно к обучению: Были выбраны такие параметры для обучения, так как они соотносились с количеством выделяемой Kaggle памяти и занимали оптимальное количество времени:
Загрузка обученной модели.
Затем, производится сохранение полученнной модели в Hugging Face и можно приступать к генерации, вставив промты в соответствии с запросом.
Серия итоговых работ обученной модели
Сначала я решила поэкспериментировать с классическими морскими пейзажами — тем жанром, в котором Айвазовский был непревзойдённым мастером. Это бурные штормы, спокойные закаты, лунные дорожки на воде. В результате получились удивительно атмосферные работы с той самой «айвазовской» игрой света и потрясающей передачей водной стихии.
Вес нейростети на первой картинке 0,5 картинке, а на второй 1. Мне больше понравилась первая, поскольку она более точно передает цветовую палитру произведений Айвазовского
Поэтому далее я все изображения сгенерировала с весом 0,5
Особенно удачно нейросеть воспроизвела характерные для художника переливы цвета — когда глубокий синий моря переходит в изумрудный, а пена волн светится перламутром. Палитра получилась на удивление точной — те самые насыщенные, но благородные оттенки, которые делают полотна Айвазовского узнаваемыми с первого взгляда.
promt: oil painting in the style of Aivazovsky, sky with a gradient oil painting in the style of Aivazovsky, spectacular sunset
promts: oil painting in the style of Ivan Aivazovsky: a stormy storm with high waves breaking on rocks, next to a calm sea sunset with a golden-pink sky reflected in the water.
В следующей серии генераций я решила попробовать добавить персонажей, сохранить все особенности айвазовских марин, но добавить сюжетную глубину через персонажей — как это иногда делал сам мастер
promts: oil painting in the style of Ivan Aivazovsky, spectacular sunset, fishermen in boats and ancient ships with flowing sails on the background oil painting in Ivan Aivazovsky style. elegant ladies in flowing dresses on the deck of a ship or on the shore, watching the storm with awe
promt: oil painting in the style of Aivazovsky, dramatic sunset
promts: oil painting in the style of Ivan Aivazovsky, moon waltz: a couple dancing on the pier, the light of the moon is crushed in the water
ptomt: oil painting in the spirit of late Aivazovsky: sunset in the Crimean bay, a young lady in a white dress reads a book on a stone parapet
promts: an epic mountain range, painted with Aivazovsky’s technique: swirling clouds between peaks that resemble sea foam, glaciers with transparent blue veins like waves. oil painting of alpine valley, Aivazovsky technique, emerald lake mirroring peaks, travelers in capes.
promts: winter Saint Petersburg as interpreted by Aivazovsky: Nevsky Prospekt during a blizzard, where snow swirls are written using the technique of sea waves. romantic cityscape with Aivazovsky’s, wet cobblestones reflecting gaslights, neo-classical architecture
Заключение
На мой взгляд модель удалось уловить характерные для Айвазовского приемы:
«Дыхание волны» — полупрозрачные гребни с эффектом внутреннего свечения, где каждый мазок сохраняет энергию движения. «Мокрый свет» — игра бликов на воде, написанная не сплошными пятнами, а вибрирующими точечными касаниями. Фирменные «кружевные» облака — воздушные массы, прописанные сложными переплетениями густых и разряженных мазков.
Список использованных в проекте инструментов:
1. Stable Diffusion — обучение генеративной нейросети под свой стиль; 2. Hugging Face — получение токена для обучения нейросети 3. Kaggle — выполнение кода и генераций;
Код проекта
