Обучение генеративной нейросети под стиль Леона Спиллиарта
Идея проекта
Последние месяцы подтолкнули меня окунуться в довольно тревожный и неспокойный период. Так я вышла на бельгийского художника Леона Спиллиарта. В его работах не только красота и легкая тревожность, но и переосмысление мира после первой мировой войны.
Художник — крупнейший бельгийский символист. Это одна из причин, почему было интересно обучать нейросеть. Смогли ли она передать ту тревожность и меланхолию вместе с завуалированными символами? В своем творчестве Леон Спиллиарт использовал акварель и пастель как основные материалы, из-за чего его работы получались довольно легкими к визуальному восприятию.
Исходный data-set
В создании data-set использовались картины художника, подготовленные заранее в разрешении 1800×1800. В исходном сете 100 изображений для тренировки нейросети.
подготовленные к экспорту изображения
На протяжении своей жизни Леон Спиллиарт создал свыше 300 произведений. Он стал ярким представителем символизма в бельгийском искусстве, и его творчество охватывает как живопись, так и графику. В его картинах преобладают темные тона и яркие контрасты света и тени. Спиллиарт особенно увлекался темами, связанными с жизнью и смертью.
подготовленные к экспорту изображения
Процесс обучения модели
После загрузки необходимых библиотек для обучения генеративной нейросети, я создала папку, в которую добавила датасет с картинами художника, которые я решила отобрать для обучения.
Затем для каждой картины были созданы текстовые описания, которые отражают содержание изображений.
Потом начался самый мучительный процесс — обучение модели, который занял чуть более часа.
После завершения всех этапов обучения, я приступила к генерации промптов и изображений.
Результат
После обучения модели мне стало инетересно, сможет ли она действительно передать все те эмоции, которые вызывают картины Спиллиарта. Я создала несколько серий, которые могли бы быть написаны художником, а также добавила одну-две серии в качестве эксперимента.
Портреты (картины с людьми)
результирующая серия изображений (люди)
В этой серии изображений нейросеть успешно передала настроение художника и цветовую палитру в процессе генерации. Промты в данной серии были короткими и лаконичными, чтобы протестировать эффективность работы нейросети.
результирующая серия изображений (люди)
Также удалось передать стиль символизма и многозначность интерпретации произведений художника.
результирующая серия изображений (люди)
Ландшафт
результирующая серия изображений (ландшафт)
В этой серии произведений запросы были более детализированными, чтобы выяснить, сможет ли нейросеть сохранить стиль Спиллиарта. В некоторых работах все еще заметны его стилистические черты, однако с увеличением подробности запроса нейросеть все больше отклонялась от заданного направления.
результирующая серия изображений (ландшафт)
В общем, стиль художника остался узнаваемым, однако, как и в предыдущей серии, созданные работы получились довольно мягкими в контурной проработке. Это примечательно, учитывая, что во время обучения нейросети ей были представлены и работы Спиллиарта с четкими линиями.
результирующая серия изображений (ландшафт)
Анималистический жанр (животные)
результирующая серия изображений (животные)
Наибольшую сложность для нейросети составило создание серии работ с изображениями животных. Поскольку у Спиллиарта имеется ограниченное количество картин на эту тему, нейросети было трудно точно воспроизвести стилистику художника при создании таких произведений.
результирующая серия изображений (животные)
В этой серии работ также присутствует стилистика автора, но она выражена немного слабее, вероятно, из-за недостатка изображений с животными для обучения нейросети.
результирующая серия изображений (животные)
Бытовые сцены
результирующая серия изображений (бытовые сцены)
В повседневных сценах удалось сохранить стиль художника, когда изображение не было перегружено лишними элементами в композиции. Например, картина с мальчиком и игрушками заметно отличается от изображения подготовки стола к ужину.
результирующая серия изображений (бытовые сцены)
Как уже было установлено, чем проще промт, тем легче нейросети удается сохранить характерный легкий, но немного тревожный стиль Спиллиарта. Последние три картины в этой серии оказались наиболее близкими к оригинальному стилю по сравнению с другими.
результирующая серия изображений (бытовые сцены)
Исторический жанр
результирующая серия изображений (исторический жанр)
В этой серии произведений мне было интересно представить, как бы выглядели работы художника, если бы он создавал исторические картины. К сожалению, нейросеть не смогла полностью воспроизвести стиль Спиллиарта, и в результате изображения получились более спокойными и реалистичными.
результирующая серия изображений (исторический жанр)
Тем не менее, стиль художника проявляется лишь в двух произведениях этой серии. Картины «Викторианский бал» и «Коробль викингов» сумели передать слегка тревожную, но в то же время легкую атмосферу восприятия.
результирующая серия изображений (исторический жанр)
Жанр ню
результирующая серия изображений (жанр ню)
У Спиллиарта имеется несколько произведений в аналогичном жанре, но нейросеть должна была не только сохранить стиль художника в этой серии, но и максимально передать интимную и тревожную атмосферу человеческого тела.
результирующая серия изображений (жанр ню)
Эта серия оказалась одной из самых удачных, если сравнивать её с анималистическими или историческими работами по передаче стиля, а также с портретами и бытовыми сценами в плане передачи атмосферы.
результирующая серия изображений (жанр ню)
Вывод
финальный data-set изображений
Таким образом, обученная модель смогла не только воспроизвести характерные черты стиля Спиллиарта в тех жанрах, с которыми он работал, но и адаптировать его подход к направлениям, которые не были частью его творчества.
Я считаю, что это открывает новые горизонты для интерпретации его искусства и позволяет исследовать, как бы выглядели его работы в других художественных контекстах.
финальный data-set изображений
