Brecht Evens | обучение генеративной нейросети
Концепция
Эвенс Брехт — современный бельгийский комиксист и иллюстратор, известный такими произведениями как «Пантера», «Полуночники», «Любители».
Меня заинтересовали самобытность и красочность его стилистики, что и стало причиной становления вопроса: \- а сможет ли нейросеть воссоздать столь аутентичный стиль и ухватить общую атмосферу работ художника?
Мной были выделены основные пункты, по которым в дальнейшем я планировала проводить сравнение между подлинными работами Брехта и сгенерированными нейросетью, обученной по его иллюстрациям:
- Красочность - Насыщенность - Четкость линий и форм - Сумбурность и хаос - Детализация
Сгенерированные изображения
«photo collage in Brecht style…»
На мой взгляд, самым удачным примером является «a bouquet of flowers in a sunny kitchen» — получилось добиться некоторой акварельности, но при этом избежать лишнего наслоения цветов и объектов друг на друга. При добавлении на это изображение линий, отделяющих силуэты предметов друг от друга, схожесть с работами Брехта может стать крайне высокой.
Первое, что бросается в глаза: приглушенность цветов. В отличии от авторской стилистики, сгенерированные нейросетью изображения отличаются некоторой блеклостью и приглушенностью. Цвета и оттенки смешиваются, уходя от чистоты и точности Брехта.
Однако с передачей атмосферы хаоса и напряжения нейросеть, по моему мнению, справилась удачно. Большое количество деталей, множество фоновых, едва уловимых образов и действий, бесконтрольность происходящего — все это пленяет взгляд и заставляет рассматривать сюжеты подольше.
Нельзя сказать, что обученная мной нейросеть сумела повторить стилистику выбранного художника в точности. Были потеряны такие важные составляющие как:
- четкость линий и форм - насыщенность цветов - наличие контура - общая иллюстративная стилистика
При этом не могу не заметить, как сложно нейросети изображать живых существ на том уровне стилизации, на котором это делает Эвенс Брехт. Его люди условны, их формы немного абстрактны. В то время как на сгенерированных изображениях люди и животные отличаются объемами и реалистичными пропорциями, а вписываются они в общее окружение в большей части только из-за живописных мазков.
В качестве заключения можно сделать вывод, что нейросети пока не способны полностью копировать аутентичность и индивидуальность авторского стиля художника. Объединяя полученную из датасета информацию с базовыми настройками, нейросеть старается собирать все свои знания в единую картинку. Это отвечает запросу «схожей» стилистики, однако пока далеко от создания абсолютной копии.
Процесс обучения
В качестве среды для написания кода использовался Google Colab.
После установки необходимых библиотек импортируется датасет с иллюстрациями Эвенса Брехта, которые предварительно были кадрированы до размера 1024×1024 и все переведены в формат JPG.
Далее следует оптимизация процессов работы с библиотеками, связанных с машинных обучением и Hugging Face, и настройка кодировки.
После чего я приступила к непосредственному обучению модели с помощью подгруженной до этого библиотеки «Accelerate». Здесь как раз и создаю отличительный промпт, который будет использоваться во время генераций: «photo collage in Brecht style».
После проверки результатов обучения модели был создан путь на Hugging Face для сохранения модели и данных.
И в качестве последнего этапа происходит последовательная генерация изображений с пробой разных настроек влияния обученной модели на базовую:
- checkpoint-250 - checkpoint-250, lora_scale=0.3 - checkpoint-500 - checkpoint-500, lora_scale=0.9
Описание применения генеративной модели
В качестве базовой модели для обучения использовалась нейросеть Stable Diffusion .
Источники изображений
1. Брехт Эвенс Пантера. — 2-е изд. — СПб.: Бумкнига, 2021. 2. BRECHT EVENS (URL: https://brecht-evens.squarespace.com/) — дата обращения 04.04.2025
