Обучение генеративной нейросети Stable Diffusion под стиль Дерека Гореса

Целью моего проекта являлись обучение нейросети Stable Diffusion на основе стиля «юго-восточного короля скрапбукинга» — Дерека Гореса, — а также создание серии изображений в этом стиле.

Мне очень симпатичны коллажные работы Гореса и, кроме того, большинство из них, по удачному совпадению, имеют пропорции квадрата, так что мне даже не пришлось их кадрировать.

Я собрала датасет из 104 работ Дерека Гореса, взятых с его сайта. У художника имеются коллажи с повторяющимися мотивами, в которых можно заметить даже идентичные (в плане построения) композиции, различающиеся по цветовой гамме и некоторым второстепенным элементам.

Обучение проходило в Kaggle в соответствии с алгоритмом, представленным в курсе:

1. Установка необходимых библиотек;
2. Загрузка скрипта с GitHub для обучения модели;
3. Импорт датасета из 104 изображений;
4. Проверка содержимого датасета;
5. Генерация и сохранение подписей к картинкам при помощи BLIP;
6. Очистка памяти;
7. Подготовка к записи модели на Hugging Face;
8. Загрузка новой библиотеки datasets;
9. Определение параметров в обучении (1000 шагов, чекпоинт 250, размерность изображения 1024);
10. Запуск процесса обучения;
11. Сохранение модели на Hugging Face.

Процесс занял чуть больше пяти часов.

После обучения я попробовала поработать с разными чекпоинтами модели и пришла к выводу, что итоговый — самый оптимальный. В сгенерированных коллажах замечены следующие особенности стиля Дерека Гореса: обращение к «хаосу» коллажа, из которого вырисовываются фигуры и их окружение, активная работа разномасштабной типографики в композициях, использование разнообразных текстур, акценты на границах и стыках кусочков бумаги, общая яркость и пёстрость, внимание к цвету и свету.

А главное, модель натренировалась на создание образа красивой женщины — именно он является преобладающим в творчестве Дерека Гореса.

Одну часть изображений я сгенерировала сразу после обучения модели в том же ноутбуке, другую — уже через некоторое время, загрузив модель с Hugging Face. Во второй раз пришлось поменять некоторые вводные генерации для стабильной работы, поэтому эти изображения отличаются по глубине проработки: как мне показалось, результаты при повторном обращении к модели вышли не такими детализированными и более «рисованными».

Я пробовала работать с разными типами промптов и просила нейросеть сгенерировать как свойственные автору объекты и фигуры, так и что-то постороннее или редкое в плане частоты появления в исходном датасете (например, пейзажи).

Некоторые запросы вызывали у нейросети трудности. Если в промптах присутствовали объекты или места, примеров которых не было в подборке работ художника, нейросеть обращалась к повторяющемуся авторскому образу женщины и добавляла некоторые характерные для запрашиваемого слова детали. Например, иллюстрируя Рождество, ИИ успешно определился с красно-зёлёной гаммой и использовал нужные предметы — праздничную ёлку и подарки.

В таких случаях приходилось много раз прибегать к одному и тому же промпту, чтобы получилось 2–3 неплохих результата.

А вот Красная площадь вышла у нейросети совсем уж неубедительно. Сначала она нарисовала почему-то красную туфлю с Эйфелевой башней (туфли в коллажах Гореса действительно были), а потом вернулась к изображению женщин. Иногда в генерациях появлялись кривые бордовые башни, но они начинали жить вне стиля и имели мало общего с настоящей архитектурой Красной площади. В общем, единственное, что ИИ уловил в данном случае — цвет.

В процессе работы с промптами для меня стало загадкой избегание ИИ процесса генерации образа бабочки. Несмотря на то, что у Дерека Гореса в работах имелся не один коллаж с крупным изображением бабочки в центре композиции, я чего-то похожего добиться не смогла. Просьбы сгенерировать её приводили к картинам, на которых бабочки в лучшем случае порхали вокруг женщин, а в худшем — «распадались» на части (от них оставались крылья и красочные паттерны).

У меня есть предположение, что из-за «коллажности» исходных работ модель не идентифицировала образ бабочки целиком, а разобрала его на составляющие.