Original size 1140x1600

Обучение генеративной модели Stable Diffusion под стиль Mystic Messenger

Цель проекта

В игре Mystic Messenger много иллюстраций, имитирующий съемку с камеры телефона. Все они вертикальные, на них нередко встречаются лица персонажей и их быт. Я хочу обучить модель создавать такие же изображения, и для этого я собрала датасет из 106 фотографий.

Mystic Messenger — игра в жанре отомэ (визуальная новелла или симулятор свиданий) для смартфонов и планшетов, выпущенная корейской компанией Cheritz в 2016 году.

Обучение

Модель обучалась с помощью Stable Diffusion XL (SDXL), DreamBooth и LoRA. Обучение шло с шагов 400 и заняло 38 минут.

Без учета времени сбора изображений, так как они были взяты из собственной библиотеки и преобразованы под формат 512 на 512 в дальнейшем.

Библиотека изображений

Original size 900x827

Несколько примеров из библиотеки.

Описание применения генеративной модели

LORA: mysmes_LoRA prompt: mystic messenger artstyle

Сам процесс заключался в переписи всех изменяемых моментов в коде, для лучшего освоения материала и удобного использования.

Далее происходило созданием токена через Hugging Face, его настройка и вставка в код.

В том числе большое количество времени отняло загрузка всех этапов Setup и настройка\обучение Stable Diffusion XL (SDXL) в Google Colab.

Original size 641x359

Названия и импорт изображений.

Original size 1046x497

Импорт моделей.

Original size 1791x720

Первая генерация.

Первая проба генерация оказалась весьма неудачной, все же оригиналы имеют относительно нормальные черты лица с легкой формой стилизации.

Думаю поэтому и присутствует «несуразность» на первых этапах генерации.

1. mystic messenger artstyle, portrait of a happy blonde-haired woman, black background (первая попытка) 2. mystic messenger artstyle, portrait of a white-haired man, lokking in the camera

Итоговые генерации

Несколько генераций спустя картины стали лучше и качественнее отражали стиль новеллы.

Original size 1024x1024

mystic messenger artstyle, photo of a street in japan

1. mystic messenger artstyle, a cup on the empty wooden desk 2. mystic messenger artstyle, a dark-haired woman looking in the sky (1)

1. mystic messenger artstyle, a photo of a table with dinner, candle and a rose 2. mystic messenger artstyle, a red-haired waiteress in the cafe holding menu 3. mystic messenger artstyle, a waiteress in the cafe in front of a bar 4. mystic messenger artstyle, barista in the cafe

1. mystic messenger artstyle, black-haired man with flowers in his arms 2. mystic messenger artstyle, city seoul photo

1. mystic messenger artstyle, many flowers in a man’s hand, photo made by phone 2. mystic messenger artstyle, painting portrait of a beautiful woman

Original size 1024x1024

mystic messenger artstyle, yummy breakfast with eggs and sausage

Итог

В конце концов, я довольна результатом, он оказался более чем достойным и возможным для дальнейшей реализации собственных сюжетов в генерируемых иллюстрациях.

Модель все еще надо обучать для более чистого итога, но начало положено и оно выглядит отлично!

Блокнот

Обучение генеративной модели Stable Diffusion под стиль Mystic Messenger

Elizaveta Bondarenko

artificial intelligence