Городские каникулы райской птички // Обучение генеративной нейросети

Райская птица Уилсона — яркая и редкая птичка, находящаяся под угрозой исчезновения. Является эндемиком и проживает исключительно на двух островах Юго-Западного Папуа. В проекте я представила, как могли бы выглядеть каникулы этой райской птицы, очутись она в Москве.

Для этого я обучила модель на основе Stable-diffusion-xl-base-1.0. Фокус моего проекта направлен на генерацию самой райской птицы Уилсона, а не города, который служит лишь декорациями. Поэтому в качестве базы данных я собрала квадратные фотографии этой птицы. Я старалась подбирать разные ракурсы, чтобы «дать полное представление» нейросети о внешнем облике генерируемого объекта.

Для начала я подготовила все для работы, установив необходимые библиотеки и скрипт для тренировки модели.

Далее я загрузила базу изображений в директорию, которую нейросеть будет использовать для обучения, а также проверила, что изображения открываются правильно.

Я загрузила модель и добавила префикс, чтобы создать собственный промпт.

После я зарегистрировалась на HuggingFace, получила токен и внесла его в Collab. Загрузила необходимые библиотеки, дала название своей модели и начала обучение.

Модель готова, можно начинать генерировать изображения, используя ранее созданный префикс!

Я выделила несколько особенностей райской птицы Уилсона, которые хотела передать с помощью модели:

1. Черное или коричневое туловище с яркими цветными пятнами
2. Небольшой размер птицы
3. Длинный раздвоенный хвост

Для начала мне хотелось создать типичную туристическую фотографию на фоне достопримечательности, для чего после префикса я указала «the backdrop features historic buildings of  Moscow». В качестве исторического здания ИИ выбрал собор Василия Блаженного.

Модель достаточно точно передала внешность птицы, сохранив ее окрас (черное туловище с яркими цветными пятнами), небольшой размер самой птицы, длинный раздвоенный хвост.

Другие генерации по этому же промпту также показали неплохие результаты по передаче самой птицы, хотя не обошлось и без артефактов в виде слишком большого количества лап и исчезающей посередине ветки. Цвета стали ярче, сделав изображения более жизнерадостными.

Мне было интересно посмотреть, сможет ли нейросеть изобразить несколько птиц за раз. В Москве, как и в любом городе, часто можно наблюдать стаи птиц, сидящие на проводах.

Часть с проезжающими под проводами машинами ИИ почему-то проигнорировал, однако самих птиц изобразил достаточно достоверно. Хорошо передалась окраска, однако на изображении слева мордочки птиц сгенерировались с артефактами. Я сделала еще одну вариацию этого изображения (справа), перезапустив ячейку. Окрас также передался верно, однако хвосты были сгенерированы не совсем точно, так как не у всех птиц они получились раздвоенными.

Далее мне хотелось представить, что райская птичка могла бы подружиться с кем-то из жителей Москвы. Дети любят кормить птиц, и я предположила, что маленькая девочка могла бы поладить с экзотической птицей.

Модель предпочла сделать это изображение в чб, однако и тут видно, что расположение цветного оперения похоже на референсные фото. Странно сгенерировался клюв — почему-то он состоит из 3  частей, однако сама его форма и длина верные. Интересно, что модель изобразила девочку в платье, узором и кроем напоминающем русский сарафан, так что можно считать, что наш персонаж успешно интегрировался в местное общество.

До этой генерации я не уточняла возраст девочки, а писала в промпте просто «girl». В ответ модель выдала мне девушек и взрослых женщин, сгенерированных с артефактами, однако райские птицы получились вполне достоверными.

Многие туристы, приезжая в Москву из других стран, покупают на память шапку-ушанку. Я решила представить, что и райская птичка Уилсона могла бы приобрести в городе такой сувенир.

Интересной мне показалась генерация, где ИИ нарядил птицу в куртку в дополнение к шапке-ушанке.

Я перезапускала ячейку несколько раз, получая новые изображения по тому же запросу. На последующих генерациях туловище оказалось выполнено похоже, однако хвост был коротковат.

Модель хорошо справилась с окрасом и размером птицы, хвост же оказался для нее трудноватым в генерации. Тем не менее птица всегда оставалась узнаваемой и похожей на референсные фотографии.

Stable Diffusion  — генеративная нейросеть, на основе которой была создана модель Chat GPT — использовался для устранения ошибок в коде