Original size 1240x1750

Обучение генеративной нейросети созданию лошадей в стиле Темное Фэнтези

6

ИДЕЯ И ИСТОЧНИКИ

Большая часть визуальной культуры сегодня располагает к различным экспериментам и тестам с привычными существами. Нередок случай, когда внешний облик лошади в играх, и ее анатомическое строение полностью не соответствуют реальности. Удлинение конечностей, изменение волосяного покрова и остальные вещи привычны для такого типа транспорта во вселенных без ярко выраженных технологических открытий.

Более того, сегодня лошадь — по сути, дополнение к основному персонажу. Она не способна существовать (как мы дальше выясним по датасету) без всадника, либо рыцаря, порой у нее нет функций кроме транспортной. Мое исследование и обучение нейросети направлено на разработку и изучение лошади не только как животного и перевозчика, но и возможность становления главным героем, важным персонажем, а также полное отображение ее анатомии, либо отображение с минимальными модификациями.

Стиль Dark Fantasy яркий представитель моих слов выше. За основу специфичности стиля (ландшафт, архитектура), а также его загадочности я возьму генерации нейросети Midjourney и иные источники по аналогичному запросу.

big
Original size 2480x1750

Примеры работ в стиле «Dark Fantasy» (Темное Фэнтези) от нейросети Midjourney

ПОИСК И ИСХОДНЫЕ ДАННЫЕ

Original size 2048x512

Изначальная сложность заключалась в поиске работ с лошадьми, так как распространены на просторах интернета скорее изображения всадников. После собранный архив необходимо было отредактировать. Все изображения из хаотичных форм превращались в квадраты.

Original size 2480x1750

Исходные данные в изначальном формате

Необходимо было заострить внимание именно на лошадях, так как задачей обучения является научить нейросеть рисовать именно этих животных.

Original size 2870x1650

Готовый к работе датасет

ПРОЦЕСС

Работа и обучение нейросети включает в себя разнообразные этапы: установка и работа с данными, загрузка и поиск изображений, тренировка и непосредственно практикующая генерация.

Original size 1213x435

Этап «тренировки» нейросети

На этапах генерации изображений мы непосредственно общаемся с нейросетью, и вводим ей запрос на желаемое изображение, которое она нарисует в определенном стиле (в данном случае рассматривается работа именно с обучением и генерацией картинок конкретного стиля).

Original size 1258x670

Этап «генерация»

ИТОГ

Попробуем сгенерировать обложку

Original size 2480x1750

«The white horse’s head is decorated with a golden bridle»

Эксперимент с мастями

«Black horse on mountain background» и «Portrait of a red horse in gold armor against a smoldering sunset»

Original size 2480x1750

Утерянный по моей вине результат промпта «Portrait of a horse in gold against a smoldering sunset»

Добавим либо уберем движение

«Knight with horse stand on the field in the middle of the night» и «Running horse near the castle»

Эксперимент с действиями со средой

Original size 2480x1750

«A mystical horse stands in the forest and looks at the viewer»

После нескольких попыток генерации, становится понятно, что в большинстве случаев нейросеть справляется с анатомией отлично. Порой пририсовывает лишнюю ногу или лицо, но нечасто. Команды понимает и выполняет в целом хорошо, возможно не с первой попытки. Для более широких и сложных генераций может потребоваться расширение промпта.

Можно заметить схожесть изобразительного решения с датасетом: пропорции тела, суставов, характер некоторых движений и позы лошадей. Нейросеть также детально и грамотно способна изобразить амуницию, но тут тоже иногда приходится прибегать к уточнению. Нередок случай, когда модель путается и ошибочно рисует всадников на лошадях там, где они не указаны (промты 4,5).

НЕУДАЧНЫЕ ДУБЛИ

НЕУДАЧНЫЕ ДУБЛИ

Обучение генеративной нейросети созданию лошадей в стиле Темное Фэнтези
6