Обучение генеративной модели Stable Diffusion под стиль смешариков
Идеей моего проекта является обучение генеративной нейросети Stable Diffusion под стиль смешариков и дальнейшее ее использование с целью генерации уникальных изображений в этом стиле
Для обучения генеративной нейросети я собрала датасет, состоящий из 40 изображений
Данный код реализует обучение генеративной нейросети на основе предобученной модели Stable Diffusion, ориентируясь на стилистику смешариков
На данном этапе происходит подготовка данных. Я создала папку «smeshariki», в которую копируются изображения для дальнейшей обработки и обучения
После происходит загрузка и предварительный просмотр изображений
С помощью модели BLIP генерируются описания к изображениям. Эти текстовые описания я буду использоваться как промпты при обучении генеративной модели
На следующем этапе происходит обучение генеративной модели на собранном наборе изображений
Хорошо получился пейзаж, отображается стилистика мультфильма, особенности рисовки. Произошла небольшая проблема с домами героев, возможно нейросеть смешала несколько домов в один единый
Получились интересные персонажи, очень хорошо получился заяц Крош. Возникла проблема с цветами, так как они намешаны и появилось много зайцев
Пейзаж отличный, очень похоже на сцену из мультика, особенно валяющиеся предметы, будто герои просто вышли из кадра
Вышла интересная композиция с несколькими персонажами, которые в процессе генерирования смешались, но картинка выглядит ярко, похоже на сцену во время заставок песен в Смешариках
Большое количество звездочек в оттенках любимых персонажей вышли потрясающе. Есть отличительные символы мультфильма и сохранилась рисовка
Узнаваемость пространства осталась, но осталась проблема в смешении животных и цвета, но нейросеть старалась
Здесь представлена серия неудачных сгенерированных изображений. В основном ошибки возникали в анатомии персонажей, излишней детализации пространства, из-за чего общий рисунок полностью терялся, а также потеря форм и цвета
