Альберто Миелго. Обучение генеративной нейросети.
Основная идея проекта изобразить и создать концепт-арты в стиле художника Альберто Миелго.
Альберто Мьельго — испанский режиссёр, художник и аниматор.
Был арт-директором мультсериала «Трон: Восстание» и режиссёром короткометражных анимационных фильмов «Свидетель» и «Джибаро», снятых для антологии «Любовь. Смерть. Роботы». Лауреат четырёх премий «Эмми» и двух премий «Энни». Обладатель премии «Оскар» за лучший анимационный короткометражный фильм (2022) за фильм «Стеклоочиститель».
*Определение взято из Яндекса.
Также в процессе я открыла для себя то, как кардинально меняются результаты генераций в зависимости от требуемого формата картины.
Примеры будут представлены ниже.
Датасет
Оригиналы изображений я взяла с портфолио Альберто Миелго, однако в процессе они подверглись обрезке под размер 800×800.
Процесс обучения модели
Сам процесс был медитативным, сначала я хотела сделать все как в лекции: через Kaddle, но из-за проблем с русским номером было принято решение перенести работу в Google Colab.
Заняло ВСЕ 4 часа без учета часа в Kaddle: 1. Выбрать идею и художника. 2. Найти достаточно материала. 3. Обрезать вручную в квадрат.
4. Переименовать все части на стиль моего художника, подходящие параметры, в том числе переименовать папку cher, например, на kats.
5. Создать токен на Hugging Face.
5. Обучение модели ± 45 минут (самое время затратное).
6. Генерация изображений нейросетью.
*Но тут уже все отлично
Начало промпта у меня обычно «photo collage in MIELGO style,».
Хотя я поиграла во время работы и итог с одинаковыми требованиями, но разным форматом изображений был разным.
Итоговые изображения
Вывод
Подытоживая, хочу сказать что опыт работы с моделью Stable Diffusion был интересным, по сути своей это неплохой инструмент, но не более, все же у меня есть легкий диссонанс в душе.
Однако с точки зрения технический части и программирования, мне все более чем понравилось, сидеть по 15-40 минут каждый день и к концу недели у вас готовый проект.
Было расслабляющее монотонно собирать картинки любимого автора.
Сам код мне показался легким и хорошим, основные трудности возникли с самими программами, например ограничения по GPU.
Благодаря этому курсу (на момент 3 модуля) я многое поняла, думаю само обучения нейросети затянется на долгие годы, но сам процесс умеренно интересный, проблемы все еще возникают, но только с частыми местами ИИ (глаза, руки, волосы).
Было интересно и круто, есть что написать в резюме!
Описание применения генеративной модели
Stable Diffusion XL (SDXL) использовалась для обучения генеративной нейросети под стиль Альберто Миелго в не коммерческих целях.
Для учебной деятельности и для создания этого проекта.
Использовала для оформления и для создания проекта:
https://gradients.app/ru/newpalette — палитра для оформления https://www.fotor.com/design/project/5e76f8cb-2d92-41b1-9dba-a531e24f9265/collage — для создания коллажа https://www.albertomielgo.com/beatles-rockband/yvzddyic2wdwl93q81tqhey806ar87 — источник изображений https://www.figma.com/design/OwhytB3Am88VPQDKKlmyaI/Нейронки? node-id=0-1& p=f& t=i0dO8GM9ttYKD96B-0 — для оформления фото и артов
