Обучение генеративной модели на творчестве Г. Р. Гигера
Концепция
Целью проекта было обучение нейросети, способной понимать и воспроизводить художественные стили знаменитых художников. Нейросеть учится на подготовленном наборе данных, состоящем из картин художника, анализирует уникальный творческий стиль и пытается его воссоздать.
В данном проекте в качестве основы для обучения нейросети я выбрала работы швейцарского художника, знаменитого своими мрачными сюжетами и с узнаваемым в поп-культуре стилем — Ганса Рудольфа Гигера.
Мне показалось интересным для данного проекта взять именно творчество Гигера из-за объединения механического и человеческого (биомеханики) на его картинах, в чем можно провести интересную параллель с искусственным интеллектом.
Датасет
Для датасета были собраны картины Гигера, с главным фокусом на типичные для художника изображения антропоморфных существ и существ с механическими частями тел.
Все работы Гигера были обрезаны в соотношение 512Х512 в качестве подготовки изображений для обучения нейросети.
Процесс обучения
Инструменты:
1. Google collab — написание кода
2. Stable diffusion — генеративная модель для обучения
3. Hugging face — получение токена
Первым шагом работы была установка библиотек. Далее был загружен подготовленный вручную датасет из картин Гигера.
Важной частью для работы нейросети и ее понимания была генерация промптов к загруженным изображениям.
Полноценный код можно увидеть по ссылке предоставленной ниже, а сама модель доступна на Hugging Face.
Ссылка на блокнот с кодом
Модель на Hugging Face
Применение модели
Нейросеть очень удачно и четко передает стиль Гигера, но не передает промпты, далекие от типичного творчества художника. Так, в экспериментальных запросах с локациями в промпте, результат ярко отображает стиль Гигера, но не указанный промпт.
Нейросеть отлично справляется с мрачными сюжетами, скелетами и монстрами.
Нейросеть изображает очень ярких монструозных существ, четко отображающих в своей сути стиль Гигера.
Также меня интересовало попробовать нетипичный сюжет в стиле Гигера. Изображение с промптом «a fluffy sheep» удачно сохранила в себе мрачность работ Гигера и интересную текстуру на шерсти, при этом четко отобразила животное.
В случае с запросом изобразить людей, модель автоматически отображает биомеханических людей, лишь с отдаленной человеко-подобностью, но типичной творчеству Гигера.
Изображение с простым промптом «machine» («машина») не так сильно отличается от «человека», изображенного в стиле Гигера.
Интересно, что первое получившееся наиболее человечное изображение получилось с промптом «a self-portrait by artificial intelligence». Также, упоминание «lady» благодаря подобранным изначально изображением выдает человечные лица и фигуры, в отличие от просто «human».
Нейросеть очень четко передает свойственную Гигеру «биомеханическую» живопись, т. е. сочетает человеческие черты с элементами механики, создавая кошмарные образы.
Вывод
Работа нейросети полностью зависит от ее основы, которой является человеческое творчество. Она быстро анализирует и создает новые работы, которые копируют детали заложенного в ее основу и собирают из таких деталей изображение из промпта.
Нейросеть может быть интересным инструментом для экспериментов с изображением или использована как референс для вдохновения, основа для нового творчества.
При этом, нейросеть остается инструментом и не может работать без основы, созданной ранее человеком.
Ссылки
Источник изображений: Ганс Рудольф Гигер — работы // Артхив URL: https://artchive.ru/hansruedigiger/works
