Идея проекта
В основе проекта — творчество Ким Джанг Ги, известного иллюстратора и карикатуриста. Его работы интересны тем, что создавались без предварительных набросков карандашом, при этом часто изобилуя деталями. Мне стало любопытно, как с этой стилистикой и таким уровнем детализации справится Stable Diffusion. Для обучения нейросети был собран датасет включающий в себя 46 работ Ким Джанг Ги.
Некоторые работы Ким Джан Ги, на которых обучалась нейросеть
Одна из работ Ким Джан Ги, на которых обучалась нейросеть
Некоторые работы Ким Джан Ги, на которых обучалась нейросеть
Результаты и описание применения генеративной модели
Генерация, созданная по промту «photo collage in Kim Jung Gi style, girl pilot surrounded by giant frogs»
Итоговая серия генераций в стиле Ким Джанг Ги
Результаты генераций меня приятно удивили. Не смотря на небольшой датасет, многие стилистические особенности сохранились. Особенно хорошо удалось передать технику мастера — рисунок кистью и тоновые заливки. При этом, генерации получились и композиционно похожи на оригинальные скетчи Ким Джанг Ги. Сверхдетализованные фрагменты чередуются с более условными, повторяя композиционный ритм исходных изображений.
Генерация по промту «photo collage in Kim Jung Gi style, tiger on a motorcycle»
Но и не удалось избежать ожидаемых недочетов. Нейросеть путается в деталях, при ближайшем рассмотрении детализация зачастую оказывается кашей из тоновых пятен.
Загрузка датасета в google collab и его распаковка. Добавление команды, позволяющую использовать кириллицу. Команда, ускоряющая обучение нейросети.
Запуск обучения нейросетевой модели. Постоянным промтом в моем случае становится «photo collage in Kim Jung Gi style», который используется для вызова созданной модели.
Для генераций использовались различные чекпоинты. В проекте представлены генерации на 4 из них. На 250 и 500, а также 500 и 0.4, 500 и 0.8.
Чекпоинт 250
Генерации на чекпоинте 250; Промты: «photo collage in Kim Jung Gi style, Girl with a Tiger», «photo collage in Kim Jung Gi style, Pig and Musician Girl»
Чекпоинт в 500 и 0.8
photo collage in Kim Jung Gi style, pretty young girl tattoo artist in leather jacket tattooing a pig
Чекпоинт 500 и 0.4 обычной неройнки
Генерации чекпоинта в 500 и 0.4; Промты: «photo collage in Kim Jung Gi style, Pig in Space», «photo collage in Kim Jung Gi style, Woman on a motorcycle with an anthropomorphic tiger in a biker suit»
Сохранение модели на Hugging Face
Вывод
Обучение нейросетевой модели для меня оказалось успешным. Получилось передать стилистические особенности авторского стиля Ким Джанг Ги. При этом рассматривать детали не менее интересно во многом из-за погрешностей генерации.
