Обучение генеративной нейросети под стиль мультфильмов Хаяо Миядзаки
Идея проекта
Визуальный стиль Хаяо Миядзаки отличается тщательной ручной прорисовкой с «дыханием» аналоговой анимации, где каждая линия и текстура ощутимо живые. Его работы наполнены детализированными, почти одушевлёнными пейзажами — шелестящей листвой, подвижными облаками и прозрачными потоками воды, создающими гипнотическую атмосферу. Архитектура часто отсылает к европейской культуре, но с японским чувством гармонии, а свет играет ключевую роль — тёплые тона уюта контрастируют с холодной тайной неизведанного. При этом даже в фантастических сюжетах природа остаётся главным героем: технологии визуально противопоставляются органике.
Стиль Хаяо Миядзаки отлично подходит для обучения генеративной нейросети и дает возможность своими руками создавать сказочный реализм, где волшебное кажется естественным, а земное — возвышенным.
Изображения для обучения
Процесс обучения
Генерация описания
Процесс генерации
Неудачные попытки
Первые попытки сгенерировать изображения в стиле Хаяо Миядзаки оказались неудачными. Множество лишних деталей, руки растущие невесть откуда, поломанные пропорции. Стоит учесть, что использовались стандартные настройки, довольно простой промт и num_inference_steps=25
Последующие попытки
Осознав, что базовые настройки и простые промты не дадут необходимого результата, я начала экспериментировать.
Для улучшения качества изображений я добавила негативный промт, guidance_scale=10 и увеличила количество шагов.
Получившиеся картинки стали на много чище, а персонажи сохраняли анатомию.
Итог
В конечном итоге генерации стали значительно лучше, но негативный промт и количество шагов менялось в зависимости от промта, и сложности изображения.
Фоны
В работах Хаяо Миядзаки всегда выделялись красочные фоны, максимально проработанные и нарисованные чем-то похожим на акварель или гуаш. Мне было важно, чтобы генеративная нейросеть могла воспроизвести похожую детализацию и воздушную атмосферу.
Ссылка на код
