Обучение генеративной нейросети в стиле манги Исиды Суи
Концепция
Исида Суи — японский мангака, автор таких произведений, как «Токийский гуль» и «Сверхчеловек Х». Помимо графических работ, в его портфолио есть и живописные примеры, однако в проекте я решила рассматривать именно фрагменты из комиксов.
Его работы воплощают экспрессивную сущность надлома, чистые эмоции, драматически подчеркнутые контрастом белого и черного, воплощающие тонкую грань между покоем и ажитацией.
Это сочетание, очаровавшее меня, я впоследствии учитывала не только в чертах визуального оформления, но и в философии персонажей, которых хотела воссоздать при помощи нейросети.
Визуальный стиль мангаки характеризуется сочетанием реалистично проработанного фона и стилизованных персонажей. При этом различия не чувствуется: автор детализированно прорабатывает тоновые отношения, погружая фигуры героев в освещение сцены. Так выставляется кадр, схожий по наполнению, подбору угла зрения и различных типов камеры, с кинематографическими произведениями.
Однако в этом и заключается двойственность стиля: зачастую статика во фреймах сочетается с нарочито комиксной динамикой.
Датасет
В качестве примеров для обучения нейросети были представлены 18 портретов персонажей разного пола. Я старалась выбирать изображения по плечи, чтобы избежать деформации тела, в основном, в анфас.
При этом важно было, чтобы черты лиц героев были не совсем идентичными, с различными эмоциями, одеждой и структурой волос.
Мной были загружены необходимые библиотеки, портреты, и после того, как завершилось обучение нейросети при помощи Hugging Face, можно было приступить к получению готовых изображений.
Итоги генерации
Две девушки, олицетворяющие божественное воплощение солнца и луны. И отрешенность, печаль, несмотря на противоположность, объединяет их образы, раскрывая разные стороны одного и того же образа.
При том, что прослеживается визуальное сходство черт лица с примерами из оригинала, нейросеть хорошо справилась с фэнтезийными элементами.
Образы молодых мужчины и женщины ощущаются идентичными: черты лица схожи, лишь длина волос отделяет их друг от друга. И ужас опыта, опустошение неизбежности объединяет их.
На этих иллюстрациях прослеживается проработка текстуры грязи и крови мангаки, а также реалистичное, без искажений, изображение анатомии. Эмоциональное переживание также было хорошо передано нейросетью.
В этих примерах проявляется проделанная работа нейросети с объемами лица: подчеркивание рельефа носа и области под глазами. При этом дефекты, сопутствующие арту искусственного интеллекта, минимальные.
Оба детектива, попавшие в перестрелку, переживают один и тот же опыт, однако их проявления противоположны: один совсем юн и впервые сталкивается с жестокостью своей профессии, другой — следователь, воспринимающий риск частью своей жизни.
Воплощение жизни и хрупкость смерти воплощают сопутствующие циклу
Здесь была передана текстура: перьев, ангельская, и сплетение пальцев, схожее с костями или кожаными перепонками, однако это впечатление навеивается именно дефектами.
Контраст внешности и атмосферы, навеваемой ею
Файл с кодом
