Обучение генеративной нейросети. Дзюндзи Ито
На первом курсе одним из моих проектов по арт-практике была графическая серия. Иллюстрации создавались по следующему принципу — я использовала текстовые капчи от Яндекса, которые позже добавляла в нейросеть для создания текстов «Порфирьевич», тем самым дополняя бессмысленные словосочетания до связной истории.
Так как итоговые сюжеты получились довольно абсурдными и сюрреалистичными, при изображении сюжетов я также ориентировалась на стиль Дзюндзи Ито. Это японский мастер хоррора, известный своими мангами в жанре психологического ужаса. Его творчество отличается атмосферой безысходности, абсурдными и пугающими образами, а также глубоким погружением в страхи и паранойю. Его стиль характеризуется сюрреалистичными, биоморфными монстрами (спирали, щупальца, сливающиеся тела), минималистичными фонами и акцентом на персонажах и их эмоциях.
Мне показалось, что данное задание это отличный повод продолжить этот проект, дополнив его сгенерированными изображениями. Для обучения модели я собрала наиболее выразительные работы Дзюндзи Ито, которые наглядно демонстрируют стиль рисования и особенности сюжетов. Датасет состоит из 77 изображений.
Процесс обучения
• Установка необходимых зависимостей и библиотек • Загрузка скрипта для обучения LoRA • Загрузка изображений • Использование модели BLIP для создания промптов к изображениям • Настройка и запуск обучения LoRA-адаптера • Адаптация базовой модели SDXL под целевой стиль изображений • Размещение обученной модели на платформе Hugging Face • Организация доступа к модели для последующего использования • Генерация изображений с использованием обученных весов
Серия изображений
Основой для серии изображений также стали текстовые капчи от Яндекса, которые представляют собой бессмысленные словосочетания. Выбрала 16 наиболее интересных из попавшихся мне, чтобы сделать их основой серии.
Для генерации сюжетов изображений я решила использовать не «Порфирьевич», как в первом своем проекте (что именно рисовать я тогда додумывала сама), а DeepSeek, чтобы он составил не просто абстрактный текст, а именно сюжет картинки для каждой текстовой капчи, которые я смогу использовать в качестве промпта. Я объяснила задачу и обозначила сюрреалистичную и абсурдную хоррор-стилистику, которой должны будут соответствовать сюжеты.
«Парусами монорельса — Длинный монорельсовый поезд, вместо вагонов — гигантские паруса, развевающиеся в невидимом ветру. Внутри парусов видны силуэты людей, будто они сами стали частью ткани»
«Просим камнепады — Толпа людей с пустыми глазницами стоит у подножия горы и хором шепчет: „Просим камнепады“. Сверху начинают падать не камни, а сжатые кулаки из скальной породы.»
«Человечек неотвратим — Человечек в чёрном костюме идёт по улице. Все, кто его видит, застывают, потому что понимают: он идёт именно к ним, и его нельзя избежать.»
«Всеобщее свечение — Люди на улицах внезапно начинают светиться изнутри, но вместо света — тьма, поглощающая всё вокруг. Чем ярче их „свечение“, тем чернее пространство.»
«Пластилиновой заливаясь — Человек плачет, но слёзы не вода, а пластилин. Они падают на пол и складываются в уродливые фигурки, которые начинают двигаться.»
«Гномов клубок — В тёмной комнате десятки гномов срослись в один гигантский шар из переплетённых конечностей. Они тихо хихикают, но если прислушаться — это один и тот же смех, повторяющийся в унисон.»
«Гигантский просветитель — Огромное существо с лицом, напоминающим старинный портрет философа, парит над городом, освещая улицы не светом, а страницами книг, которые вырываются из его глаз и рта, сжигая всё, к чему прикасаются.»
«Штангой простер — Человек с неестественно вытянутыми руками держит гигантскую ржавую штангу, которая пронзает несколько тел, нанизанных, как шашлык. Их лица всё ещё шевелятся и смотрят в разные стороны.»
«Бумагами увитый — Фигура, полностью завернутая в исписанные листы бумаги, но вместо лица — дыра, из которой вырываются новые страницы, обвивая всё вокруг, как щупальца.»
«Паутиной бесконечны — Вместо неба — бесконечная паутина, в которой застряли не насекомые, а люди. Они ещё шевелятся, но с каждым движением нити впиваются в них глубже.»
«Осенила прожужжал — Над полем стоит женщина с головой пчелиной матки, а из её короны вылетают рои букв вместо насекомых. Они впиваются в людей, оставляя на коже слова, которые начинают гнить.»
«Задышал кашлянул — Лицо человека внезапно раздувается, как мешок, и вместо выдоха изо рта вылетают сотни мелких насекомых.»
«Могучими пожимал — Руки размером с небоскрёбы выходят из-под земли и пожимают друг другу пальцы, сокрушая здания между ними. В ладонях зажаты крошечные фигурки людей, которые безуспешно пытаются выбраться.»
«Огромных вцепившись — Громадные пальцы, торчащие из облаков, сжимают город, как ребёнок сжимает игрушку. Между ними сочится кровь, но источник её не виден.»
«Прохожих повязки — У всех людей на лицах повязки, но не на глазах, а на ртах. Когда кто-то пытается их снять, под тканью оказывается не рот, а ещё одна повязка.»
«Отверстия откусить — Человек подносит руку ко рту, чтобы откусить яблоко, но вместо этого его зубы впиваются в пустоту, оставляя дыру в воздухе, которая начинает расширяться.»
Отражение концепции в изображениях
Итоговая серия визуализирует абсурдные и сюрреалистичные словосочетания через призму эстетики Дзюндзи Ито. • Абсурдность передана через гротескные трансформации тел (растянутые конечности, слияние людей в массы, неестественные позы). • Боди-хоррор проявляется в мотивах размытых лиц, органических деформаций. • Атмосфера безысходности читается в статичных, почти монотонных композициях, где персонажи будто застыли в вечном страхе.
Стилистические особенности и их передача
Нейросеть неплохо уловила ключевые черты стиля художника, но с некоторыми отклонениями: • Цветовая гамма: В отличие от чёрно-белой манги, некоторые изображений получились в желтоватых тонах, что придало им оттенок, близкий к винтажному ужасу. Это не противоречит эстетике Ито, но смягчает её графическую резкость. • Детализация: Лица часто стилизованы под манеру художника (пустые чрезмерно выразительные глаза, тонкие черты лица). Фоны соответствуют сюжетам, заметны также хаотичные текстуры, напоминающие штриховку. Артефакты генерации (лишние конечности, сливающиеся тела) тоже по-своему вписываются в концепцию, усиливая сюрреализм. • Повторяющиеся элементы: Нейросеть склонна дублировать мотивы (например, множественные руки в разных работах), но это усиливает ощущение масштабности.
Итог
Серия удачно сочетает задуманный сюрреализм с эстетикой Ито, хотя цветовая гамма и артефакты генерации внесли неожиданные, но органичные изменения. Ключевые успехи — в передаче телесного ужаса и абсурда, слабые места — в детализации фонов и игнорировании некоторых вводных при наличии сложных и длинных промптов, как в моем случае. Для дальнейшего развития проекта можно экспериментировать с: • увеличением исходного датасета • принудительной монохромной палитрой • более четкими и емкими промптами • акцентом на дополнительные описания фонов
В проекте использовалась нейросеть DeepSeek для написания промптов и Upscayl 2.10.0 для улучшения качества некоторых изображений из исходного датасета
