LoRA-адаптер для Stable Diffusion XL обучен на 27 офортах Джованни Баттисты Пиранези из открытой коллекции The Met.
Идея
В 18 веке венецианский архитектор Джованни Баттиста Пиранези выпустил серию офортов «Воображаемые темницы». Мосты и своды образуют огромные пространства, а люди выглядят маленькими и почти незаметными. Похожее ощущение возникает в дата-центрах, на складах и в транспортных узлах. Эта связь стала основой проекта.Задачей стало перенести признаки офорта на современные сюжеты: штриховку, тёмные своды, тёплый тон бумаги и резкую разницу между масштабом человека и архитектуры. В серии 16 листов с римской нумерацией. Последний лист «Облако», связывает всю эту инфраструктуру с человеком у экрана.
Изображения для обучения
В датасете 27 офортов из открытой коллекции The Met: 13 листов «Воображаемых темниц», 7 архитектурных фантазий и 7 «Видов Рима». Дополнительные работы дают больше примеров портов, колоннад и интерьеров с куполами.
Датасет из работ Пиранези
У сканов обрезаны поля и подписи. Большие изображения уменьшены до 1280 пикселей по короткой стороне. При обучении из них берутся случайные квадратные фрагменты 1024 × 1024 пикселя.К каждому изображению добавлено описание сюжета на английском. Перед ним стоит фраза «grvr style». Она используется и в запросах при генерации, чтобы обращаться к обученному стилю. Отдельный новый токен в словарь модели не добавлялся.
Слева направо, сверху вниз работы Пиранези: «Подъёмный мост», «Опора с цепями», порт из «Opere varie» и интерьер собора Святого Петра
Итоговая серия
Для 16 сюжетов сгенерировано по два варианта с разными значениями seed. Из 32 вариантов выбрано 16 изображений. Запросы начинаются с «grvr style», затем идёт описание сцены. Изображения не дорисовывались и не ретушировались.
Финал серии: человек сидит у светящегося экрана под тёмным сводом из кабелей. Всё предыдущее (склады, серверы, порты) сходится в этот свет. Темница, которую носят в кармане.
[«portrait», «a lone person looking at a glowing smartphone in the middle of an immense dark vault of cables, screens and staircases leading nowhere»]
Что получилось
Слева офорт Пиранези, справа лист серии, SDXL + LoRA [«landscape», «a deep underground metro interchange, criss-crossing escalators and stairways, massive concrete pillars and vaults, hanging lamps, crowds of tiny commuters»]
Лестницы и мосты из «Темниц» превращаются в переходы метро и галереи торгового центра. Канаты и цепи становятся кабелями. В серверной, порту и машинном зале остаётся тот же контраст: огромная конструкция и маленький человек.Серию объединяют тёплый серый тон, штриховка, глубокие тени и уходящая вдаль перспектива. Лучше всего с исходными офортами перекликаются интерьеры: метро, коллектор и машинный зал. Открытые пространства, например развязка и стройка, больше похожи на архитектурный рисунок.
Слева офорт Пиранези, справа лист серии, SDXL + LoRA [«landscape», «a cryptocurrency mining farm in a vaulted industrial hall, endless walls of computers with fans, thick cables hanging like ropes, steam, tiny figures»]
Главное отличие от оригиналов — качество линии. Местами она мягкая и напоминает карандаш или уголь. У Пиранези штрих обычно тоньше и резче. Современные машины и ракета тоже выглядят скорее как иллюстрации, чем как детали старого офорта.
Слева офорт Пиранези, справа лист серии, SDXL + LoRA [«landscape», «a container port at the edge of the sea, colossal gantry cranes, stacks of shipping containers, a giant container ship, chains and ropes, broad stairs to the water, tiny dock workers»]
При отборе учитывались читаемость сюжета, общий стиль и заметные ошибки. Например, один вариант аэропорта стал похож на вокзал и в серию не вошёл.Для сравнения использованы одинаковые сюжеты и значения seed. Без LoRA результат ближе к фотографии или цифровой иллюстрации. Упоминание Пиранези в запросе уже меняет стиль, а адаптер в этих примерах усиливает тон бумаги, штриховку и контраст. Это наблюдение по выбранным изображениям, а не доказательство полного разделения стиля и содержания.
В каждой строке один сюжет и один seed: базовая модель, запрос с именем Пиранези и обученная LoRA
Серия сгенерирована с силой LoRA 1,0, за 32 шага генерации и с CFG 6,5. Размеры — 1216 × 832 или 832 × 1216 пикселей. В негативном запросе перечислены нежелательные признаки: цвет, фотографичность, текст, водяные знаки и рамки. Такой запрос снижает их вероятность, но не исключает ошибки.На примере серверной видно, как увеличение силы LoRA меняет рисунок. При 0,4 стиль ещё слабый; при 0,7 и 1,0 он заметнее. При 1,2 некоторые детали становятся грубее. Для итоговой серии выбрано 1,0.
Сила адаптера
Промежуточные версии сохранены на 400, 800, 1200 и 1600 шагах обучения. В показанном сравнении меняются тени, штриховка и архитектурные детали. Для серии использована последняя версия. По этим примерам нельзя надёжно исключить переобучение: для этого нужна отдельная проверка сходства с датасетом.
Один сюжет на разных этапах обучения
Seed задаёт исходную случайность генерации. При одинаковом запросе другой seed меняет расположение людей и конструкций. Это помогает выбрать композицию, сохранив общую манеру серии.
Один запрос и два значения seed
Для следующей версии стоит отдельно сравнить чёткость штриховки и сходство с исходными листами. Можно проверить более ранние сохранения и меньшую силу LoRA на тех же запросах и seed. Это поможет выбрать настройки без лишнего усиления теней и потери деталей.
Ноутбук и процесс обучения
Вся работа собрана в ноутбуке для Kaggle. Ниже — основные шаги и фрагменты его кода.
