Главная героиня проекта — Лягушка, которую мне подарила моя лучшая подруга. У меня появилось желание посмотреть, как бы она (Лягушка, а не подруга) выглядела в разных местах, в которых сама я в ближайшее время не окажусь. Для этого я использовала генеративную нейросеть Stable Diffusion XL.
Цель проекта — посмотреть, сможет ли нейросеть воспроизводить изображение вязанной игрушки и создавать соответствующий её размерам фон.
Исходные фотографии
В первую очередь я захотела увидеть Лягушку на пляже.
Видно, что нейросеть выучила общие характеристики Лягушки: вязанное тельце, пластиковые глаза, объёмная линия на мордочке.
prompt = «a photo of JABBA toy on a beach.»
В первых генерациях есть общая особенность: песок выглядит как пряжа или ткань. Я связываю это с тем, что среди исходных фотографий Лягушки, которые я использовала для обучения модели, есть отдельная серия на фоне с вязанной текстурой, которую модель выучила вместе с Лягушкой.→Исходное фото
Несмотря на неплохое изображение Лягушки «на пляже», мне не понравились генерации, ㅤиз-за монотонности песка. В дальнейшем я решила добиваться более более насыщенного деталями окружения. Для этого в следующий промпт были добавлены уточнения.
prompt = «a photo of JABBA toy in the garden among colorful flowers»
Результат понравился мне намного больше, поэтому я обратилась к Deepseek («задание — написать промпт на английском для генерации изображения. начинать с a photo of JABBA toy, а дальше интересно место, где может оказать вязанная игрушка, (например сад с цветами, готический собор, ярмарка, музей, магазин, аквариум, пруд, гостиница в Альпах, шпиль флага, ледник в Антарктиде). напиши 20 вариантов примерно по 2-3 предложения с эпитетами»), чтобы увидеть, как промпт с «садом» напишет нейросеть.
Заметно, что на большинстве генераций нейросеть прикрывает лапки окружением или рисует их неверно. Чтобы решить эту проблему, был расширен альбом исходных фото. Добавлены семь изображений на белом фоне в одной позе, где хорошо видны лапки Лягушки.
prompt = «a photo of JABBA toy sitting on a giant mushroom in an enchanted fairy garden, surrounded by tiny glowing spirits. Luminescent flowers and sparkling dew drops create a dreamlike, whimsical atmosphere.»
Расширение альбома и детализация промпта улучшили генерации, поэтому дальше правок не было. Все следующие генерации представлены от наиболее к менее удачным.
prompt = «a photo of JABBA toy sitting proudly on a dusty wooden shelf in a cozy vintage toy shop, surrounded by antique porcelain dolls and tin robots. Warm amber lamplight highlights its grotesque yet endearing features.»
prompt = «a photo of JABBA toy perched on a frost-covered pumpkin in an autumn pumpkin patch at dusk. Golden fallen leaves swirl around it while a carved jack-o'-lantern grins menacingly nearby.»
Лучше всего Лягушка получилась «на полке магазина», «в саду фей» и «на тыкве». Пропорции тела примерно совпадают с оригиналом, лапки выглядят естественно, на некоторых четыре пальца вместо трёх, но общему восприятию это не мешает. Лягушка хорошо смотрится на изображении, окружающие предметы реалистично взаимодействуют с игрушкой.
prompt = «a photo of JABBA toy floating in a swirling cosmic nebula among glittering stars and distant galaxies. Radiant purple and gold stardust swirls around its serene, otherworldly expression.»
Интересно нейросеть увидела Лягушку в космосе. Она не стала помещать игрушку на реалистичные космические туманности, а нарисовала «hand-made» галактику, хотя этого не было в промпте.
prompt = «a photo of JABBA toy sitting in a lush lavender field in Provence at golden hour. Endless purple rows stretch to the horizon as gentle bees hum around its contented face.»
Лягушка «на лавандовом поле» тоже выглядит естественно. Нейросеть правильно «посадила» игрушку на живые растения. На левом изображении есть артефакты в районе нижних лапок, но они не критичны.
prompt = «a photo of JABBA toy perched on a moss-covered rock in a misty ancient forest, surrounded by towering ferns and glowing fireflies. Soft golden sunbeams filter through the emerald canopy, casting a magical glow on its wrinkled green skin.»
«Лягушка в лесу» на контрасте с «Лягушкой на лавандовом поле» выглядит менее убедительно. Из-за расположения игрушки и соотношения с листьями вокруг создаётся впечатления фотоколлажа, а не фотографии.
prompt = «a photo of JABBA toy nestled in a woven basket on a rustic French bakery counter, surrounded by warm golden croissants and dusty flour. Soft morning light streams through a lace-curtained window.»
prompt = «a photo of JABBA toy floating lazily in a bubbling hot spring nestled among snow-capped mountains. Thick white steam curls around its leathery body as frost sparkles on the surrounding pine trees.»
Похожая проблема и с «Лягушкой в горах» и «Лягушкой в пекарне». Окружающие предметы точно меньше, чем должны быть.Левое изображение «в горах» — единственной, в котором нейросеть «забыла» вязанную фактуру.
prompt = «a photo of JABBA toy sprawled across a neon-lit Tokyo street corner at midnight, surrounded by glowing vending machines and rain-slicked asphalt. Vibrant pink and blue reflections dance across its rubbery skin.»
По-разному получилась «Лягушка в Токио». Левая достаточно хорошая, с небольшим артефактом на лапке, на правой оказалась лягушка-гигант.
prompt = «a photo of JABBA toy placed on a snowy windowsill of a cozy Alpine cabin, surrounded by flickering candles. Soft snowfall drifts outside while warm firelight glows from within.»
prompt = «a photo of JABBA toy resting on a velvet throne inside an abandoned Gothic cathedral, with shattered stained-glass windows casting colorful shards of light. Dusty cobwebs drape dramatically over its slimy form.»
Менее удачные генерации получились по промптам «в готическом соборе» и «в Альпах». Лапки заметно исказились, а фон не выглядит подходящим к игрушки. Отдельные предметы не подходят по размеру.
