Концепция
На 1 курсе, в рамках арт-практики, я создавала иллюстрации для поэмы Владимира Маяковского «Облако в штанах». Цель иллюстраций была в том, чтобы передать образность и метафоричность произведения. Для этого я использовала особую технику: я находила в интернете силуэты нужных мне объектов, распечатывала, вырезала по контуру, а потом составляла из них композицию и поэтапно проходилась аэрозольной краской. В результате у меня получились очень интересные и многослойные изображения.
Я считаю, что с помощью такой техники можно проиллюстрировать и другие произведения поэта. Однако, процесс создания таких иллюстраций довольно долгий и трудоёмкий. Я хочу проверить, сможет ли обученная нейросеть повторить этот стиль и создавать такие картины самостоятельно.
Исходные изображения
Мой проект по арт-практике состоял из 10 иллюстраций, дополнительно у меня была одна пробная иллюстрация, не вошедшая в проект. Все эти иллюстрации я обрезала до квадратного формата. Таким образом, для обучения нейросети я использовала 11 изображений.
Принцип работы кода
Проект был реализован с использованием генеративной модели Stable Diffusion XL, дообученной с применением методов DreamBooth и LoRA на собственном датасете. Целью было создание уникальной модели, способной генерировать изображения в стилистике моих иллюстраций. Проект выполнялся в образовательных целях — для изучения принципов работы и освоения технологий дообучения генеративных моделей, а также в качестве творческого эксперимента и развлечения.
Базовая модель: Stable Diffusion XL 1.0
Метод адаптации: Dreambooth с LoRA
Размер датасета: 11 изображений
Количество шагов: 500
Разрешение: 512×512 пикселей
Сгенерированные изображения
В результате до-обучения нейросети получилась серия сгенерированных иллюстраций по различным стихотворениям Владимира Маяковского. Результат меня очень порадовал. Изображения нейросети действительно сложно отличить от оригинала.
Сгенерированные иллюстрации к стихотворению Владимира Маяковского «Скрипка и немножко нервно»
code:
prompt = «art in MAYAKOVSKI style, violin, black and white»image = pipe (prompt=prompt, num_inference_steps=25).images[0]
image
Сгенерированная иллюстрация к стихотворению Владимира Маяковского «Я Наполеон»
code:
prompt = «art in MAYAKOVSKI style, napoleon, black and white»image = pipe (prompt=prompt, num_inference_steps=25).images[0]
image
Сгенерированные иллюстрации к стихотворению Владимира Маяковского «Письмо Татьяне Яковлевой»
code:
prompt = «art in MAYAKOVSKI style, paris and woman, black and white»image = pipe (prompt=prompt, num_inference_steps=25).images[0]
image
Сгенерированная иллюстрация к стихотворению Владимира Маяковского «Ешь ананасы, рябчиков жуй…»
code:
prompt = «art in MAYAKOVSKI style, pineapple, black and white»image = pipe (prompt=prompt, num_inference_steps=25).images[0]
image
Сгенерированные иллюстрации к стихотворению Владимира Маяковского «Лиличка!»
code:
prompt = «art in MAYAKOVSKI style, woman and sun and elephant, black and white»image = pipe (prompt=prompt, num_inference_steps=25).images[0]
image
Сгенерированные иллюстрации к стихотворению Владимира Маяковского «Эта книжечка моя про моря и про маяк»
code:
prompt = «art in MAYAKOVSKI style, sea and lighthouse, black and white»image = pipe (prompt=prompt, num_inference_steps=25).images[0]
image
Сгенерированные иллюстрации к стихотворению Владимира Маяковского «Хорошее отношение к лошадям»
code:
prompt = «art in MAYAKOVSKI style, horse and people»image = pipe (prompt=prompt, num_inference_steps=25).images[0]
image
