Персонажи «Златолобо»
«Ты да я, нас, товарищ, двое! Пойдем, поэт, взорим, вспоем у мира в сером хламе. Я буду солнце лить свое, а ты — свое, стихами».
В. В. Маяковский
На первом курсе по предмету Арт-практика, я создала серию иллюстраций, посвященных стихотворению В. В. Маяковского «Необычайное приключение…». Поближе с проектом можете ознакомиться тут.
Идея проекта
Изначально, я думала куда можно применить данный иллюстративный стиль. И решила обучить нейросеть создать персонажей, опираясь на стихотворение Маяковского.
Задача: продумать несколько персонажей. Два действующих лица: солнце и лирический герой. Другие персонажи: жители деревни.
В иллюстрациях использованы три цвета: чёрный, белый и красный. Стиль работ выполнен в эстетике, отсылающей к Маяковскому.
Процесс обучения
Для начала я установила и подключила нужные библиотеки (transformers, diffusers, accelerate, bitsandbytes и др.), чтобы подготовить окружение для обучения и генерации изображений.
Далее создала папку и загрузила в неё изображения из нашего датасета, чтобы использовать их для обучения модели.
После того, как я загрузила свои файлы в Kaggle, мне необходимо было зарегистрироваться на Hugging Face, чтобы получить токен. Потом подключаем модель BLIP (Salesforce) для генерации текстовых описаний к изображениям. Создали функцию, которая принимает картинку и возвращает сгенерированную подпись — это помогает понять, как нейросеть видит изображение.
Потом начинаем тренировку. Разрешение — 512, максимальный шаг тренинга — 500, и чекпоинт тоже 500, чтобы код загружался чуть быстрее.
Дальше мы загружаем обученную модель на Hugging Face Hub, чтобы она была доступна онлайн и её можно было использовать в других проектах или делиться с другими людьми.
В конце я подготовила модель для генерации изображений: —загрузила базовую SDXL и VAE —подключила обученные LoRA веса —перевела всё на GPU для быстрого создания картинок
И наконец-то я приступила к созданию изображений!
Солнце и лирический герой
Так как я планировала сгенерировать персонажей для произведения, первыми было солнце и лирический герой
Промпты: 1. «a cheerful and anthropomorphic sun character, its round face» 2."A majestic and important anthropomorphic sun character, bright golden and orange rays radiating from its round face, expressive wise eyes, calm and dignified expression, friendly yet powerful presence, glowing softly, standing on a plain white background, cartoon style, vibrant and warm colors, highly detailed, suitable for illustration and concept art, clearly recognizable as the sun»
В итоге, основным я решила оставить данный вариант.
Промпт: " a cheerful and anthropomorphic sun character, its round face, expressive sparkling eyes and a friendly smile, cartoon style, standing on a plain white background "
«A lyrical and introspective poet character, young adult, ordinary and relatable human appearance, soft expressive eyes, thoughtful gaze, slightly messy hair, simple contemporary clothing, calm and gentle demeanor, cartoon style, colorful and friendly, standing on a plain white background, emotional and whimsical atmosphere»
Но для итогового, я выбрала данный вариант Промпт:"A full-body, slightly irritated lyrical poet character, young adult, ordinary and relatable human appearance, soft expressive eyes with a hint of annoyance, thoughtful yet slightly frowning expression, slightly messy hair, simple contemporary clothing, calm and gentle demeanor with subtle frustration, cartoon style, colorful and friendly, standing on a plain white background, emotional and whimsical atmosphere»
Другие персонажи
Также для создания разных образов, я решила добавить ещё несколько персонажей: молодая девушка и старушка.
Промпты: 1."A full-body cartoon village girl, young adult, simple and rustic appearance, long slightly messy hair, wearing simple worn clothing, friendly and cheerful expression, standing alone on a plain white background» 2."A full-body elderly woman character, kind and wise appearance, gentle face with wrinkles, standing alone on a plain white background, cartoon style» # @param
«Погоди! послушай, златолобо, чем так, без дела заходить, ко мне на чай зашло бы!»
Также я решила отразить некоторые сцены из стихотворения.
Промпт:"A cheerful anthropomorphic sun character and a lyrical poet character sitting together at a table, drinking tea, smiling and interacting, full-body, cartoon style, vibrant colors, whimsical and friendly atmosphere, expressive faces, white background, highly detailed, cozy and joyful scene»
Заключение
В ходе эксперимента, мне понравилась так оживить свой проект, я даже подумываю развивать эту серию персонажей дальше.
Список использованных в проекте инструментов: — Stable Diffusion — обучение генеративной нейросети под свой стиль; — Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт; — Chatgpt — для усовершенствования кода
