Концепция
Проект основан на обучении генеративной нейросети на серии авторских графических изображений абстрактных человеческих фигур. В основе серии лежит упрощение человеческого тела до минимального набора линий: анатомические детали практически исчезают, а основное внимание переносится на силуэт, движение и текучесть формы.
Визуальный язык изображений строится на минимализме и линеарности. Плавная линия одновременно формирует фигуру и передаёт характер её движения, переходя от тонких штрихов к более плотным и выразительным участкам. Большое количество свободного пространства дополнительно подчёркивает лаконичность и пластичность силуэтов.
Обученная на этих изображениях нейросеть становится инструментом для продолжения и развития существующей серии. Она использует характерные особенности исходных работ для создания новых фигур и композиций, по-своему интерпретируя заданный визуальный язык.
Исходные изображения
Процесс обучения
На первом этапе была подготовлена среда для обучения генеративной модели Stable Diffusion XL (SDXL) с использованием методов DreamBooth и LoRA. Были установлены необходимые библиотеки: diffusers, transformers, accelerate, peft и bitsandbytes, а также загружен скрипт для обучения DreamBooth LoRA на базе SDXL.Для обучения модели был подготовлен собственный датасет из изображений абстрактных человеческих фигур. Работы объединены общей визуальной стилистикой: минимализмом, линеарностью, плавными текучими формами и акцентом на движение человеческого силуэта.
В Google Colab была создана отдельная директория:
my_lineart
Для каждого изображения были автоматически созданы текстовые описания с помощью модели BLIP (Bootstrapping Language-Image Pre-training).
BLIP анализирует каждую работу и формирует текстовое описание её содержания. К полученным описаниям был добавлен специальный идентификатор:
in my_line styleОн используется как обозначение обучаемого визуального стиля.
Таким образом, каждое изображение связывается с текстовым описанием, например по принципу:
in my_line style, [описание изображения]Полученные данные сохраняются в файл metadata.jsonl, содержащий название каждого изображения и соответствующий ему prompt.
После подготовки датасета была запущена процедура fine-tuning модели Stable Diffusion XL 1.0 методом DreamBooth с использованием LoRA.
В качестве обучаемого понятия используется:
in my_line style
На последнем этапе создаются новые изображения с использованием текстовых промптов. Каждый prompt начинается с идентификатора «my_line style», после которого задаётся новая композиция или положение человеческих фигур.Например, модели предлагается создать одну фигуру в движении, две танцующие фигуры, сидящую фигуру, две обнимающиеся фигуры, три фигуры в круговом движении, лежащую фигуру или человеческий силуэт, переходящий в форму цветка.При этом в промптах сохраняются основные характеристики исходного визуального языка: плавные непрерывные линии, минималистичная человеческая фигура, отсутствие выраженных черт лица, изменение толщины линии, монохромность и большое количество белого пространства.
Сгенерированные изображения
my_line style, a single abstract human figure in a graceful dancing pose, the entire body formed from a few continuous flowing black lines, extremely elongated curved silhouette, dramatic variation between very thin and thick strokes, soft charcoal-like edges, organic asymmetrical curves, minimal details, large areas of untouched white space, pure white background, monochrome black and white, minimalist gestural drawing, centered composition
my_line style, two abstract human figures dancing together, their bodies intertwined and constructed from long continuous sweeping black lines, simplified oval heads without facial features, extremely minimal anatomy, elegant curved gestures, lines crossing and merging into each other, varying line weight from delicate grey-black strokes to dense velvety black areas, soft dry-brush texture, lots of negative white space, pure white background, monochrome minimalist drawing
my_line style, an abstract human figure stretching upward with both arms raised above the head, body reduced to a single elongated flowing gesture, long curved limbs merging naturally into the torso, tiny featureless head, sweeping S-shaped silhouette, expressive changes in line thickness, soft fuzzy charcoal texture at the edges, black pigment fading into grey in the thinnest parts, isolated on a completely white background, highly minimal monochrome composition
my_line style, a seated abstract human figure viewed from the side, knees drawn toward the body, anatomy reduced to elegant loops and continuous curved strokes, one small oval head connected directly to a sweeping shoulder line, no face, no clothing details, black flowing lines with strong thick-to-thin transitions, soft airbrushed charcoal edges, delicate grey fading in narrow strokes, large empty white background, minimalist gestural figure drawing
my_line style, a single abstract human figure leaning dramatically backward, body represented through one long sweeping curve, head as a small solid black oval, torso opening into a large empty loop, extremely elongated arms and legs suggested by only a few lines, fluid calligraphic movement, dense black junctions where lines meet, thin strokes gradually fading to grey, slightly fuzzy dry charcoal texture, white paper background, monochrome minimalist gestural drawing
my_line style, three abstract human figures moving together in a circular dance, bodies made from sparse continuous black curves rather than realistic anatomy, small oval heads and elongated flowing limbs, lines intersecting and weaving through each other while remaining visually simple, alternating thin delicate strokes and heavy velvety black sections, organic calligraphic rhythm, soft charcoal-like edges, enormous amount of white negative space, pure white background, monochrome minimalist composition
