MODIGLIANI GEN AI
(1) ИДЕЯ ПРОЕКТА
Амеде́о Клеме́нте Модилья́ни — итальянский художник и скульптор, один из самых известных художников начала XX века, представитель экспрессионизма.
«Наш Модильяни, или Моди, как его называют, был типичным и вместе с тем очень талантливым представителем богемного Монмартра; скорее даже он был последним истинным представителем богемы».
Людвиг Майднер
Экспрессиони́зм — течение в европейском искусстве эпохи модернизма, получившее наибольшее развитие в первые десятилетия XX века. Экспрессионизм стремится не столько к воспроизведению действительности, сколько к выражению эмоционального состояния автора.
Взяв за основу работы художника-экспрессиониста, мне хотелось попытаться найти ответ на злободневный вопрос о том, способна ли машина на эмпатию. Для этого в проекте искусство чувства противопоставляется машинному обучению.
Живопись Модильяни уникальна не только из-за своей экспрессивности, но и засчёт стилистических особенностей, самой характерной можно назвать стилизацию человеческих пропорций на портретах. Для обучаемый нейросети воссоздание стиля художника является приоритетной задачей.
Обучив нейросеть стилю Амадео, можно будет наглядно увидеть отличия подхода человека и машины, особенно в таком тонком направлении, как живопись.
(2) ИСХОДНЫЕ ИЗОБРАЖЕНИЯ
Для реализации проекта было необходимо отобрать работы Модильяни и кадрировать их в один и тот же формат для дальнейшего формирования датасета и обучения.
(3) ПРИНЦИП РАБОТЫ КОДА
Для обучения и генерации использовалась Stable Diffusion, для обучения был собран датасет с изображениями.
После проверки GPU были установлены зависимости и подключен датасет.
Для каждого изображения в датасете были сгенерированы описательные промпты.
Логин на Hugging Face для получения токена и записи модели и её дальнейшего использования.
Далее начинается тренировка модели: шаг 500, чекпоинт 250. В общей сложности тренировка заняла около 40 минут.
(4) РЕЗУЛЬТИРУЮЩАЯ СЕРИЯ
Генерируя изображения, хотелось получить изображения людей разных возрастных групп, взрослых, стариков и детей, чтобы серия была более динамичной.
PROMPT: photo in MODIGLIANI style, portrait of a young woman, elongated neck, almond-shaped eyes, warm muted tones
PROMPT: photo in MODIGLIANI style, portrait of a little boy, pale skin
PROMPT: photo in MODIGLIANI style, red-haired woman sitting on a chair, elongated proportions
PROMPT: photo in MODIGLIANI style, black-haired man, elongated proportions, expressive strokes
PROMPT: photo in MODIGLIANI style, two lovers, simplified shapes, long neck, dreamy faces
PROMPT: photo in MODIGLIANI style, brown-haired woman, elongated proportions, expressive strokes
Вышеприведённые сравнения дают понять, что нейросеть научилась рисовать отдалённо похожие на работы Амадео Модильяни изображения.
Вытянутая шея, гиперболизированный овал лица, приглушённая палитра — всё это так или иначе проявляется в генерациях.
(1) PROMPT: photo in MODIGLIANI style, portrait of an old lady, almond-shaped eyes, warm tones (2) PROMPT: photo in MODIGLIANI style, portrait of an old man, almond-shaped eyes, warm tones
(1) PROMPT: photo in MODIGLIANI style, woman in green dress, tilted head, distant gaze (2) PROMPT: photo in MODIGLIANI style, woman wearing a wide hat, long neck, abstract face proportions, gentle colors
(1) PROMPT: photo in MODIGLIANI style, black-haired woman, elongated proportions, expressive strokes (2) PROMPT: photo in MODIGLIANI style, portrait of a man, angular features, tilted head, deep contemplative mood
(1) PROMPT: photo in MODIGLIANI style, male portrait, long narrow face, stylized eyes without pupils, contemplative expression (2) PROMPT: photo in MODIGLIANI style, portrait of a violinist, elongated body and face
(5) ВЫВОД
Подводя итоги, обученная нейросеть научилась некоторым стилистическим особенностям художника, однако конкуренцию живописи Амадео Модильяни она составить не может.
Однозначный ответ на вопрос об эмпиричности машины дать достаточно сложно, поэтому результаты проекта останутся открытыми для интерпретации.
Несмотря на это, обучение нейросети позволило провести любопытное исследование и дать старт интересным дискуссиям о современном искусстве.
(5) ИСПОЛЬЗОВАННЫЕ ИНСТРУМЕНТЫ
1. Stable Diffusion — обучение генеративной нейросети под свой стиль; 2. Google Colab — выполнение кода и генераций; 3. Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт
