Обучение генеративной нейросети под стиль Хаима Сутина
Хаим Сутин — один из выдающихся художников «Парижской школы», особенностью стиля которого являлись экспрессивность и драматизм. Динамичность его мазков контрастирует со статичностью сюжетов. При обучении нейросети под стиль художника основополагающим было передать пластичные и яркие мазки, искаженные формы и колористические особенности его картин.
База изображений насчитывала 25 картин художника, среди которых были портреты, пейзажи и натюрморты.
Картины Хаима Сутина, использованные в проекте
Процесс написания кода для генерации изображений
Загрузка картин художника.
Генерация промптов.
Обучение нейросети.
Первые генерации и поиск идеи
Изображение людей
Спустя несколько генераций нейросеть неплохо научилась передавать авторский стиль Хаима Сутина в портретах.
prompts:.a girl with curly hair; …a girl with curly hair standings in the room; …a portrait of a young peasant woman in a red shirt; …portrait of a girl with big brown eyes on a red background.
prompts: oil paintings in SOUTINE style, an old man with glasses and a bright red sweatshirt; oil paintings in SOUTINE style, a portrait of an old farmer with glasses.
Однако, когда люди находятся в процессе выполнения определенных действий, нейросеть хуже справляется с их изображением. Причиной этому может служить статичность референсных работ, поскольку художник часто избегал движения на картинах.
prompts:…ballet dancer with a black skirt on bring red background; …ballet dancer with a black skirt on gym background; …a girl dancing ballet in a black skirt.
prompts: oil paintings in SOUTINE style, a men mowing hay; oil paintings in SOUTINE style, a women cooking in a small old kitchen; oil paintings in SOUTINE style, childrens playing in the garden.
Аналогично и с групповыми портретами. Заметны анатомические проблемы и плохая прорисовка деталей.
prompts: oil paintings in SOUTINE style, young girls in the room; oil paintings in SOUTINE style, a family eats some meals on dinner.
Архитектура и пейзаж
При отрисовке улицы нейросеть хорошо уловила стилистику художника.
prompts: …an old church; …urban architecture on city background; …modern urban architecture on city background with people.
prompts: …the village house on the background of the forest; …a treehouse; …an old house in village surrounded by forest; …a poor interior of old house.
Изображение цветов
Хаим Сутин часто писал цветы, поэтому при генерации я тоже решила их изобразить. Картинки получились в двух жанрах — пейзаж и натюрморт.
prompts: oil paintings in SOUTINE style, a garden with red flowers; oil paintings in SOUTINE style, flowers with bright red color.
Натюрморт
Отличительной особенностью художника являются его натюрморты, сюжетам которых становятся туши умерших животных. С генерацией подобных сцен нейросеть также справилась хорошо. Получилось передать драматизм и боль.
prompts: …meat lying on the table; …fish on the table; …a died sheep lies on a table; …the mutton is on a table.
Итоговая серия
Поскольку сам художник изображал преимущественно мертвых животных, отражая в своих картинах боль, опустошение и скоротечность жизни.
С помощью обучения нейросети я решила посмотреть на то, как бы выглядели живые, счастливые и свободные животные, написанные кистью Хаима Сутина.
prompts: oil paintings in SOUTINE style, a little white sheep on bright red background; oil paintings in SOUTINE style, small colored birds; oil paintings in SOUTINE style, a cock on a red background.
prompts: oil paintings in SOUTINE style, a farm with cows, pigs and sheeps; oil paintings in SOUTINE style, a cow eats the meadow grass.
prompts: oil paintings in SOUTINE style, fish swimming in the river; oil paintings in SOUTINE style, zoo with lions and tigers; oil paintings in SOUTINE style, animals on wild nature.
prompts: oil paintings in SOUTINE style, a cute cats, bright art with red and yellow colors; oil paintings in SOUTINE style, a dog is in the kennel.
prompts: oil paintings in SOUTINE style, a white horse; oil paintings in SOUTINE style, a white horse standing in the field.
Таким образом, финальная серия включает в себя домашних и диких животных, спокойно живущих в этом мире. В итоге получилось обучить нейросеть использовать экспессивные и хаотичные мазки, гипертрофировать и искажать объекты в манере, свойственной Хаиму Сутину, а также прибегать к ярким и контрастным цветовым сочетаниям.
Результат всех генераций
В заключение хочу сказать, что многие особенности стиля художника удалось уловить нейросети, однако, иногда она излишне искажает объекты или рисует их неправильно. Исходя из предоставленной базы работ художника, наилучшим образом нейросеть обучилась изображать портреты (с одним лицом), натюрморты, городские пейзажи, а также животных, которые и вошли в финальную серию.
