«Ошибки» генеративных нейросетей в работах Марио Клингемана
Марио Клингеман, «Neurographer», 2017
Рубрикатор
1. Концепция 2. Ошибки в генеративном искусстве 3. Марио Клингеман — пионер нейросетевого искусства 4. Методология несовершенства и ошибок 5. Заключение 6. Библиография 7. Источники изображений
Концепция
Визуальное искусство на стыке нейросетевых технологий и алгоритмов сегодня входит в зону активной художественной рефлексии и обсуждения, так как меняется не только то, как создаётся изображение, но и как его воспринимаем мы — зрители. А особенно меня заинтересовало, что в практике немецкого художника Марио Клингемана ошибки генеративных нейросетей становятся не побочным эффектом, а центральным художественным объектом, вызывающим в нас одновременно диссонанс и восхищение. Мне кажется это особенно значимым — когда технологический сбой, глитч или мерцание алгоритма превращаются в новую форму художественного языка. Поэтому в своем визуальном исследовании я погрузилась в изучение «ошибок» в работах Клингемана. Это обусловлено моей заинтересованностью в том, как современные технологии трансформируют и преображают изображения и как художник делает из непредсказуемости системы эстетическую форму и искусство.
Принцип отбора материала для моего визуального исследования основан на находках и работах Марио Клингемана, которые прямо или косвенно показывают генеративный сбой. Например серии работ «Neural Abstractions» или один из его самых популярных эксперментов «Memories of Passersby I». Погружаясь в его работы я выбирала те, в которых ошибка или артефакт нейросети кажутся нам элементом композиции, а не просто вспомогательным инструментом. В качестве материала я постаралась взять ограниченный период творчества Клингемана, где он работает с GAN/latent-space и где визуальный сбой становится частью смысла. Кроме того, я буду опираться как на визуальные изображения (из выставок, онлайн-ресурсов и тд.), так и на интервью и статьи, где художник рассуждает о своей практике.
Рубрикация визуального исследования выстраивается по определенному принципу. Сначала будет вводный раздел, где я обобщаю генеративное искусство и понятие «ошибки» в алгоритмах. Затем два тематических блока. С информацией о визуальных паттернах сбоя у Клингемана — как они выглядят и проявляются, а также и о самом художнике. И третий раздел посвящен методологии — как он организует генерацию, провоцирует сбои, выбирает изображения.
Ключевой вопрос исследования, которым я задалась: почему визуальные «ошибки» генеративных нейросетей в работах Марио Клингемана становятся новым художественным языком и что они нам сообщают о взаимодействии человека, машины и изображения? Исходя из этого я делаю вывод, что моя гипотеза состоит в том, что ошибки компьютерных алгоритмов у Клингемана не представляют собой просто дефект или случайность, а становятся осознанным эстетическим объектом. То есть сбой превращается в знак, язык, через который машина транслирует нам свой визуальный мир. Таким образом, визуальное исследование направлено на понимание того как связаны между собой технологический механизм сбоя генеративных нейросетей и визуальная практика Марио Клингемана.
Ошибки в генеративном искусстве
Ошибки в генеративном искусстве — это не просто технические «сбои», а визуальные проявления несовершенства модели и прочие отклонения от ожидаемой конечной формы. В нейросетях такие явления возникают на разных этапах, например при подготовке и очистке датасета, при оптимизации функций или из-за намеренных вмешательств художника в параметры модели. Именно в этих провалах рождаются неожиданные визуальные решения, которых не было бы при строгой, корректной генерации.
Роза Менкман, Vemacular of File, 2011
Одна из ключевых практиков глитч-арта — Роза Менкман, в книге «The Glitch Moment (um)» она формирует свою идею о том, что ошибка вовсе не уничтожает смысл работы, а раскрывает структуру и преображает, то есть «глюк» показывает скрытые слои и логику формата.
Роза Менкман, Vemacular of File, 2011
Это исходное, несжатое (RAW) изображение. Менкман рассматривает глитч как культурный и технологический феномен, который можно целенаправленно рассматривать как эстетический метод.
Роза Менкман, Vemacular of File, 2011
Это изображение BMP было сконвертировано путём многократного копирования и вставки случайных фрагментов изображения в исходный файл.
Роза Менкман, Vemacular of File, 2011
Слева: Изображение GIF с усечением (связанным с ошибкой квантования). Справа: Изображение GIF, в котором ошибка квантования минимизирована за счёт использования артефактов дизеринга.
Роза Менкман, Vemacular of File, 2011
Это изображение JPEG было обработано путем внесения случайной ошибки в информационные данные.
Рефик Анадол, MoMA Generative Study D.05 (detail), 2022.
Рефик Анадол работает с крупными данными и называет некоторые результаты «machine hallucinations» — то есть визуализации того, как модель фантазирует генерации на основе шаблонов в данных.
Рефик Анадол, Unsupervised» (2022-23)
В таких проектах ошибки интерпретации данных позволяют зрителю увидеть новые наборы визуальных данных.
Рефик Анадол, Unsupervised» (2022-23)
Здесь «ошибка» превращается в инструмент для получения сгенерированных ландшафтов памяти. Визуально это часто проявляется как текучие, слоистые структуры, в которых узнаваемые формы трансформируются в абстрактные данные.
Робби Баррат, Nude Portrait, 2019
Также на примере художника Робби Баррата можно рассмотреть как он «ломал» модели специально, обучая их на несовместимых или урезанных наборах данных.
Робби Баррат, Nude Portrait, 2019
В серии Nude Portrait нейросеть научилась правильно воспроизводить локальные детали (например, текстуры), но не сумела правильно выстроить целостную анатомию человека. В результате мы видим человеческие фрагменты, собранные искажённым образом.
Робби Баррат, Bloomberg Businessweek cover, 2018
Марио Клингеман — пионер нейросетевого искусства
Марио Клингеман — немецкий художник, также известный под псевдонимом Quasimondo, который работает на стыке кода, алгоритмов и визуального искусства. Он живёт и работает в Мюнхене и на протяжении своей карьеры развивал интерес к соединению искусства, программирования и визуальных технологий.
Марио Клингеман
Сначала художник был больше ориентирован на традиционные художественные дисциплины, но постепенно стал одним из пионеров использования нейронных сетей и алгоритмов в творчестве. Его ранний опыт включал создание веб-сайтов, работу в рекламе и дизайн-флаеров в музыкальной техно-сцене. За годы он превратил системную и техническую практику в глубокое художественное исследование.
Марио Клингеман, Memories of Passersby I., 2018
Клингеман создаёт как инсталляции, так и серии изображений и видео, объединённые работой с генеративными моделями. Самый известный на данный момент его проект — Memories of Passersby I.
Марио Клингеман, Memories of Passersby I., 2018
Это автономная машина, генерирующая бесконечную ленту «портретов» в реальном времени.
Марио Клингеман, EUTOPIA, 2020
Ключевой принцип Клингемана — превращать техническую нестабильность в эстетический ресурс. Он не стремится идеально «исправить» артефакты, а наоборот — провоцирует и усиливает их. В своих интервью он отмечает, что «самое интересное происходит, когда модель оказывается за пределами зоны обучения» — в этом и рождаются случайности.
Марио Клингеман, Raster Fairy (2016-), 2016
Кроме того можно сказать помимо эстетики, ошибки у Клингемана выполняют и концептуальную функцию. они позволяют поставить вопрос об авторстве, о природе генерации как диалога между человеком и машиной. Благодаря тому, что он намеренно оставляет и усиливает сбои, его работы становятся в каком-то смысле политическими заявлениями о технологиях.
Марио Клингеман, Hyperdimensional Attractions Series-Bestiary, 2019
Методология несовершенства и ошибок
Клингеман комбинирует несколько приёмов в своих работах, таких как подбор и предобработку датасетов, обучение генеративных сетей, чаще всего это GAN и другие вариации, манипуляцию уже обученными моделями и отбор финальных результатов.
Пример работы генеративной сети GAN
Он рассматривает датасет как инструментарий для формообразования: отбор и загрязнение данных напрямую влияют на то, какие артефакты и ошибки появятся в генерации. В его интервью подчёркивается, что художник сначала отбирает изображения, затем тренирует и работает с сетями и уже затем вмешивается в процесс, добиваясь нужной эстетики.
Упрощенная схема работы искусственной нейронной сети. Алгоритм Марио Клингеманна (справа), алгоритм группы «Obvious» (слева)
Марио Клингеман, Memories of Passersby I., 2018
В данной работе автономная машина генерирует бесконечную цепь лиц в реальном времени. По словам Клингемана, важна не каждая картинка, а именно сам алгоритм — «искусство — не в изображениях, а в программе, которая их порождает».
Марио Клингеман, Memories of Passersby I (Соло версия), 2018
Он обучал нейросеть на тысячах портретов из XVIII–XIX веков, что задало «визуальную память» лиц для нейросети. Эта модель настроена так, чтобы генерировать новые лица, опираясь на собственный вывод, то есть нейросеть интерпретирует своё собственное изображение и продолжает генерировать, создавая их бесконечное количество.
Марио Клингеман, Neural Abstraction #8, 2016-2017
Серия Neural Abstraction это композиции, где формы почти угадываются, но редко обретают чёткие, привычные нам контуры. В этих работах Клингеман как бы исследует как модель генерирует абстракции.
Марио Клингеман, Neural Abstraction #9, 2016-2017
Здесь Клингеман применяет PPGN (Plug-and-Play Generative Networks) — это техника, при которой генерация происходит не напрямую, а через уже обученную нейросеть, а потом «максимизирует» ее активацию и корректирует сгенерированное изображение.
Марио Клингеман, Neural Abstraction #3, 2016-2017
Он сам подбирает датасеты. Винтажные иллюстрации, обложки альбомов. После PPGN-генерации он использует технику, которую называет «transhancement» — это исходное низкокачественное изображение, которое подается в модель на основе pix2pix, которая масштабирует и одновременно усиливает эффект, добавляя различные текстуры и необычные формы.
Марио Клингеман, Neural Decay, 2020
Neural Decay — серия портретов на металлических панелях, которые выглядят как старинные фотографии. Лица странные, маскоподобные, с глазами-стекляшками и текстурами.
Марио Клингеман, Neural Decay, 2020
Клингеман использует алгоритмы GAN, то есть сначала модель обучается на исторических портретных фото, преимущественно мужских, затем он трансформирует их, добавляя женские черты или превращая их в кукольные лица. А после генерации лиц эти изображения подаются в «transhancement».
Марио Клингеман, Mistaken Identity, 2018
Это видео-работа, триптих, созданная с использованием специальных GAN-моделей. Ключевая техника в работе это Neural Glitch, случайные модификации. Алгоритмы вдохновлённые pix2pix. Он связывает несколько GAN моделей в цепочку и первые модели могут повредить входные данные, а последующие — пытаться «исправить» эти сбои, создавая сюрреалистичные композиции.
Заключение
В заключении своего визуального исследования я могу сказать, что практика Марио Клингемана открывается со стороны действительно уникального подхода к работе с генеративными нейросетями, где ошибки становятся полноценным художественным объектом. Он не пытается скрывать сбои модели, он намеренно создаёт условия, в которых алгоритм выходит за пределы предсказуемости. В результате мы получаем распадающиеся лица, абстрактные фигуры, нестабильные текстуры, которые формируют новый современный язык, основанный на машинной нейросетевой нестабильности и неожиданности. Так, можно сказать, что исследование подтверждает, что ошибки ИИ это вовсе не технические дефекты, а некая художественная новизна.
