Исходный размер 1141x1601

Голос и его мультимодальность

Данный проект является учебной работой студента Школы дизайна или исследовательской работой преподавателя Школы дизайна. Данный проект не является коммерческим и служит образовательным целям

Введение

Голос — одно из самых распространённых, но при этом наименее рефлексивно осмысляемых явлений в повседневной жизни. Каждый день человек сталкивается с десятками голосов: в разговоре, по телефону, в подкасте, в музыкальной записи, в уведомлениях смартфона. Однако привычность голоса скрывает его сложную природу. Данное исследование исходит из предположения, что слушание голоса никогда не является чисто аудиальным процессом, а всегда включает другие сенсорные, технологические и культурные модальности.

Голос долгое время осмыслялся в рамках бинарной оппозиции: с одной стороны — означающий, рациональный, авторский голос (связанный с истиной и субъектностью), с другой — материальная, телесная, избыточная вокальность (смех, плач, крик, шёпот). Эта оппозиция, как показывает антропологическая и философская критика, имеет глубокие гендерные и колониальные корни. Однако помимо этой бинарности существует и другая проблема: в теории и в повседневном опыте слушание голоса часто редуцируется к слуховому восприятию, тогда как на деле оно включает зрение, осязание, технологическую опосредованность и культурные ожидания.

Цель данного визуального исследования — выявить и проанализировать мультимодальную природу голоса. Под мультимодальностью здесь понимается участие разных каналов восприятия (слуха, зрения, осязания, технологического знания, культурных ожиданий) в акте слушания голоса. Для того чтобы сделать мультимодальность видимой, в данном исследовании проводится анализ ситуаций, в которых разные модальности входят в конфликт или обнаруживают своё присутствие.

Гипотеза исследования состоит в том, что мультимодальность не является дополнением к «чистому» слуховому восприятию голоса, а представляет собой его свойство. Иными словами, не существует «чистого» слушания голоса. Практически любое слушание уже включает зрение, технологию, пространство и культурные ожидания. Анализ конкретных ситуаций несовпадения между модальностями позволяет сделать это свойство видимым.

Исследование построено на анализе пяти типов ситуаций, в которых мультимодальная природа голоса становится наиболее заметной. Каждый тип сопровождается примерами. В качестве метода используется мультимодальный анализ — подход, рассматривающий восприятие как интеграцию различных сенсорных и семиотических каналов.

Работа состоит из пяти аналитических разделов, соответствующих пяти типам ситуаций, в которых мультимодальность голоса становится видимой:

Акусматический голос — ситуация, когда голос слышен, но его источник не виден; Несовпадение голоса и тела на экране; Технологическое опосредование — микрофон, запись, автотюн как протезы голоса; Гендерные ожидания — культурные стереотипы о том, как звучат мужские и женские голоса; Материальная телесность — видимая и слышимая работа голосообразующего аппарата.

Философские и научные основания

Голос между семантикой и звуком

post

Итальянский философ Адриана Кавареро показывает, что западная философская традиция совершила «девокализацию Логоса» — систематическое разделение смысла (semantike) и звучания (phone). От Платона до современной лингвистики приоритет отдавался тому, что сказано, а не кто говорит и как звучит его голос. В этой традиции голос понимается как прозрачный носитель значения — то, что должно исчезнуть, чтобы сообщение прошло. Однако сам голос всегда оказывается избыточным: он несёт информацию о поле, возрасте, эмоциональном состоянии, социальном статусе говорящего — то, что не сводится к смыслу слов.

Голос как объект и остаток

post

Словенский философ Младен Долар, развивая лакановский психоанализ, предлагает различать три уровня голоса:

  1. голос как носитель лингвистического смысла (слова),
  2. голос как источник эстетического наслаждения (пение, тембр),
  3. голос как объект — то, что не схватывается значением, остаточный элемент, который и делает голос таким неуловимым и загадочным.

Голос — это «объект-причина желания», то, что всегда ускользает от слушателя и тем самым поддерживает его стремление слушать дальше.

Феноменология слушающего тела

post

Дон Айди в своей классической работе «Listening and Voice» предлагает феноменологическую онтологию слушания в противовес визуальной доминанте западной философии. Айди показывает, что слух не просто дополняет зрение — он задаёт иную структуру опыта: звук «окружает» нас, исходит из разных направлений, не может быть «отключён» по желанию. Особое внимание Айди уделяет голосу как воплощению существования и самости: «все звуки в широком смысле — это голоса — голоса вещей, других, мира». Голос — это всегда диалог, всегда отношение между говорящим и слушающим.

Научные данные о мультимодальности

Современные нейронаучные исследования подтверждают философскую интуицию о том, что восприятие голоса и речи по определению мультимодально. Во-первых, мозг обладает механизмом временного окна связывания (temporal binding window) — промежутка времени, в пределах которого сигналы от разных органов чувств интегрируются в единое восприятие. Во-вторых, эксперименты показывают, что визуальная и тактильная информация о речи (вид движущихся губ, прикосновение к лицу говорящего) модулируют слуховые вызванные потенциалы — то есть мозг обрабатывает мультимодальные сигналы уже на ранних этапах. Это означает, что «чистое» слушание голоса — даже с точки зрения нейрофизиологии — скорее исключение, чем правило.

Технологическая медиация и «гипервокальность»

Джеймс Бэбкок вводит понятие «hypervocality» для описания голоса в эпоху цифровых медиа. Когда голос записан, усилен, обработан автотюном, отделён от тела и распространён через динамики, он перестаёт быть «моим» в простом смысле. Электроакустическая среда раскрывает «вокальный континуум» в звуке — спектр от чистого тона до шума, от семантически нагруженной речи до нечленораздельного крика. Это ставит под вопрос традиционные представления о голосе как носителе субъектности и аутентичности.

Голос обладает двойственной природой, которая будет прослеживаться во всех последующих примерах. С одной стороны, это физическое, акустическое явление: колебания воздуха, работа гортани, резонаторов, губ и языка. С другой стороны, в западной культуре голос выступает как мощная метафора: «иметь голос» означает обладать субъектностью, властью, правом быть услышанным. Примером может служить финальная сцена фильма «Речь короля» (The King's Speech, 2010).

Loading...

Западная философская и лингвистическая традиция выстроила устойчивую бинарную оппозицию. С одной стороны — означающий, рациональный, авторский голос (мужской, связанный с истиной и самоприсутствием). С другой — материальная, телесная, избыточная вокальность (смех, плач, крик, шёпот), которая в иерархии оказывается ниже и часто приписывается женщинам. Эта оппозиция не является чисто философской — она имеет прямое отношение к тому, как слушание голоса организовано в культуре.

Однако даже внутри этой бинарности голос всегда уже мультимодален. Он никогда не воспринимается только ушами. Задача последующих разделов — показать, как именно эта мультимодальность работает и в каких моментах она становится заметной.

Контексты восприятия голоса

Акусматический голос

Акусматический голос — это голос, источник которого не виден слушателю. Термин введён киноведом Мишелем Шионом для описания ситуаций в кино, где голос звучит, но говорящее тело отсутствует в кадре.

Так, в фильме «Психо» Альфреда Хичкока голос матери Нормана Бейтса звучит из-за двери, из тени, из пустой комнаты. Зритель никогда не видит говорящего одновременно со звуком. Это заставляет постоянно гадать о природе источника: живой ли это человек, мёртвый, голос в голове персонажа?

Loading...

В фильме «Космическая одиссея 2001 года» (1968, реж. Стэнли Кубрик) компьютер HAL 9000 говорит спокойным, ровным голосом. У него нет рта и нет человеческого тела — только красная линза-глаз. Глаз становится заменителем тела: зритель слушает голос, но смотрит на глаз, и глаз как бы замещает отсутствующую телесность.

Loading...

Данные примеры показывают, что в отсутствии визуальной информации слушатель не переходит в режим «чистого слуха». Напротив, активируются другие модальности: воображение, память, культурные стереотипы о том, как должно выглядеть тело, производящее данный голос. Слушание оказывается распределённым между ухом, глазом (который фиксирует отсутствие) и культурным знанием. Мультимодальность проявляется здесь как проекция — достраивание отсутствующей модальности за счёт других.

Несовпадение голоса и тела на экране

В западной телевизионной традиции нормой является совпадение голоса и тела. Однако существуют культурные практики, где это совпадение нарушается. Наиболее показательный пример — система playback singing в индийском кинематографе. Песню записывает профессиональная певица в студии, а на экране актриса только открывает рот. Голос и тело принадлежат разным женщинам.

Loading...

Схожая ситуация возникает при просмотре иностранного фильма с закадровым переводом. Зритель видит актёра, говорящего на одном языке, а слышит голос переводчика на другом. Видимое тело не производит слышимый звук. В отличие от индийского кино, здесь это часто воспринимается как техническая необходимость, а не как эстетический приём.

Например, дубляж серии фильмов "Назад в будущее".

Голос и его мультимодальность
Проект создан 28.05.2026