Роль интуиции в музыкальном исполнении

Эмилия Гомес, исследователь из Исследовательской группы музыкальных технологий (MTG) Департамента информационных и коммуникационных технологий (DTIC) в UPF, попыталась создать новые цифровые подходы, чтобы обогатить опыт концерта классической музыки до, во время и после сам концерт, чтобы донести классическую музыку до новой аудитории инновационным способом с помощью технологий.

«Одним из приложений, которые мы исследовали в постконцертном контексте, был тип объекта, в котором пользователь берет на себя роль дирижера, так что его движения« ведут »виртуальный оркестр. Этот тип объекта был успешным в таких местах, как Дом музыки в Вене ». говорит Альваро Сарасуа, первый автор исследования, опубликованного 25 февраля в журнале Границы в цифровых гуманитарных науках, во главе с Эмилией Гомес.

При взаимодействии человека с компьютером метафоры интерфейса предоставляют пользователям способ взаимодействия с машиной, которая напоминает известную деятельность. Эти метафоры широко используются в цифровых музыкальных инструментах. В этом исследовании авторы использовали метафору проводника. Интерес к использованию этих метафор заключается в том, чтобы пользователь в виртуальном средстве управления темпом и динамикой, в котором играет оркестр, мог применить свои знания или свою предшествующую интуицию о том, как определенная деятельность функционирует в реальном мире. в это дело дирижера.

«С исследовательской точки зрения, в этом исследовании нас интересовало, как система может явно использовать интуитивные понятия, доступные пользователям такого рода средств, для более интуитивного реагирования на их жесты управления оркестром, и поэтому может обеспечить более выразительную работу ». говорит Сарасуа.

На начальных этапах проекта исследователи проводили обсервационные исследования, в которых они просили людей с разной степенью музыкальной подготовки прослушать несколько отрывков классической музыки, а затем, когда музыка играла снова, делать движения тела, которые они совершали, пока дирижирование оркестром для передачи различных аспектов, таких как темп и интенсивность. Они записывали движения участников с помощью камеры Kinect, которая записывала положение различных частей тела.

Наблюдаются разные интерпретативные тенденции

Анализ этих данных выявил различные тенденции между субъектами. С одной стороны, чтобы передать темп музыки, были люди, которые постоянно общались с ритмом, немного опережая темп музыки, в то время как другие делали это в полной синхронности или с некоторой задержкой. Что касается динамики, с которой играли инструменты, некоторые люди имели тенденцию двигаться более энергично во время сильных сторон, в то время как другие просто больше поднимали руки.

«Наша начальная гипотеза для этого исследования заключалась в том, что система, которая позволяет контролировать темп и громкость музыкального произведения с помощью движений, имитирующих движения дирижера, может быть более интуитивной, если ее можно адаптировать к этим личным тенденциям». объясняет Сарасуа.

«В примере нашего эксперимента есть« неявное »преимущество использования метафоры, заключающееся в том, что, говоря пользователю, что он должен« руководить »оркестром, он знает, что должен двигать руками и иметь некоторую интуицию в отношении своего способность контролировать темп и динамику. Используя предложенную систему, это улучшение является более явным в том смысле, что система наблюдает и анализирует то, что пользователь чувствует, что он должен сделать, и адаптируется для выполнения в соответствии с этими интуициями ».

Авторы называют эту стратегию картированием по наблюдению, поскольку картирование или то, как движения пользователя связаны с получающейся музыкой, специально адаптируется для каждого пользователя, наблюдая за тем, что они делают, когда их просят выполнить движения, имитирующие проводника, не давая никакого конкретные инструкции.

При оценке системы исследователи наблюдали 24 участника, которые сначала выполняли базовую систему, которая не адаптировалась к каждому пользователю, а затем систему, основанную на стратегии сопоставления, и сравнивали результаты. Это сравнение было проведено в контексте, в котором пользователи научились «вести» виртуальный оркестр на практике. Две системы сравнивались на основе объективных и субъективных мер по ряду задач, в которых участники должны были заставить оркестр играть на разных объемах и делать это синхронно с метрономом в разных темпах.

Юзабилити адаптированной системы лучше

Результаты эксперимента показали, что удобство использования адаптированной системы лучше как с точки зрения обеспечения более интуитивного управления динамикой, с которой пользователь управляет оркестром, так и с точки зрения более точного управления темпом. Кроме того, результаты также показывают сильную корреляцию между показателями, которые можно извлечь из данных, используемых для осуществления адаптации и улучшения, введенных системой, что указывает на то, что можно заранее оценить степень, в которой спонтанные движения конкретного Пользователю будет действительно полезно адаптировать систему под свой стиль.

Результаты этого исследования особенно актуальны в тех случаях, когда взаимодействие разрабатывается с использованием метафор интерфейса, как в случае дирижера оркестра. «В примере нашего эксперимента есть« неявное »преимущество в использовании метафоры, заключающееся в том, что, говоря пользователю, что он должен« вести »оркестр, он знает, что должен двигать руками и иметь некоторую интуицию относительно управления темп и динамика. Используя предложенную систему, это улучшение является более «явным» в том смысле, что система наблюдает и анализирует то, что пользователь чувствует, что он должен сделать, и адаптируется для выполнения в соответствии с этими представлениями ». заключают авторы.

Дополнительная информация: Альваро Сарасуа и др., Картографирование по наблюдениям: построение пользовательской проводящей системы из спонтанных движений, Границы в цифровых гуманитарных науках (2019). DOI: 10.3389 / fdigh.2019.00003

Предоставлено: Университет Помпеу Фабра. Барселона