Science

D'un point de vue scientifique, le projet se situe entre les domaines de l'informatique musicale et de l'interaction humain-machine.


Objectifs


Résultats

Nous donnons ci-dessous les différents résultats au fur et à mesure de leur obtention.

Réalité Augmentée Spatiale

Le dispositif de réalité augmentée spatiale rivill permet de placer des formes virtuelles 3D (sphères, boîtes, ...) contenant potentiellement du texte, images, vidéos, textures 3D, directement dans l'espace physique autour des musiciens. Ces formes sont révélées lorsque l'utilisateur passe son instrument ou une partie de son corps dans la forme. Le dispositif utilise une combinaison de caméra(s) de profondeur et vidéo-projecteur(s). La figure ci-dessous montre comment une sphère peut être révélée par la main.

Principe de Rivill

Le dispositif peut ensuite transmettre des informations sur cette interaction : Quelle partie de la forme est révélée ? Quelle quantité de forme ? Quelle couleur moyenne ? Quels voxels précis ? Ces informations sont envoyées à un autre logiciel permettant d'actionner les dispositifs attachés aux instruments suivant des mappings conçus au fur et à mesure des tests.

Parmi les premiers résultats de Vibrating Shapes concernant ce dispositif, nous avons par exemple proposé :

Actionneurs

Différents actionneurs ont été mis au point pour les instruments acoustiques du projet.

Dans le cadre des guitares, le dispositif actuel se place sur le corps de la guitare et comporte cinq vibreurs, sur lesquels sont fixés des vis qui viennent frapper ou gratter cinq des cordes. La fréquence de ces déplacements est contrôlable précisément. Après un premier dispositif permettant de frapper toutes les cordes à la fois, le deuxième permet de contrôler 5 cordes séparément, comme illustré ci-dessous.

Actionneurs pour guitare

Étude des pratiques

Un aspect essentiel du projet est l'étude de l'appropriation du dispositif par les musiciens, notamment le développement de techniques de jeu, de gestes, de détournement ou contournement des contraintes matérielles.

La première phase d'étude, publiée à la conférence New Interfaces for Musical Expression, a révélé les aspects suivants :


Publications

titre
Vibrating shapes : Design and evolution of a spatial augmented reality interface for actuated instruments
auteur
Cagan Arslan, Florent Berthaut, Anthony Beuchey, Paul Cambourian, Arthur Paté
article
New Interfaces for Musical Expression, Jun 2022, Auckland, New Zealand. ⟨10.21428/92fbeb44.c28dd323⟩
Accès au texte intégral et bibtex
https://hal.archives-ouvertes.fr/hal-03712843/file/30.pdf BibTex