Science

D'un point de vue scientifique, le projet se situe entre les domaines de l'informatique musicale et de l'interaction humain-machine.

Objectifs

• Mettre au point un dispositif d'actionnement expressif pour instruments acoustiques
• Enrichir le dispositif de réalité augmentée spatiale Rivill : précision, réactivité, lisibilité, ...
• Étudier les mécanismes d'appropriation par les musiciens : gestes, techniques de jeu, rapport aux formes virtuelles ...

Résultats

Nous donnons ci-dessous les différents résultats au fur et à mesure de leur obtention.

Réalité Augmentée Spatiale

Le dispositif de réalité augmentée spatiale rivill permet de placer des formes virtuelles 3D (sphères, boîtes, ...) contenant potentiellement du texte, images, vidéos, textures 3D, directement dans l'espace physique autour des musiciens. Ces formes sont révélées lorsque l'utilisateur passe son instrument ou une partie de son corps dans la forme. Le dispositif utilise une combinaison de caméra(s) de profondeur et vidéo-projecteur(s). La figure ci-dessous montre comment une sphère peut être révélée par la main.

Le dispositif peut ensuite transmettre des informations sur cette interaction : Quelle partie de la forme est révélée ? Quelle quantité de forme ? Quelle couleur moyenne ? Quels voxels précis ? Ces informations sont envoyées à un autre logiciel permettant d'actionner les dispositifs attachés aux instruments suivant des mappings conçus au fur et à mesure des tests.

Parmi les premiers résultats de Vibrating Shapes concernant ce dispositif, nous avons par exemple proposé :

• un rendu visuel spécifique de l'intérieur des formes (en utilisant des formes concentriques) afin de les rendre plus lisibles pour les spectateurs

Actionneurs

Différents actionneurs ont été mis au point pour les instruments acoustiques du projet.

Dans le cadre des guitares, le dispositif actuel se place sur le corps de la guitare et comporte cinq vibreurs, sur lesquels sont fixés des vis qui viennent frapper ou gratter cinq des cordes. La fréquence de ces déplacements est contrôlable précisément. Après un premier dispositif permettant de frapper toutes les cordes à la fois, le deuxième permet de contrôler 5 cordes séparément, comme illustré ci-dessous.

Étude des pratiques

Un aspect essentiel du projet est l'étude de l'appropriation du dispositif par les musiciens, notamment le développement de techniques de jeu, de gestes, de détournement ou contournement des contraintes matérielles.

La première phase d'étude, publiée à la conférence New Interfaces for Musical Expression, a révélé les aspects suivants :

• Les formes virtuelles s'intègrent rapidement dans l'espace instrumental internalisé par les musiciens
• Elles permettent, en conjonction avec les actionneurs, de développer un vocabulaire gestuel et sonore étendu
• Elles sont perçues comme des entités musicales avec lesquelles les musiciens peuvent dialoguer

Publications