CosmoNote

Objectifs

CosmoNote est la plateforme de science participative du projet européen ERC COSMOS, coordonné par Elaine Chew du King’s College London. Dans le cadre de sa thèse de doctorat « Capturer la prosodie musicale par le biais d’annotations audiovisuelles interactives » au sein de l’équipe Représentations musicales du laboratoire STMS (Ircam-Sorbonne Université-CNRS-Ministère de la Culture), Daniel Bedoya a participé au développement de la plateforme conçue par Lawrence Fyfe, et à l’analyse des données. Les outils informatiques pour obtenir les descripteurs musicaux ont été codéveloppés par Corentin Guichaoua. 

Le projet se concentre sur la prosodie musicale, c’est-à-dire, les structures créées dans l’interprétation musicale qui découlent des intentions et du jeu de l’interprète. La prosodie musicale peut être appliquée à des concepts musicaux tels que la saillance mélodique, les accents expressifs, les phrases musicales et les pauses.

CosmoNote a été créé pour étudier les structures créées et façonnées dans la performance musicale. Les algorithmes informatiques ont eu un succès limité pour trouver ces structures automatiquement, mais les humains peuvent percevoir ces structures plus facilement. C’est pourquoi nous faisons appel au mode participatif pour trouver et découvrir les types de structures que les auditeurs perçoivent dans la musique jouée, tels que les frontières, les transitions, les regroupements et les points de basculement qui ont lieu au cours de la performance d’une œuvre musicale. 

CosmoNote est une interface web d’annotation qui permet aux participants d’explorer le vaste univers musical en écoutant et en annotant les structures perçues dans la musique interprétée. Grâce à CosmoNote, les participants peuvent écouter de la musique et en apprendre davantage sur la façon dont les interprètes façonnent la musique et influencent la façon dont ils l’entendent, tout en aidant les chercheurs à comprendre comment les structures musicales sont transformées, créées et façonnées dans l’interprétation musicale.

Modalités de participation

Écouter les œuvres de musique instrumentale pour piano solo enregistrées et annoter les éléments structurels qui émergent de la performance musicale. Indiquer les différents éléments structurels : changement, transition, temporalité, groupes de notes.

Quatre types d’annotation sont proposées :

• Les frontières ont été principalement conçues pour marquer la segmentation et indiquer des changements ou transitions entre des séquences ou phrases musicales.
• Les régions sont des types d’annotation multifonctionnelles qui mettent en évidence tous les éléments à l’intérieur d’une zone temporelle avec des temps de début et de fin définis.
• Les groupes de notes sont censés distinguer les notes saillantes individuelles, ou groupes de notes, qui sont significatives dans un segment donné ou une structure bien visible.
• Les commentaires peuvent être utilisées pour écrire une observation sur les performances à un moment donné qui n’est pas représenté par ailleurs par les autres types d’annotation.

L’annotation des enregistrements d’œuvres musicales peut être accompagnée de la visualisation de différentes représentations musicales. Les personnes qui effectuent les annotations peuvent écouter les performances enregistrées et visualiser de manière synchronisée les couches de représentation musicale, (telles que la forme d’onde audio, les notes, et les pédales du piano), ainsi que les descripteurs audio extraits (tels que l’intensité et le tempo, ou encore la tension harmonique).

Résultats

Deux grandes expérimentations ont été réalisées avec une centaine de participants. La première a consisté à demander aux participants d’annoter des frontières sur plusieurs pièces pour piano de Beethoven, soit en écoutant le jeu de l’interprète et en visualisant les notes et formes d’onde, soit en visualisant uniquement les représentations visuelles, soit en écoutant seulement la musique. 

Le résultat de l’analyse des données montre que les participants peuvent retrouver les structures globales juste avec les représentations visuelles sans l’écoute de la performance. Par contre, lorsque les éléments sont plus subtiles, les regroupements de notes par exemple, c’est l’écoute qui permet de discerner ces éléments.

La seconde expérimentation a eu pour but de tester si les compétences musicales des participants (savoir jouer d’un instrument) ont une influence ou non dans la compréhension des instructions d’annotation en proposant deux types d’instructions : des informations minimales ou des indications plus détaillées. Les résultats montrent que les annotations qui ont été réalisées avec le minimum d’explications sont tout aussi pertinentes que celles effectuées avec des instructions plus détaillées.

Ressources

Guide utilisé pour les ateliers (lien)

Vidéos de présentation du projet (lien)

Références bibliographiques

Bedoya, D., Fyfe, L., & Chew, E. Creating Experiments with Cosmonote: Advancing Web-Based Annotations for Performed Music, Proceedings of Sound and Music Computing Conference, 2022 (lien)

Bedoya, D., Fyfe, L., & Chew, E. A Perceiver-Centered Approach for Representing and Annotating Prosodic Functions in Performed Music. Frontiers in Psychology, 2022 (lien)

Lawrence Fyfe, Daniel Bedoya, & Elaine Chew. A Nutshell Guide to Annotating Recorded Piano Performances on the Web with CosmoNote. Web Audio Conference 2022 (WAC 2022), Cannes, France (lien)