Le projet propose de définir une méthodologie d’optimisation de l’indexation musicale dans un contexte Web et pour de très grands corpus de données par l’utilisation conjointe de métadonnées issues de l’analyse audio, du Web sémantique, de l’analyse en langage naturel des paroles de chansons, puis de confronter cette méthodologie à des cas d’usages en développant des services et des applications originales exploitant les technologies Web audio.

Il s’agit donc d’utiliser conjointement les algorithmes d’extraction d’information musicale et le Web sémantique afin de produire des bases de connaissances musicales plus consistantes pour les services de streaming et les bases de données musicales. Les services de données du Web sémantique (LastFM, MusicBrainz, DBPedia, etc.) favoriseront l’extraction de données structurées, liant les oeuvres à des métadonnées telles que le producteur, le studio d’enregistrement, le compositeur, l’année de diffusion, les thèmes qui y sont abordés, par exemple. Les données en texte libre comme les paroles seront aussi analysées pour déterminer le contexte musical de l’œuvre. Les technologies Web audio permettront enfin d’explorer ces espaces musicaux enrichis par des analyses de type indexation musicale de haut niveau : détection d’émotion, détection de plagiat, détection et caractérisation de voix chantée, détection de structure et séparation de sources.

Il sera proposé une suite de briques logicielles open source et de services en ligne de type « open data » pour :

• la visualisation de métadonnées audio et l’écoute de pistes démixées dans le navigateur en exploitant les dernières technologies issues de la Web Audio API (mixage temps réel, effets audio) ;
• le traitement automatique de textes de chansons, reconnaissance
  et liage d’entité nommées, d’annotation et correction
  collaborative ;
• l’accès à un service Web doté d’une API proposant un environnement d’étude de similarités musicales issu des analyses audio et sémantiques.

Ces briques logicielles serviront au développement des démonstrateurs formalisés avec nos partenaires et collaborateurs (journalistes et compositeurs), utilisant le nouveau standard Web Audio API et permettant ainsi le développement d’applications musicales accessibles au grand public depuis un navigateur Web.

Référence projet : ANR-16-CE23-0017-02.