OrJo (Orchestre de Joystick) 2009-2012

La tâche du LIMSI dans ce projet est d’insérer dans le logiciel Méta-Mallette plusieurs synthétiseurs temps-réels basés sur les recherches et développement du laboratoire sur les modèles de la voix expressive, comme le contrôle gestuel de voix chantée, la modification prosodique temps-réel de phrases pré-enregistrées, ou encore le contrôle gestuel de l'articulation.

Le projet OrJo est un projet FEDER, financé par la Région Ile-de-France pour le LIMSI. Il regroupe des laboratoires de recherche (le LIMSI et le LAM), une entreprise (3Dlized) et une association de création musicale (Puce Muse), qui pilote le projet. Le lien vers le site du projet est le suivant : http://pucemuse.com/orjo.

Cantor Digitalis est un synthétiseur par formants amélioré contrôlable en temps-réel à l’aide d’une tablette graphique et d’un joystick. Il est basé sur un système source-filtre où la source représente la glotte et le filtre représente le conduit vocal et le rayonnement aux lèvres. Certaines interactions entre source et filtre sont modélisées. Enfin, le synthétiseur est réglé de façon à être utilisé dans des applications musicales, notamment la voix chantée. L’utilisateur dispose d’un choix de plusieurs registres de voix chantée et de personnalisation des locuteurs. A l'aide de la méta-mallette a été créé un choeur, le Chorus Digitalis, qui regroupe plusieurs musiciens contrôlant chacun un Cantor Digitalis.

Voir des extraits vidéos sur la page de du choeur Chorus Digitalis.

Une configuration du synthétiseur permet le contrôle de l'amplitude et de la fréquence des deux premiers formants de la voix donnant la possibilité de jouer du chant diphonique.

Le système Calliphony permet de contrôler en temps réel l'intonation et la vitesse d'un signal vocal (réel ou synthétisé) enregistré, en gardant le naturel de la voix après transformation. Le système est basé sur une version temps réel de l'algorithme TD-PSOLA.

A l'aide d'une tablette graphique, on contrôle la hauteur de la voix suivant l'axe Y, et suivant le Preset utilisé, on contrôle la vitesse de lecture ou le positionnement temporel dans le fichier suivant l'axe Y. Il a été montré par des études au LIMSI que notre aptitude à contrôler la prosodie d'une voix enregistrée à l'aide d'une tablette graphique est aussi bonne qu'avec notre propre voix. Et il existe sans doute la même aptitude quant au contrôle rythmique de la prosodie, contrôlable également par Calliphony.

La production de syllabes est un système complexe qui met notamment en jeu une synchronisation des différents éléments de l'appareil vocal. Sur des durées brèves (de l'ordre d'une dizaine de millisecondes), les différents articulateurs que sont lèvres, langue, mâchoires ou luette, doivent se synchronisées pour changer dynamiquement la forme du conduit vocal, ce qui permet de modifier l'onde acoustique issue de la source glottique. La synchronisation se fait également entre les articulateurs et la vibration des plis vocaux, afin de produire des sons voisés ou non, c'est à dire qui disposent d'une composante harmonique ou non.

On est amené à modéliser d'une part le moteur de synthèse de la voix, et d'autre part la manière de le contrôler. Cependant, ces deux composantes ne sont pas indépendantes. Suivant le modèle de synthèse utilisé, il sera ou ne sera pas possible de contrôler certains paramètres de l'articulation, pour des raisons liées au modèle de synthèse qui ne fournit pas certains paramètres, ou liés au modèle de contrôle qui ne permet pas d'avoir accès à suffisamment de paramètre ou dans des durées satisfaisantes.

Plus notre système artificiel nous permettra de produire de situations diverses, plus notre modèle pourra être considéré comme proche du système vocal réel. La limitation à des buts musicaux nous permet de ne pas être obligé de mettre à disposition la production de toute les unités phonologiques d'un langage et de restreindre le nombre élevé de combinaison et donc de coarticulation de phonèmes possibles. Contrairement à Cantor Digitalis, on se concentre sur l'articulation et l'intonation devient un paramètre secondaire, même si son accès est toujours présent, notamment pour jouer sur la prosodie. Cela nous mène plutôt vers des applications de voix de type percussion comme des onomatopées.

• C. d'Alessandro, Albert Rilliard, and Sylvain Le Beux « Chironomic stylization of intonation » J. Acoust. Soc. Am., 129(3), march 2011, 1594-1604.

• C. d’Alessandro « Computerized Chironomy : Five Years of Gesture-Controlled Voice and Speech Synthesis at LIMSI », 1st International Workshop on Performative Speech and Singing Synthesis (p3s), Vancouver, 14-15 mars 2011.
• C. d’Alessandro « La parole comme mouvement: glossolalies chironomiques », conférence invitée, XXVIIIèmes Journées d'Étude sur la Parole JEP 2010 - 25-28 mai 2010, Mons, Belgique.
• L. Feugère et B. Doval, Contrôle par le geste d'une voix chantée de synthèse. Comment faire vivre une voix de synthèse ? De la fabrication d'un instrument de synthèse de voix chantée à sa pratique en concert, à travers un dialogue (dé)concertant entre un facteur de voix et d'un joueur de tablette. Illustration par l'interprétation d'un raga indien, en duo tablas-tablette. Journée Science et Musique 2012, Diapason, campus Universitaire de Beaulieu, Rennes, 13 octobre 2012.

• L. Feugère, S. Le Beux, C. d'Alessandro, Chorus digitalis : polyphonic gestural singing, 1st International Workshop on Performative Speech and Singing Synthesis (P3S 2011), Vancouver (Canada), 14/03 au 15/03, 2011, 4p
• S. Le Beux, L. Feugère, C. d'Alessandro, Chorus digitalis : experiment in chironomic choir singing, 12th Annual Conference of the International Speech Communication Association (INTERSPEECH 2011), Firenze, Italy, 27/08 au 31/08, 2011, 2005-2008. Paru dans Proceedings of the conference ISSN: 1990−9772

• L. Feugère, C. d'Alessandro, Digitartic : synthèse gestuelle de syllabes chantées, Journées d'Informatique Musicale (JIM 2012), Mons, Belgique, 09/05 au 11/05, 2012, 219-225
• S. De Laubier, G. Bertrand, H. Genevois, V. Goudard, B. Doval, L. Feugère, S. Le Beux, C. d'Alessandro, OrJo et la Méta-Mallette 4.0, Journées d'Informatique Musicale (JIM 2012), Mons, Belgique, 09/05 au 11/05, 2012, 227-232

• L. Feugère, Contrôle gestuel d'occlusives pour les instruments de synthèse vocale. Journées Jeunes Chercheurs en Acoustique Audition et Signal Audio (JJCAAS), 17-19 novembre 2010, Paris.
• L. Feugère, Modèles de contrôle instrumental de la synthèse vocale . Journées Jeunes Chercheurs en Acoustique Audition et Signal Audio (JJCAAS), 7, 8 et 9 décembre 2011, Orange Labs, Rennes.

• L. Feugère et B. Doval, Contrôle par le geste d'une voix chantée de synthèse. Comment faire vivre une voix de synthèse ? De la fabrication d'un instrument de synthèse de voix chantée à sa pratique en concert, à travers un dialogue (dé)concertant entre un facteur de voix et d'un joueur de tablette. Illustration par l'interprétation d'un raga indien, en duo tablas-tablette. Journée Science et Musique 2012, Diapason, campus Universitaire de Beaulieu, Rennes, 13 octobre 2012.
• L. Feugère, C. d'Alessandro, B. Doval, Concert Chorus Digitalis. Journées Arts Sciences, Printemps de la Culture 2012, 24thmai 2012
• L Feugère, S. Le Beux, C. d'Alessandro, B. Doval, Concert Chorus Digitalis, 1st International Workshop on Performative Speech and Singing Synthesis (P3S 2011), Vancouver (Canada), 14/03 au 15/03, 2011.
• L. Feugère, G. Mahenc. Comment Chanter avec ses mains ? Fête de la science d'Orsay, Gymnase du Moulon, Orsay, 12 au 14 octobre 2012.
• C. d'Alessandro, "glossolalies chironomiques: contrôle gestuel de la synthèse vocale." conférence dans le cadre des journées du patrimoine, université Lille 3, 25 septembre 2012. http://www.univ-lille3.fr/journeesdupatrimoine/conferences/
• L. Feugère, présentation des instruments vocaux du LIMSI, Journée de lancement de la Méta-Mallette version 4.0, 19 Mai / 14h - 18h / Paris / Cité des sciences et de l'industrie / Carrefour numérique.
• L. Feugère, Encadrement de lycéennes du programme Sciences Académie de l'association Paris-Montagne,18-19-20 avril 2012, LIMSI-CNRS, Orsay.

• The official OrJo project website : http://www.pucemuse.com/orjo
• Chorus Digitalis ensemble :
• Main website : http://groupeaa.limsi.fr/en:projets:orjo:chorus_digitalis
• On VIDA : http://vida.limsi.fr/doku.php?id=wiki:projet_chorus_digitalis
• On Myspace : http://www.myspace.com/chorusdigitalis
• WebTV of the Université Paris Sud :
  • Raga Myan Ki Mlhar : http://webtv.u-psud.fr/video/RG9NDGSUO2Y6/Art-Science-Days-University-Paris-Sud-May-2012-Chorus-Digitalis-Raga
  • Valse, de Bruno Lecossois : http://webtv.u-psud.fr/video/R6K71WRWDH8M/Art-Science-Days-University-Paris-Sud-May-2012-Chorus-Digitalis-waltz

Lionel Feugère, Christophe d'Alessandro, Sylvain Le Beux, Albert Rilliard, Guillaume Mahenc