Composition de l'équipe

Coordinateur du projet : Christophe d’Alessandro, Institut Jean le rond d’Alembert, Sorbonne Université.

Laboratoires impliqués : Institut Jean le rond d’Alembert, Sorbonne Université, Gipsa-lab, Grenoble, Laboratoire de Phonétique et Phonologie, Paris

Porteuse pour le Laboratoire de Phonétique et Phonologie (LPP) : Claire Pillot-Loiseau

Post-doctorante embauchée au LPP de 2020 à 2022 financée par ce projet : Xiao Xiao

Membres du LPP participant à cette ANR : Claire Pillot-Loiseau, Nicolas Audibert, Lise Crevier-Buchman, Barbara Kühnert

Présentation

Programme ANR : AAP Cognition, éducation, formation tout au long de la vie

Résumé du projet en français

Ce projet propose des innovations pédagogiques et des expérimentations pour l’utilisation du geste dans l’apprentissage du contrôle de l’intonation, via des interfaces homme-machine. Maîtriser la modulation de la source vocale par le contrôle du larynx – « l’intonation » au sens large, englobant ici la fréquence fondamentale, la qualité vocale, le rythme et la mélodie – est fondamental pour la communication vocale. La maîtrise du contrôle phonatoire n’est généralement pas un problème lors de l’acquisition de la langue maternelle (L1), car elle reste largement inconsciente. En revanche, celle du contrôle phonatoire est un processus long, volontaire et souvent difficile pour acquérir une langue étrangère (L2) ou pour contrôler une prothèse vocale après une chirurgie du larynx. Il a été démontré que l’utilisation de gestes imitant l’intonation de la parole améliore le processus d’apprentissage du contrôle de l’intonation, en codant les informations selon différentes modalités (auditive, visuelle et kinesthésique). Ce projet vise à pousser plus loin l’intégration de la multimodalité en exploitant le contrôle gestuel de la synthèse vocale. Cette dernière, appelée chironomie, est un nouveau paradigme de recherche en interaction homme-machine qui permet de générer des trajectoires d’intonation en temps réel, à partir de gestes manuels. Le contour d’intonation produit est soit transmis à un synthétiseur de voix pour contrôler un instrument vocal avec un geste ; ou est injecté dans une source d’excitation qui est placée dans la bouche de l’utilisateur. Cette excitation est naturellement associée à l’articulation de l’utilisateur pour produire une voix semi-synthétique intégrée, c’est-à-dire une substitution vocale. Ce projet vise donc à étudier l’utilisation de tels systèmes pour l’apprentissage du contrôle de l’intonation selon deux approches complémentaires : 1) l’apprentissage du contrôle naturel des contours d’intonation à l’aide de la chironomie pour l’acquisition de langues étrangères ; 2) Apprendre le contrôle chironomique des contours d’intonation à l’aide de la connaissance de la langue maternelle, pour la substitution vocale. Ce projet est divisé en quatre tâches scientifiques. Le premier concerne le développement d’outils de synthèse performative pour l’apprentissage de l’intonation. Les systèmes chironomiques existants utilisent la synthèse vocale et se sont révélés opérationnels pour le chant et le contrôle des tons du chinois mandarin dans le cadre d’une étude pilote. Ces systèmes seront adaptés aux environnements applicatifs du projet. De plus, une source d’excitation vocale adaptée à l’injection sera développée pour la substitution vocale. La deuxième tâche aborde les aspects méthodologiques du projet et vise à identifier les modèles d’intonation cibles des différentes langues considérées dans le projet (français, anglais et mandarin), ainsi que les gestes associés. Un corpus multimodal sera enregistré et une évaluation préliminaire du contrôle chironomique sera entreprise. La troisième tâche consiste à appliquer ces aspects méthodologiques à l’évaluation de la chironomie dans différentes situations d’apprentissage de sujets apprenant des langues étrangères. Un protocole expérimental sera conçu pour déterminer si la chironomie est plus efficace dans une situation d’apprentissage donnée que les gestes spatiaux de la main ou le retour d’audition seul. Cette expérience sera menée sur l’apprentissage de : tonalités lexicales en mandarin ; intonation du français et de l’anglais langues étrangères. La quatrième tâche démontrera que le contrôle chironomique de l’intonation peut être utilisé en substitution de la voix naturelle. Ce paradigme unique combine le contrôle gestuel d’une source d’excitation et l’articulation naturelle de l’utilisateur. La coordination des deux contrôles sera d’abord examinée. Ensuite, une expérience à grande échelle sera déployée pour valider la faisabilité d’un tel contrôle en substitution vocale.

Résumé du projet en anglais : This project proposes pedagogical innovations and experimentations for the use of gesture in learning intonation control, through computer-human interfaces. Mastering vocal source modulation through laryngeal control – “intonation” in a broad sense, encompassing here fundamental frequency, voice quality, melodic rhythm – is fundamental for vocal communication. Mastering phonatory control is not generally an issue during the acquisition of the native language (L1), since it remains largely unconscious. In contrast, mastering phonatory control is a long, voluntary, and often difficult process to acquire a foreign language (L2), or to control a vocal prosthesis after laryngeal surgery. It has been demonstrated that the use of gestures that mimic speech intonation improves the process of learning intonation control, by coding information through different modalities (auditory, visual, and kinaesthetic). This project aims at taking multimodality integration a step further by exploiting gestural control of voice synthesis. The latter, called chironomy, is a novel research paradigm in human- computer interaction that allows to generate intonation trajectories in real-time, from manual gesture. The produced intonation contour is either transmitted to a voice synthesiser, to control a vocal instrument with gesture ; or is injected into an excitation source that is placed into the user’s mouth. This excitation is naturally combined with the user articulation to produce an integrated semi-synthetic voice, this is vocal substitution. Thus, this project aims at investigating the use of such systems for the learning of intonation control in two complementary approaches: 1) Learning the natural control of intonation contours with the help of chironomy for foreign language acquisition ; 2) Learning the chironomic control of intonation contours with the help of native language knowledge, for vocal substitution. This project is divided in four scientific tasks. The first relates to the development of performative synthesis tools for intonation learning. The existing chironomic systems use voice synthesis and were proven to be operational for singing, and for controlling Mandarin tones in a pilot study. These systems will be adapted to fit the applicative environments of the project. Moreover, a voice excitation source that is suitable for injection will be developed for vocal substitution. The second task tackles the methodological aspects of the project, and aims at identifying the target intonation patterns of the several languages that will be considered in the project (French, English, and Mandarin), along with their associated gestures. A multimodal corpus will be recorded, and preliminary evaluation of chironomic control will be undertaken. The third task consists in applying these methodological aspects to the evaluation of chironomy in different learning situations with subjects who are learning foreign languages. An experimental protocol will be designed to observe whether chironomy is more effective in a given learning situation as compared to spatial hand gestures or auditory feedback alone. This experiment will be conducted in classroom conditions, on the learning of: lexical tones in Mandarin; intonation of French ; and intonation of English, as foreign languages. The fourth task will demonstrate that chironomic control of intonation can be used as a substitution of one’s natural voice. This unique paradigm combines the gestural control of an excitation source and the natural articulation of the user, and the coordination of the two controls will be first investigated. Then a large-scale experiment will be deployed to validate the feasibility of such control in vocal substitution. Overall, this project is the first proof of concept of the use of chironomy in the learning of intonation, which has a potentially high short-term social and cultural impact, both in computer-assisted education and clinical applications.

 

Publications

 Xiao, X., Kuhnert, B., Audibert, N., Locqueville, G., Pillot-Loiseau, C., Zhang, H., & d'Alessandro, C. (2023, April). Performative Vocal Synthesis for Foreign Language Intonation Practice. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (pp. 1-9).

Xiao, X., Audibert, N., Locqueville, G., d’Alessandro, C., Kühnert, B., Kleinberger, R., & Pillot-Loiseau, C. (2022). Évaluation de la stylisation chironomique pour l’apprentissage de l’intonation du français L2. Proc. XXXIVe Journées d'Études sur la Parole--JEP 2022, 434-442.

Xiao, X., Audibert, N., Locqueville, G., d'Alessandro, C., Kuhnert, B., & Pillot-Loiseau, C. (2021, August). Prosodic disambiguation using chironomic stylization of intonation with native and non-native speakers. In Interspeech 2021 (pp. 516-520). ISCA.