IRIT

Les compétences de l'équipe SAMoVA (Structuration, Analyse et Modélisation de documents vidéo et audio) du laboratoire IRIT (UMR 5505 CNRS / Université Paul Sabatier / INPT) vis-à-vis du projet se situent à plusieurs niveaux :

• En analyse primaire du signal audio
  Un certain nombre de travaux de l'équipe repose sur l'exploitation d'un algorithme de segmentation [André 88] du signal de parole en zones quasi stationnaires. Cette localisation conduit à une extraction plus pertinente de l'information dans le domaine de l'analyse prosodique, de l'identification de la langue ou du locuteur, de la détection Parole/Musique, et ce quelque soit l'environnement, le bruit, les locuteurs et la langue. Cette segmentation ajoute une dimension temporelle rarement prise en compte explicitement en parole. Un système de détection de la parole et de la musique exploite cette segmentation et des paramètres discriminants tels que la modulation de l'énergie à 4Hz et la modulation de l'entropie [Pinquier 03]. Ce système très performant comme en témoignent les résultats de la campagne ESTER [Galliano 05] laisse espérer que son adaptation au contexte très bruité des enregistrements du projet IMMED sera d'un grand intérêt.
• En segmentation et regroupement en locuteur
  Un système de segmentation et regroupement en locuteurs [El Khoury 07a] a été récemment développé dans l'équipe : la segmentation de type GLR-BIC permet de détecter des segments courts (de durée d'une demi seconde) de manière fiable contrairement à la majorité des systèmes. Le regroupement repose sur une méthode de type EVSM (Eigen Vector Space Models) inspirée de [Tsai 05].
• En détection de sons clés
  Une méthode basée sur des mélanges de lois gaussiennes a permis de modéliser des sons tels les applaudissements [Pinquier 04a]. Ce type d'apprentissage servira de base à la reconnaissance des bruits du fond sonore. Un système de détection et identification de jingles sur le flux audio de radio a été également mis au point [Pinquier 04b]. L'approche utilisée sera reprise et adaptée pour caractériser des bruits plus spécifiques tels que la sonnerie du téléphone par exemple.
• En fusion d'information
  Un cadre formel pour la fusion de décisions de plusieurs experts a été développé. Appliquée à la reconnaissance automatique des langues, cette méthodologie a permis de comparer de confronter les approches probabilistes à celles basées sur la théorie de l'évidence [Gutierrez 05]. Ce type d'approche pourra être utilisée pour la fusion des environnements sonores et visuels.

L'équipe utilisera également son expérience, acquise notamment dans les projets ANR tels [CHAPITRE] et [EPAC] sur la thématique de l'indexation audio-vidéo, afin de mener à bien les activités d'indexation sonore et de fusion.

Les membres du projet pour le partenaire IRIT sont: Julien Pinquier, Régine André-Obrecht, Partice Guyot et Philippe Joly.