Indexation de flux audio et cross-media

Ce travail doit permettre de caractériser l'environnement sonore dans lequel évolue le patient : différents attributs pourront alors être précisés. Citons, par exemple : le lieu dans lequel évolue la personne (intérieur/extérieur, cuisine/salon/etc.), le nombre de personnes présentes dans l'environnement, la particularité du fond sonore, le type de bruit (voiture/avion/train/travaux à proximité de la maison, TV/radio/musique, etc.), la qualité du son, le type de situation : actif/passif (par rapport aux activités physiques de la personne : respirations, frottements de vêtements, etc.).
Dans une première étape, afin d'assurer une exploitation du dispositif complet, l'indexation sonore sera réalisée de manière semblable quelque soit le patient afin de segmenter le flux sonore en zones homogènes. Nous utiliserons les outils développés et exploités dans l'équipe SAMoVA : il s'agira alors d'étudier la robustesse de ceux-ci sur des enregistrements effectués dans des conditions difficiles (caméra embarquée sur une personne âgée). Les outils, bien que s'appuyant sur des paramètres dit « robustes », n'ont été jusqu'ici utilisés et testés que sur des corpus radiophoniques et télévisuels très bien formatés. Nous espérons néanmoins obtenir une caractérisation de l'environnement sonore « générique ». Une phase d'agrégation permettra d'associer les résultats de chacun des systèmes mis en œuvre et de fournir une segmentation de l'enregistrement en zones sonores homogènes et ainsi de structurer la journée des patients en phases significatives. Il s'agira d'effectuer une :

• Décomposition parole/non-parole (musique, bruits) : le système [Pinquier 02] se décompose en deux systèmes de classification correspondant aux deux détections disjointes de la parole et de la musique. Il ne nécessite aucune connaissance a priori, ni aucun nouvel apprentissage pour s'adapter à un nouveau corpus. Il est fondé sur l'extraction de quatre paramètres : la modulation de l'énergie à 4 Hertz, la modulation de l'entropie, le nombre de segments par seconde et la durée de ces segments ; les segments étant issus d'un algorithme de segmentation « Forward-Backward » (DFB) [André 88]. Lors de la tache SES (Segmentation en Evénements Sonores) de la campagne d'évaluation ESTER 2005 [Galliano 05], ce système a obtenu le meilleur score de reconnaissance sur les 7 technologies étudiées.
• Segmentation/regroupement en locuteurs : De nombreuses méthodes de segmentation et de regroupement en locuteurs sont présentes dans la littérature : une synthèse est présente dans [Tranter 06]. Comme précédemment, notre système [El Khoury 07a] ne nécessite aucune connaissance a priori. Le signal acoustique est segmenté avec un double critère GLR/BIC [Siu 91] [Chen 98]. Le regroupement repose sur la méthode EVSM (Eigen Vector Space Models) introduite dans [Tsai 05]. Des évaluations récentes de ce système sur des données conversationnelles dans le cadre du projet ANR EPAC [EPAC] en environnement sonore bruité (musique, bruit ambiant) confirment la pertinence de ce système dans le cadre de ce projet.
• Détection de sons (bruits) clés : Un effort important sera également porté sur les détections de sons clés et de bruit. Nous nous appuierons là aussi sur des études précédentes menées quant à la détection de jingles [Pinquier 04b] et à la recherche de sons originaux comme les applaudissements et les rires [Pinquier 04a]. Dans cette optique, l'écoulement de l'eau pourrait, par exemple, correspondre à un son caractéristique. D'autres sons, tels les bruits d'instruments de cuisine (couteaux, robots ménagers, fours, etc.) pourront nécessiter une étude plus approfondi avec l'utilisation sans doute de modélisation type GMM ou SVM.

Dans une seconde étape, une adaptation à l'environnement sonore de chaque patient sera réalisée afin d'améliorer la détection des phases. La spécialisation de l'espace sonore sera effectuée, par exemple, à travers la détection de sons clés spécifiques (sonnerie du téléphone, sonnette, sonnerie de pendule, etc.), de lieux caractéristiques (bruits dus à la proximité d'une route, d'une gare, d'un aéroport, etc.). Nous obtiendrons ainsi une caractérisation de l'environnement sonore « spécifique ». De manière prospective, l'IRIT étudiera le problème de la détection et de la caractérisation de sons récurrents dans les enregistrements. Ce type d'information pourrait permettre de réduire (voir de supprimer) la part de l'intervention humaine évoquée précédemment.

L'indexation des flux acquis dans l'objectif de structuration de la journée d'un patient et détection des événements caractéristiques est plus robuste et pertinente si deux sources d'information sont utilisées : vidéo et audio. S'appuyant sur les tâches précédentes d'indexations sonore et visuelle, une fusion des événements sera effectuée afin de reconnaître les phases de la vie quotidienne : phases culinaires (faire la cuisine, manger, durée d'un repas), interactions téléphoniques, situations de parole (discours, dialogue, monologue, etc.), lecture, télévision, etc.
Il s'agira de combiner les informations issues des médias sonores et visuels. Ainsi, les segmentations et classifications produites sur chaque canal pourront se corroborer ou se contredire. De manière à produire une seule segmentation (structure) à partir de cet ensemble de résultats, nous pourrons nous appuyer sur des méthodes de fusion développées dans les laboratoires : mise en concurrence d'expert et décision par les théories de l'évidence ou des probabilités [Gutierrez 05], disjonction de cooccurrence [El Khoury 07b], etc.