Indexation de flux video

Etant donné l'ensemble des états-phases de comportement d'une personne, identifiés par les chercheurs de l'INSERM dans le cadre de leurs études antérieures des démences par le suivi des cohortes des patients, l'objectif d'indexation du flux acquis consiste à le structurer automatiquement en phases sur la base du contenu visuel de la vidéo.

La première étape de l'analyse est l'extraction des descripteurs. Une des possibilités de réduire la redondance de l'information avant le calcul des descripteurs consiste à produire une mosaïque temporelle [Kra06] et de produire des segments vidéo correspondants aux différentes vues de la caméra. Ensuite, nous évaluerons sur celles-ci des différents descripteurs: histogrammes de couleurs, descripteur MPEG-7 Colour Layout, descripteurs de mouvement... Les phases d'interaction avec autrui feront objet du développement d'outils spécifiques : notamment la détection des personnes dans la suite des travaux de recherche actuelle [Mégret 2008]. Tous ces descripteurs serviront d'entrée des outils de structuration temporelle de la vidéo, dont l'objectif est l'estimation de la succession des activités élémentaires au cours de la journée. La modélisation de cette structure se fera à l'aide de modèles de Markov Cachés. Les modèles de Markov cachés ont été appliqués efficacement à la vidéo dans divers domaines pour retrouver une structure, notamment avec des vidéos sportives [Gros 06] afin de retrouver les différents événements (point, jeu, set...) d'un match de tennis ou de baseball. Dans notre cas, nous utiliserons une structure de modèles de Markov hiérarchiques [Zhang 06] où les états représenteront des activités élémentaires d'une journée type, certains états étant des regroupements de plusieurs états de durée plus faible (par exemple la préparation du repas nécessite de prendre les aliments dans le réfrigérateur, de les préparer ou couper, puis de les faire cuire). La difficulté ici consiste à proposer la structure adéquate des HMM, mais aussi de trouver l'espace de description qui permettra une bonne définition des modèles d'état, ainsi qu'un apprentissage fiable. Cette question reste un problème de recherche ouvert. Le modèle Markovien appris permettra une régularisation temporelle de la détection des activités. Son application fournira ainsi une estimation de la structure de la vidéo en segmentant celle-ci en activités quotidiennes.

Dans l'ensemble de la problématique liée à la modélisation et reconnaissance d'action d'une personne, sa localisation au sein de l'environnement de son domicile est un indice important. Le travail sera organisé en deux phases : localisation qualitative, visant à reconnaître la pièce ou la configuration dans laquelle se trouve la personne, et localisation quantitative visant à estimer plus précisément la trajectoire de la personne dans l'espace 3D. La localisation qualitative se fondera sur des techniques d'apprentissage de descripteurs globaux (histogrammes de couleur), ou de type sac de mots visuels (bag-of-features) [Nister 06]. Les techniques seront comparées afin de déterminer leur robustesse et leurs champs de validité sur les types de vidéos manipulées.
Pour la phase de localisation quantitative, les techniques de détection de points d'intérêt [Lowe 01, Lowe 04, Lepetit 06, Snavely 06], de régions [Matas 02] ou de segments [Klein 08] ont montré leur capacité à mettre en correspondance des objets ou des scènes 3D avec une bonne robustesse malgré des différences de point de vue assez importantes. Ces techniques peuvent être utilisées en cas de mouvement non dégénéré afin de générer une carte 3D de l'environnement pour un coût calculatoire faible (temps-réel) [Klein 08]. L'application de ces techniques au cas de vidéos issues des capteurs portées sur des personnes en environnement peu contraint sera étudiée. En particulier, l'existence d'un environnement composé de plusieurs pièces devra être prise en compte, afin de générer un ensemble de références 3D et de cartes applicables à chaque situation du patient. Leur utilisation pour la localisation 3D fournira alors un ensemble de trajectoires 3D utilisables afin d'affiner la recherche d'événements d'intérêt.

Il s'agit de développer l'interface de consultation des vidéos acquises destinée à être utilisée par les médecins spécialistes dans le cadre des études cliniques d'une part et de rendre le résultat des traitements d'indexation audio et vidéo accessibles depuis l'interface. Ce travail sera accompli par l'ingénieur de recherche recruté par le LABRI. Les fonctionnalités suivantes seront assurées

• Récupération des vidéos depuis le serveur de stockage,
• Transfert des données entre station de consultation et serveur,
• Navigation efficace au sein de la vidéo indexée par timecode et par évènement,
• Interface d'annotation manuelle permettant de fournir des informations supervisées aux outils d'indexation,
• Importation des index créés par les outils d'indexation dans l'interface afin de permettre la navigation par évènements détectés automatiquement au sein de la vidéo.