logo EDITE Sujets de doctorat

Analyse et structuration automatiques des données multimédia des Festivals

Résumé rédigé par
Directeur de thèse:
Doctorant: Danny FRANCIS
Unité de recherche ? 0 Laboratoire inconnu!

Projet

Cette thèse se déroule dans le cadre du projet ANR GAFES. Le projet se propose d’étudier l’activité des réseaux sociaux autour des grands festivals, du point de vue des usages via les données collectées, et par la ré-éditorialisation des contenus publiés. Ce projet fait collaborer des équipes d’informaticiens et des sociologues. Dans le cadre de ce projet, la thèse s’intéressera en particulier à la structuration et à la ré-éditorialisation des contenus. Elle se spécialisera sur les méthodes à mettre en oeuvre pour le traitement des images et des vidéos, ainsi que sur les problèmes de combinaison d’informations multimédia, en collaboration avec les autres partenaires du projet.

  • structuration : il s'agira d'extraire des descripteurs, d'identifier des similarités, de produire des représentations concises des contenus. Nous proposerons des paradigmes de représentation robuste des documents, basés en particulier sur les méthodes à régression partielles, qui permettent de combiner connaissance à priori et analyses non supervisées de grandes quantités de données.
  • ré-éditorialisation : l'objectif est d'exploiter les données vidéos collectées pour la composition de vues synthétiques des collections. Concrètement, il s'agira de produire automatiquement des films répondant à une demande précise de l'utilisateur (par exemple: une présentation courte des spectacles d'une journée des Transmusicales). Nous évaluerons des approches basées sur l'extraction puis le ré-assemblage de segments vidéos, en traitant les questions de fond liées aux fonctions d'intérêt dans un contexte culturel et aux logiques de composition, problèmes ouverts qui seront traités conjointement par les informaticiens et par les sociologues.

Approche envisagée

  • la structuration : structurer consiste à extraire des descripteurs, et/ou identifier des similarités qui permettent de produire des représentations concises et caractéristiques des contenus, de plus ou moins haut niveau. C'est donc un travail de catégorisation et d'extraction de connaissances s'appuyant sur des propriétés qui seront définies dans la perspective de l'analyse sociologique et de la ré-éditorialisation. Dans le projet, on cherchera à la fois à extraire des éléments objectifs liés au document lui-même (auteur, canal, sujet, etc.) et des descripteurs de plus haut niveau, caractérisant par exemple la nature du lien entre un document étudié et le festival (par exemple commentaire d'un bloggeur sur le spectacle d'ouverture dans la cour d'honneur du Palais des Papes), catégoriser les documents en fonction des typologies des publics définies par les sociologues, identifier la valence des opinions exprimées, rapprocher des vidéos ayant une ambiance similaire... Cet objectif d'extraction et d'analyse des contenus pose des problèmes ouverts : transcription automatique de données peu contrôlées, analyse des opinions, des émotions... Un des objectifs majeurs du projet est de proposer des méthodes robustes pour l'analyse de contenus générés et/ou diffusés par les
  • utilisateurs.
  • la ré-éditorialisation : cet axe propose d'exploiter la structuration automatique des données pour la composition de vues synthétiques et dynamiques des collections. Concrètement, il s'agira de produire automatiquement des vidéos répondant à une
  • demande précise de l'utilisateur (par exemple, une présentation courte des spectacles d'une journée des Transmusicales, ou l'ensemble des spectacles dans la cours d'honneur du Palais de Papes, à Avignon). Ce processus de ré-éditorialisation peut être traité par des approches issues du résumé automatique, bien qu'il comporte des singularités liées à l'objectif de production d'une vidéo répondant à une requête spécifique et aux données sources, issues de documents hétérogènes relatifs à un événement culturel ou artistique. Nous évaluerons des approches basées sur l'extraction puis le ré-assemblage de segments vidéos, en intégrant, dans le processus de segmentation et de sélection des segments, des paramètres caractéristiques de la forme des documents et de la façon dont ils sont perçus par le public.

    La définition des fonctions d'intérêt doit reposer sur une modélisation aussi robuste que possible de l'intérêt du spectateur, notion évidemment très subjective. Développés dans le cadre du résumé texte, les principaux algorithmes cherchent à minimiser la perte d'information induite par la compression du texte. Dans le contexte de documents culturels, la notion de quantité d'information ou d'importance d'un segment doit évidemment être revisitée : qu'est ce qui est important dans une pièce de théâtre? Ce dont le spectateur se souvient, un moment chargé émotionnellement, la performance d'un acteur ? Les moments de ruptures ou ceux qui sont caractéristiques de l'ensemble du spectacle? Au-delà des fonctions d'intérêt, l'assemblage des segments de documents est généralement traité comme un problème d'optimisation de l'intérêt global du document assemblé, sous contrainte de temps. Intégrer une structure narrative ou un choix éditorial dans la logique de composition reste un problème complètement ouvert, auquel le projet s'attaquera. L'objectif majeur de cette partie du projet est donc la modélisation des fonctions d'intérêt et des logiques de compositions des films générés, modélisation qui doit s'appuyer sur des bases mathématiques claires et une connaissance des publics et de la réception des œuvres issue de la sociologie, notamment de la sociologie du cinéma.

    Plan de travail

    Première année

    La première année sera consacrée à la collecte des données multimédia relatives aux festivals (tâche partagée avec d’autres partenaires), au traitement des bases images et vidéos collectées avec les outils disponibles au sein du département Multimédia d’EURECOM, et à la mise en place de première expériences de structuration permettant de visualiser les résultats d’analyse et de les présenter aux autres équipes, afin de mieux définir les critères d’évaluation pertinents pour le projet.

    Seconde année

    En fonction des critères d’évaluation définis, les méthodes d’analyse (traitement de signal, classification, apprentissage) seront adaptées pour permettre d’obtenir les meilleurs résultats possibles. Une méthodologie d’évaluation sera mise en place. En parallèle, on développera les aspects de ré-éditorialisation par la création de résumés, en définissant des fonctions d’intérêt satisfaisant aux critères définis en commun par le projet.

    Troisième année

    Les méthodes qui auront été proposées pour la structuration et la ré-éditorialisation seront affinées et évaluées, au travers de la collaboration avec les autres partenaires. En particulier, la combinaison multimédia des informations images et vidéos avec les autres informations (textuelles, géo-temporelles) sera développée. Les procédures d’évaluation permettront de mesurer les améliorations obtenues.