Modèles et Outils Documentaires pour les Hypervidéos sur le Web

1,143 views
1,074 views

Published on

Soutenance de magister

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,143
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Modèles et Outils Documentaires pour les Hypervidéos sur le Web

  1. 1. République Algérienne Démocratique et Populaire Ministère de l’Enseignement Supérieur et de la Recherche Scientifique Université Abderrahmane Mira de Bejaia Faculté des Sciences Exactes Département d’Informatique ECOLE DOCTORALE RESEAUX ET SYSTEMES DISTRIBUES Soutenance de Mémoire de Magistère Thème: Prsésenté par: Madjid SADALLAH Dirigé par: Yannick PRIE et Azzeddine MAREDJ Promotion: 2008/2009
  2. 2. Cadre Général Réalisé au CERIST en partenariat avec LIRIS CERIST ◦ Équipe SMDM (Système Multimédia et Documents Structurés) dans le cadre du projet MediaStudio2  Systèmes d’édition et de présentation de documents multimédia interactifs et adaptables. LIRIS ◦ Équipe SILEX dans le cadre du projet Advene  Outils de lecture active et d’interprétation de documents audiovisuels.
  3. 3. IntroductionProblématiqueConcepts et Etat de l’ArtPropositionMise en ŒuvreÉvaluationConclusion & Perspectives
  4. 4. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Vulgarisation des TICs Mutation de l’univers informationnel Reconfiguration des pratiques intellectuelles humaines Nouvelles conceptions et formes de perception de la connaissance
  5. 5. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Numérisation de la vidéo Vulgarisation sans évolutions précédente d’échange de hard & soft données AV (Youtube, Vimeo, Dailymotion, videoblogs, mail video, tutorials,…) Web comme canal
  6. 6. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Vidéo -Forme récente. L’utilisateur interagit Numérique avec la vidéo = l’utilisateur peut affecter le flux de la vidéo et cette influence, au retour, affecte les choix futurs de l’utilisateur (Stenzler)  au delà de l’expérience filmique. -Nouvelles caractéristiques Vidéo Linéaire informationnelles et interactionnelles. -Développement de nouvelles formes d’expérience utilisateur au-delà de celles actuelles (forums vidéos, chat et mail vidéos et les vidéoblog) -Nouvelles utilisations de la vidéo: Vidéo apprentissage et publicité interactive. Interactive
  7. 7. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion  Systèmes hypermédias permettent l’intégration du contenu multimédia (e.g. vidéo comme média) dans l’hypertexte.  Nouveau défi de l’hypermédia: besoins issus de lémergence de la vidéo interactive.  Hypervidéo: Cadre intégrateur multimédia + hypermédia + vidéo interactive. Elle combine: ◦ la richesse de laudiovisuel ◦ les capacités du multimédia ◦ linteractivité de lhypermédia
  8. 8. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Hypermédia: Non linéarité + Interactivité + Hétérogénéité Hypervidéo: Cadre intégrateur hypermédia (+ hypermédia) + vidéo interactive. Elle combine: ◦ la richesse de laudiovisuel ◦ les capacités du multimédia ◦ linteractivité de lhypermédia Donc, l’Hypervidéo est de l’hypermédia avec: ◦ Plus de contrôle/ liberté pour lacquisition de linformation ◦ Structures de transmission plus élaborées, riches et plus flexibles. ◦ Nouvelles formes de création et de présentation de linformation AV traitée dans sa granularité la plus fine ou la plus complexe et contrainte en espace et en temps.
  9. 9. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion  Intégration de la vidéo interactive dans les hypermédia Conforter les nouvelles audiovisuelles par de la th  Modèles hypermédia rigides et restrictifs conceptualisation des hype  Besoin de représentation formelle dédiés été largement exam  En plus : Chambel et al. : « Le suivant lesquelles la vlà de la technologie: le manque de traitée par les systèmalisation entrave une plus grande peuvent appréhend e et utilisation des hypervidéos. spatiale et temporee représentation formelle dédiéee modalités de présentation Expériences filmique + hypertextuelle  résultant du caractère appropriées. des modèles de représentation au-delà de ceux - très rigides et restrictifs - des modèles hypermédias.
  10. 10. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Donc: ◦ Modèles hypermédias conventionnels: limités et difficilement implémentables ◦ Systèmes hypervidéos actuels: des modèles spécifiques ou implicites (dictés par l’implémentation)! Modèle ?Document = ensemble de structures (par exemple celle logique) qui obéissent Notre Objectif: organisation formelle: les modèles. à une Contribuer à la formalisation des hypervidéos via: Les outils de manipulation sont développés en respectant ces modèles. La sémantique d’un document est la contrepartie de pratiques, (d’outils, un modèle modèles et structures). "dédié et « implémentable ».  Un modèle de document décrit et contraint les structures concrètes d’un documents par lesquelles ils peuvent être manipulés et présentés à un utilisateur.
  11. 11. IntroductionProblématiqueConcepts et État de l’ArtPropositionMise en ŒuvreÉvaluationConclusion & Perspectives
  12. 12. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Hypervidéo = développements (hypermédia + multimédia + audiovisuel). Elle étend l’analyse MM/HM de la vidéo pour relier les objets audiovisuels à tout son contexte. ◦ Hypertexte : connecter des nœuds textuels ◦ Multimédia : agencement interactif et hétérogène de média. ◦ Hypermédia : hypertexte + multimédia ◦ Document Audiovisuel: images animées et/ou de sons se déroulant de manière linéaire selon un rythme temporel DAV : ◦ À un instant donné t, pas de vision globale/perception complète de la connaissance transportée. ◦ Pas de structure. Ajout: manuel ou auto.
  13. 13. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion [Vidéo + structure] permettent une analyse: logique, spatiale, temporelle et hypermédia, donc multimédia Véritable intégration de la vidéo dans l’espace hypermédia: ◦ Ce n’est plus une illustration. ◦ Structurée par des liens définis suivant des dimensions spatiales et temporelles permettant d’interagir avec son contenu et de naviguer au sein de sa structure. ◦ Des liens entre des nœuds audiovisuels et autres, disponibles dans l’espace hypermédia.
  14. 14. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Hypervidéo: ◦ Introduite avec HyperCafe ◦ De la visualisation linéaire et rigide { l’interactivité ◦ Deux composantes complémentaires : le flux AV continu et les données associées  graphe dont certains nœuds sont des fragments AV ◦ Le flux est enrichi par des données qui lui permettent d’être contrôlable et interactif  plusieurs alternatives pour voir le même contenu  s’affranchir de la temporalité AV linéaire  Chaque hypervidéo générée d’un DAV est une vue possible qui relie la structure de données et le flux associé.
  15. 15. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Propriétés: combinaison de celles des HM et des DAV ◦ idée de base de l’hypertexte remplaçant le texte par la vidéo ◦ intégration complète et effective de la vidéo interactive ◦ des alternatives de visualisation, d’interaction et d’utilisation attractives non-conventionnelles, ◦ des moyens de transmission et d’acquisition de connaissance robustes ◦ possibilité d’organiser et d’explorer l’espace documentaire suivant des choix et des parcours non linéaires personnalisables Différences HV vs HM: ◦ cadence de présentation HV dictée par celle du flux audiovisuel en l’absence de toute interaction  importance cruciale de l’audiovisuel ◦ définitions dédiées des concepts clés (nœud, lien, ancres, etc.) ◦ lecture filmique augmentée, pas rigide voire papier
  16. 16. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Différences HV et HM (suite): ◦ Structure HV complexe centrée sur le contenu AV  segmentation et structuration de la vidéo + ajout voire codage de données ◦ Temporalité accrue. La présentation est contrôlé dans le temps en rapport avec la timeline de la vidéo. ◦ Un nœud HM peut être image, texte ou page. C’est quoi un nœud HV? des segments qui peuvent n’être qu’un une seule scène voire une seule image? ◦ Dimensions spatiale et temporelle des liens  régions sensitives ou hotspots (détails précis au sein d’une séquence vidéo) ambulantes. Désorientation: perte dans l’espace documentaire. Surcharge cognitive Rhétorique des hypervidéos  ◦ Matérialisation de liens ◦ Notion de Link Awareness
  17. 17. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion De la Vidéo à l’Hypervidéo: ◦ «La forme audiovisuelle ne mobilise pas d’unités répertoriées composant le contenu (comme les lettres de l’alphabet)»  Besoin de la structuration. ◦ Pas de découpage universel de définition d’unités AV de base ◦ Importance cruciale des modèles de représentation des documents audiovisuels  Notion d’annotation. Besoin d’annoter ◦ besoin de structurer et annoter la vidéo pour la décrire connivence HV/annotations très forte. ◦ l’annotation vidéo: suite du développement des domaines de l’hypermédia et de l’hypertexte. ◦ Adaptation des concepts de l’annotation hypermédia à l’audiovisuel  hypervidéo.
  18. 18. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Concept d’Annotation ◦ «Note particulière attachée à une cible (…). À une annotation correspond un contenu, matérialisé par une inscription, qui est une trace de la représentation mentale que l’annotateur se fait de la cible. » ◦ Utilisations diverses (toutes sortes de possibilités de développement de ressources médiatiques): sélection du contenu (recherche ou filtrage), capture du contenu pour des visualisations, traitements, navigation, accès aux éléments décrits, gestion des droits d’accès, etc.
  19. 19. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion L’annotation vidéo associe des données textuelles ou multimédia à une vidéo ou à une partie de la vidéo, enrichissant le contenu sans altérer le flux original. Annoter la vidéo: ◦ Processus automatique ou manuel (ou combiné). ◦ Deux techniques:  association de métadonnées  enrichissement du contenu. Structure d’annotation associée à une vidéo: ◦ sépare le contenu de son rendu ◦ offre une infrastructure pour augmenter la vidéo avec des données pouvant être instrumentées pour construire multiples vues du même document.
  20. 20. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Modélisation HV à base d’annotations: ◦ nouvelle couche de données greffée sur celle du flux AV ◦ chaque annotation est associée/définit un segment logique ◦ différentes granularités d’accès à la vidéo ◦ plusieurs annotations sur le même segment logique  différentes vues de la même donnée ◦ des segments logiques peuvent se chevaucher/s’imbriquer arbitrairement ◦ ajout et suppression d’annotations indépendamment des flux  création et modification dynamique et incrémentale des annotations vidéo ◦ la recherche et l’extraction à base de contenu sémantique possibles à un niveau que les techniques d’édition graphique et de vision par ordinateur ne peuvent pas réaliser
  21. 21. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Hypervidéo à base d’annotation ◦ améliore de manière considérable le rôle actif de l’utilisateur ◦ augmente l’interactivité de la vidéo ◦ permet de développer des techniques qui assurent des activités documentaires diverses. ◦ brise la linéarité de la vidéo pour créer un espace d’information non linéaire, inhérent aux hypervidéos. Cela motive: l’intérêt à proposer des modèles hypervidéos à base d’annotations.
  22. 22. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Modèles de référence hypermédia: DHM, AHM Modèles HV: HyperCafe, detail-on-demand Modèles de document multimédia ◦ Dimension spatiale: modèles absolus vs relatifs ◦ Dimension temporelle: modèles à instants/intervalles Langages et Standards: HyTime, MHEG, SMIL Discussion: ◦ Modèles HM trop généraux, pas adaptés pour les HV et difficiles à implémenter ◦ Le peu de modèles HV: restrictifs et spécifiques à leurs systèmes ◦ SMIL intéressant mais:  Trop général  Assez volumineux  Pas de définition formelle d’un modèle (inspiré de AHM)  Manipulation compliquée 2
  23. 23. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Annotations: ◦ Modèles : Dublin Core, MPEG-7, Annodex et Cinelab ◦ Outils : VIA, Anvil, Elan, Diver, Advene, VideoAnnex, ViPER-GT Discussion: ◦ Cinelab intéressant car ciblant les hypervidéos et interopérable avec d’autres (MPEG-7,…) ◦ Outils d’annotation ne permettent pas la génération d’HV, exception Advene
  24. 24. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Environnements Hypervidéos ◦ Hypermédia orienté vidéo: Aspen Movie Map, HyperPlant, VideoFinger, Elastic Charles ◦ Système d’édition et de présentation Hypervidéo: HyperCafe, Hyper-Film, VideoClix, Hyper-Hitchcock, HyperSoap, VisualSHOCK MOVIE, HotVideo, Hvet, Advene et SIVA Suite Discussion : ◦ Orientation Web: HyperFilm, VideoClix et VisualShock Movie. Besoin de plugins ◦ Suivi d’objets: VideoClix, HyperSoap et VisualSHOCK MOVIE. Grande complexité ◦ Représentation des ancres hypervidéos: très mal prise en charge.
  25. 25. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Discussion(suite): ◦ Annotations: aucun, à part Advene, n’est explicitement à base d’annotations ◦ Altération du flux: VideoClix rend les fichiers propriétaires ◦ À base technique. Pas de modèle explicite. ◦ Modèle restrictif: detail-on-demand ◦ Hypermédia. Pas spécifique
  26. 26. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Hypervidéo sur le Web ◦ Dimension temporelle encore problématique ◦ Outils: plugins ◦ HTML5: prise en charge AV. ◦ Quelques tentatives: Youtube annotations, popcorn.js ◦ SMIL Timesheets: étendre le modèle temporel de SMIL à XML Discussion ◦ Vidéo supportée d’une manière illustrative ◦ Plugins: manque de sécurité, accessibilité, interopérabilité, … ◦ HTML5: support mitigé par les navigateurs. Pas de modèle temporel ◦ SMIL Timesheets: solution possible pour le temps sur le Web ◦ Quel modèle et quelle technologie ?
  27. 27. IntroductionProblématiqueConcepts et État de l’ArtPropositionMise en ŒuvreÉvaluationConclusion & Perspectives
  28. 28. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Principes ◦ Hypervidéo = spécialisation de l’hypermédia centrée sur un ou plusieurs documents audiovisuels annotés. ◦ Annotation comme infrastructure de conception  l’hypervidéo = adoption des méthodes de l’hypermédia { la vidéo numérique annotée ◦ Modélisation logique à base de composants  principe d’héritage et d’imbrication de composants pour la création et la représentation hiérarchique de documents. composant = concept clé dénotant une entité abstraite servant de réceptacle de données et/ou pouvant être utilisée pour la définition d’une représentation homogène d’un nombre de concepts du modèle. ◦ Adaptation des paradigmes de l’hypermédia ◦ Support des dimensions multimédia de l’hypervidéo ◦ Gestion dynamique { base d’événements
  29. 29. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Annotation comme infrastructure  deux niveau = adoption principe d’héritage et définitions formelles l’hypervidéofonctionnels : est de conception d’imbrication de nécessairement concises des paradigmes des méthodes de déclaratif et opérationnel. composants { la vidéo multimédia.  création et rencontrés dans un l’hypermédia parles Combinaison Gestion Modélisation représentation Modélisation des 4 hypervidéos. CHM numérique annotée modèle événementiel dynamique à base logique à base de composants hiérarchique dimensions du recense un ensemble d’événements Hypervidéo document. minimal de concepts CHM  qu’il discute,= entité composant redéfinit éventuellement et abstraite servant de modélise. de données réceptacle Adaptation des Support des et/ou définissant une paradigmes de dimensions l’hypermédia multimédia représentation de concepts homogène
  30. 30. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Modèle d’annotation: ◦ Origine: modèle Cinélab ◦ annotation = donnée associée à un segment logique de la vidéo appelé fragment ◦ Fragment  un intervalle de validité, une portée définie par des timecodes - instants de début et de fin - par référence au temps de la vidéo. ◦ Attributs d’une annotation: identificateur, type, sa référence média, ses timecodes (début/fin) et son contenu. Document hypervidéo vue enrichie des informationsdu corpus de vidéos annotées. L’édition vidéo et l’extraction de caractéristique  Création d’annotation: Advene, Anvil,…
  31. 31. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. ConclusionVue générale du Layoutmodèle logique de 1..* 1 CHM 1..* 1 1 1 ..* AnnotationStructure Hypervideo TimedMedia 1..* 1 * TimelineRef 1 1..* 1..* * AnnotationReader 1..* Component TLComponent Une hypervidéo : spécialisation et composition à plusieurs niveaux de Component. Au moins un composant temporalisé (AV): TimedMedia Les composants sont des unités d’information formelles et de composition. Ils peuvent être temporalisés (reliés à une référence de temps) ou pas. Les données sont récupérées moyennant des lecteurs à partir de structures d’annotation qui peuvent faire référence { des ressources La disposition physique des composants et du document est représentée par une spécification de la layout.
  32. 32. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. ConclusionComposants de Base Hypervideo de CHM AnnotationReader 1 1 1..* 1..* 1 Hotspot TimedMedia TimelineRef GlobalTimelineRef * 1 1..* 0..* 1 0..* 1..* 1 Anchor Component 1 TLComponent Hypervideo : composants de haut/bas niveau. AnnotationReader: accéder { une structure d’annotations et renvoyer les données en réponse à une requête. TimedMedia: composant abstrait se référant à un flux temporalisé. Il ajoute du temps au document TimelineRef (TLR): référence virtuelle du temps, inférée { partir du temps d’un TimedMedia. GlobalTimelineRef: référence global. Synchronisation intra TLRs + source de synchronisation pour des composants temporalisés mais non liés à une TLR. TLComponent: composant relié à une TLR Anchor et Hotspot: ancres hypervidéo.
  33. 33. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion <<realize>> <<realize>> Composants d’interface VideoPlayer <<interface>> AudioPlayer simples de CHM Player (CHM Plain Components) TLComponent VisualComponent Component Container TimelineRefGUI TextViewer RichTextViewer ImageViewer Niveau intermédiaire (Hypermedia/Multimédia) à partir des composants atomiques. Utilisables tels que ou pour la composition/imbrication Interfaces interactives pour la présentation de données temporalisées Conteneurs statiques (Container):  Interface graphique pour comprendre d’autres composants.  Simplifier le regroupement spatial et/ou sémantique de plusieurs composants et d’unifier leur traitement Interfaces de rendu des médias :  Interfaces de rendu des flux audiovisuels : Player, AudioPlayer et VideoPlayer.  Interfaces de rendu des médias statiques: visionneuses et les lecteurs de contenu statique. TextViewer, ImageViewer,RichTextViewer et TimelineRefControlGUI.
  34. 34. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Composants CHM de 1 0..* Haut Niveau Component AnnotationReader 1..* 1 Track Timeline Map History Trace TableOfContent Haut niveau à partir des niveaux plus bas Sorte de langage de description du niveau lecteur qui adapte quelques artefacts de présentation Paradigmes Hypermédia + Propres aux hypervidéos Ensemble non exhaustif et extensible Historique et Parcours de lecture:  Historique de Navigation  Trace Indexes de navigation:  Map  TableOfContent Les lignes de Temps  Timeline  Track
  35. 35. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Composants CHM de 1 0..* Haut Niveau Component AnnotationReader 1..* 1 Track Timeline Map History Trace TableOfContent D’autres composants: les Sous-titres (Subtitles), Légendes (Captions) et Overlays:sont des exemples d’utilisation des composants de haut niveau.  Les légendes textuelles TextCaptions tels que sous-titres, traduction, commentaire, etc., des superpositions graphiques (Graphic Overlays) et d’autres Multimedia Overlays dont les données sont contenus d’annotations textuels ou multimédia peuvent être placés sur les lecteurs vidéo.  Leurs conteneurs sont des instances de visionneuses et lecteurs ayant des spécifications spatiales appropriées.  Le modèle CHM ne spécifie pas explicitement ces composants car ils peuvent être facilement instanciés à partir de ceux existant.
  36. 36. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Composants CHM AnnotationReader d’accès aux Données Component AnnotationStructure AdveneReader JSonReader TimedTexttReader RDFReader DataScrapper L’accès { une donnée externe { un composant est réalisé via une interaction avec un lecteur d’annotation. Lecteur d’annotations/de données: composants de communication, middleware avec une interface fonctionnelle d’interrogation des structures de données (annotations et ressources) suivant une procédure unifiée. AnnotationReader: lecteur standard AdveneReader JSonReader TimedTextReader
  37. 37. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Modèle Spatial des Hypervideo Layout hypervidéos CHM 1 1 ..* 1 1 1..* 1 1..* 1 Component VisualComponent SpatialRegion Fait partie de la famille des modèles absolus, CHM définit les éléments:  Layout  région spatiale  élément visuel.
  38. 38. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Modèle temporel des hypervidéos CHM Paradigme TimeLine Reference (TLR): ◦ notion de ligne de temps adaptée au contexte hypervidéo ◦ échelle temporelle explicite comme référence d’activation commune. ◦ L’information de tout objet est relative au contenu audiovisuelsituée sur un point de sa ligne de temps. ◦ Le composant AV assujettit l’évolution de tout objet média qui lui est associé ◦ Définition: Une TimeLine Reference est un référentiel temporel virtuel attaché à la composant audiovisuelle annotée, pouvant être issu d’un montage { partir d’un corpus annoté, afin d’ordonnancer tous les événements temporels pouvant exister dans un document hypervidéo et inférer à ses composants des capacités temporelles. Les composants temporalisés du document sont activés et désactivés par référence à cette TLR. Plusieurs références de temps et au moins une peuvent exister dans un même document.
  39. 39. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Modèle temporel des hypervidéos CHM Propriétés de la TLR ◦ L’évolution de la TLR reflète celle du flux principal ◦ Par défaut, la synchronisation TLR-TLComponent est fine ◦ Un composant peut changer de TLR ◦ Une TLR peut avoir une autre comme référence ◦ Terminaison d’une TLR  Terminaison de tous les composants qui lui sont reliés. ◦ Terminaison de toutes les TLRs  fin de la présentation ◦ Attributs de la TLR: position, state et duration. Notion de Contexte de présentation: photo instantanée (snapshot) de l’hypervidéo.
  40. 40. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Modèle temporel des hypervidéos CHM Attributs temporels:
  41. 41. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Modèle temporel des hypervidéos CHM Synchronisation multimédia ◦ Hard ou fine. ◦ Vidéo principale dé-synchronisée  mise à pause de la présentation jusqu’{ resynchronisation du média principal ◦ Média secondaire dé-synchronisé  la présentation du document continue. À chaque mise à jour du temps de la progression de la présentation, la référence tente de resynchroniser tous les objets qui ne sont plus à jour temporellement.
  42. 42. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. ConclusionModèle Hypermedia des hypervidéos CHM Dimension hypermédia et interactionnelle ◦ La temporalité des éléments multimédia grande complexité de perception. ◦ Nouveaux besoins: retour sur un média particulier, un détail passé ou un saut vers un instant donné, etc. ◦ Besoin de considérer l’interaction pour une édition plus riche et une lecture plus active. ◦ Deux types d’interaction:  manipulation (composant player)  Navigation par un mécanisme de lien Liens CHM: uni-directionnels, uni-soucres, uni- destinations, internes ou externes.
  43. 43. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. ConclusionModèle Hypermedia des hypervidéos CHM Types de liens: ◦ Hypertextuel: adresser une ancre simple définie en espace ◦ Hypervidéo: adresser des ancres spatio-temporelles (hotspot) Ancre hypervidéo: une zone au sein d’un nœud. Référence à un média ou une partie spatio-temporelle. Une ancre peut être définie sur des objets non visuels, par exemple sur de l’audiouniquement destination. Dans CHM, une hotspot est composée d’un ensemble d’ancres. Attributs des ancres et hotspots CHM
  44. 44. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Modèle événementiel des Hypervidéos CHM Event 0..* 0 ..* Action TimelineRefUpdated LinkActivated TimelineRefUpdate OpenURL LayoutModif DomEvent ModifLayout ExecuteScript Comportement dynamique gérée par un mécanisme événementiel. Événement: réalité physique observée paramétrée en espace et en temps. Composants CHM: Event et Action. Events listeners: détecter les occurrences des événements invoquer les procédures de traitement appropriées Action: instruction atomique ou un ensemble d’opérations. Peut déclencher d’autres événements ( d’autres actions). Événements CHM: interactions utilisateur, événements intra-objet, événements inter-objets, événements applicatifs et événements définis par l’utilisateur.
  45. 45. IntroductionProblématiqueConcepts et État de l’ArtPropositionMise en ŒuvreÉvaluationConclusion & Perspectives
  46. 46. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Web: hypermédia le + répandu Vidéo sur le Web: rudimentaire Démarche: combiner les expériences: ◦ Hypermédia ◦ Audiovisuelle But: nouvelle culture pour la production et l’exploitation de la vidéo sur Internet Au passage: discuter la prise en charge effective de la vidéo et du multimédia en général sur le Web
  47. 47. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Principes généraux du prototype WebCHM WebCHM Langage Librairies Hypervidéo Javascript Interprétation Syntaxe Instrumentation Transformation de la Syntaxe déclarative du HTML du Contenu CHM HTML 5 & Co.
  48. 48. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Étapes d’édition hypervidéos Annotation Édition Présentation -Annotation du -Déclaration de l’espace - Interprétation corpus avec Advene de nom CHM - Transformation - Export de la - Édition HTML classique structure (html, js, css) - Formatage d’annotations (XML, - Édition CHM - Synchronisation JSon, Mpeg-7, (déclaration des RDF,etc) - Interaction composants) - Événement - Style CSS des classes et éléments CHM
  49. 49. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. ConclusionArchitecture Générale du prototype WebCHM Moteur Moteur de d’Interprétation transformation Composants CHM+ Doc. HTML+CSS+Scripts+ Doc. CHM Web (HTML, SVG,...) Timesheet+ Web (SVG,...) Gestionnaire Ordonnanceur Formateur Templ.Annot+ d’accès aux rendu Ress. données Gestionnaire Présentation de composants hypervidéo Gestionnaire Gestionnaire d’événements d’interactions
  50. 50. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Génération dex exports et vidéo Analyse et annotation de ladu contenu et des annotations (dans l’exemple, format Json)
  51. 51. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Utilise des conteneurs HTML, principalement DIV<DIV chm:component=‘nom-composant’ …> transforme un élément HTML en un composant CHM TLComponent = component + chm:timelineref Annotation <id, type, begin, end, content, media> Liens: syntaxe W3C Media Fragment chm :href = "http://www.exemple.com/video.mp4#t=.120,1.230"; Evénements et actions: déclarés comme tout autre composant Exemple: <!-- TimedMedia --> <div chm:component="timedmedia" id="tm" chm:src="TimBerners-Lee_2009.mp4"></div> <!-- Lecteur vidéo --> <div chm:component="videoplayer" id="movieplayer“ chm:src="tm" chm:region="center"></div>
  52. 52. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion  Moteur d’Interprétation: recense les composants CHMInterprétation, transformation et génération de code  Moteur de Transformation: génère le code HTML des composants  Accès de données: middleware entre composants et données  Gestionnaire de composants: adresser les composants CHM d’une manière consistente
  53. 53. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Feuilles de style CSS Formatage Spatial Layout, Spatial Regions et VisualComponent: décrits par des classes et des attributs de style CSS Un ensemble de templates est fourni Formateur: gestion des spécifications spatiales Le moteur de rendu du navigateur prend la main Reconfiguration du document { l’exécution: sur intervention du formateur
  54. 54. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion TimedMedia: permet d’inférer une référence Formatage Temporel et Synchronisation temporelle L’attribut chm:timelineref lie un composant à un TimedMedia Ensemble d’attributs- chm:begin, chm:end, chm:duration, chm:loopcount, chm:canslideTLR et chm:finesync. Ordonnanceur: règle la synchronisation Problème: Le Web est atemporel Idée: Utiliser la nouvelle spécification SMIL Timesheets Implémentée dans le projet Timesheet Scheduler.
  55. 55. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Ensemble de templates prètes { l’utilisation Interfaces de rendu Un lecteur audiovisuel HTML5/Flash avec fonctionnalités avancées
  56. 56. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion HTML5/Flash Lecteur Vidéo CHMVideoPlayer Utilisé dans Advene Flash au besoin. Le reste: HTML+CSS+ Timesheet Couche d’abstraction logicielle HTML5 lisible partout Présente toute sorte d’overlays Fonctionnalités avancées par rapport { ce qu’on trouve: dimensions, taille, visibilité, sensibilité aux interaction, optimisation du temps Vidéo continue ou en montage Version ‘vignette’ pour des clichés (thumbnail video)
  57. 57. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion
  58. 58. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion. Conclusion Exemples: http://advene.org/chm/samples.html ◦ Video Subtitles ◦ Transcription ◦ Timeline ◦ Table of Content ◦ Map ◦ Enrichment ◦ Two Independant Players ◦ Dependent Players ◦ Exemple complet: The Nosferatu Hypervideo sample
  59. 59. IntroductionProblématiqueConcepts et État de l’ArtPropositionMise en ŒuvreÉvaluationConclusion & Perspectives
  60. 60. Introduction Problématique Concepts Proposition Mise en Œuvre. Discussion Conclusion. Caractéristique du modèle ◦ Haut niveau d’abstraction: composants ◦ Expression des dimensions multimédia ◦ Prise en charge de l’audiovisuel interactif ◦ Puissance d’expressivité: assomption! ◦ Intuitivité ◦ Généricité ◦ Spécificités du modèle d’annotation ◦ Implémentabilité
  61. 61. Introduction Problématique Concepts Proposition Mise en Œuvre. Discussion Conclusion. Relation avec DHM/AHM/SMIL ◦ Notion de composant ◦ Liens ◦ Les aspects spatial et temporel ◦ Gestion dynamique ◦ Modèle en couche de DHM
  62. 62. Introduction Problématique Concepts Proposition Mise en Œuvre. Discussion Conclusion. Partiel. Valide les principes CHM  HV à base théorique Langage déclaratif  édition HV grandement simplifiée Conformité aux standards Web Éditer HV <-> éditer HTML (CSS, JS, SVG,…) Éxploite la force temporelle de SMIL S’affranchit des plugins avec heut abstraction logicielle Utilise un module temporel au dessus de celui Flash/HTML5 Introduit les annotations dans l’édition MM pour le Web Illustre HTML5 Introduit d’autres d’utilisations de la vidéo en ligne
  63. 63. IntroductionProblématiqueConceptset État de l’ArtPropositionMise en ŒuvreÉvaluationConclusion & Perspectives
  64. 64. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion Conclusion Synthèse: proposition d’un modèle hypervidéo dédié et implémentable intégrateur des dimensions: hypermédia, multimédia, audiovisuelle et annotations. Bilan Scientifique: ◦ Aspect théorique  Modèlisation à base de composants  Modèle de données orienté annotations  Prise en charge des dimension multimédia/hypermédia/événementielle ◦ Aspect pratique  Framework libre pour les hypervidéos sur le Web: langage déclaratif, respect des normes Web, facilité d’édition, utilise les nouvelles technologies.
  65. 65. Introduction Problématique Concepts Proposition Mise en Œuvre Discussion Conclusion Perspectives ◦ Aspect recherche  Etude des modes de perception de l’information audiovisuelle  Aspect collaboratif  TV interactive (IDTV)  Modèle multimédia et adaptation  Multimédia et annotations sur le Web ◦ Aspect Développement  Développer le maximum de module de manière générique  Spécification DOM  Éditeur CHM sous advene  Éditeur graphique (GUI)
  66. 66.  Communications ◦ Hypervideo and annotations on the web MMWeb2011 - Gratz, Austria (septembre 2011) ◦ Component-based hypervideo model: high-level operational specification of hypervidéos ACM DocEng’2011 – California, USA (septembre 2011) Le projet CHM sur le Web ◦ Modèle, API et exemples: http://www.advene.org/chm ◦ RSS: http://www.advene.org/chm/feed.xml ◦ Twitter: http://twitter.com/chmproject

×