• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Thesis work presentation
 

Thesis work presentation

on

  • 193 views

 

Statistics

Views

Total Views
193
Views on SlideShare
185
Embed Views
8

Actions

Likes
0
Downloads
0
Comments
0

1 Embed 8

http://www.linkedin.com 8

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Thesis work presentation Thesis work presentation Presentation Transcript

    • Progettazione ed implementazione di un sistema perFacoltà di IngegneriaCorso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi tesi di laurea Progettazione ed implementazione di un sistema per lestrazione automatica di notizie da filmati di telegiornali. Anno Accademico 2008/2009 relatore Ch.mo prof. Carlo Sansone candidato Fabio Ronca Matr. 885/212
    • Progettazione ed implementazione di un sistema perFacoltà di IngegneriaCorso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Descrizione del problema News video processing: analisi, individuazione e catalogazione di filmati riguardanti notizie. Ø Shot segmentation: suddivisione del filmato analizzato in shot ovvero segmenti video visivamente omogenei identificati da due cut consecutivi. Ø Shot classification: classificazione degli shot in base al loro contenuto. Ø News Story Segmentation: raggruppamento degli shot con contenuto semantico omogeneo in un unico segmento video. Modello di telegiornale Ø Anchor shot Ø News-Report shot
    • Progettazione ed implementazione di un sistema perFacoltà di IngegneriaCorso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Contributo apportato Il lavoro di tesi è incentrato sul News video Processing soffermandosi sullo studio delle tecniche di shot change detection e anchor shot detection al fine di: Ø realizzare uno strumento software che, consenta l’estrazione automatica di notizie da filmati di telegiornali Ø valutare le prestazioni del sistema di estrazione ed individuare la combinazione di algoritmi di shot change detection e anchor shot detection in grado di fornire le prestazioni migliori.
    • Progettazione ed implementazione di un sistema per Facoltà di Ingegneria Corso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Il sistema realizzatoFunzionalità principaliØ esecuzione degli algoritmi di shot change detectionØ esecuzione degli algoritmi di anchor shot detectionØ valutazione indici prestazionale dei vari algoritmiØ estrazione delle news presenti nel filmato elaboratoØ visualizzazione delle notizie in cui è suddiviso il video processato
    • Progettazione ed implementazione di un sistema per Facoltà di Ingegneria Corso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Shot Change Detection 1/2Scopo: suddividere l’intero filmato in segmenti (shot)caratterizzati da una continuità dell’informazione video ecioè associati ad un’unica azione di ripresa.Effetti di editing e cambi di scenaØCutØDissolvenzeMetodo di combinazioneØ Logica all’unanimitàØ Logica ORØ Logica a maggioranza
    • Progettazione ed implementazione di un sistema per Facoltà di Ingegneria Corso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Shot Change Detection 2/2 2/2 Dominio Effetti Grado di Esperti Idea di base operativo rilevati decodifica Estrazione del coefficiente in continua, o transazioni coefficienti coefficiente DC, della trasformata discretaYeo et al. compresso brusche e della DCT del coseno dei pixel di ciascun blocco dei graduali frame MPEG. Analisi di macroblocchi omologhi, relativi a transazioni codifica deiPei et al. compresso frame consecutivi e confronto con opportuni brusche macroblocchi pattern. Estrazione del bit-rate e rilevazione dei cut transazioniFeng et al. compresso bit rate attraverso l’utilizzo di metriche differenti in brusche funzione del tipo di frame analizzato. Confronto tra le stime di moto relative a vettori di frame consecutivi. Individuazione di un cut transazioni moto ed qualora la somma delle distanze di motoBhandarkar compresso brusche errore di relativa a macroblocchi omologhi di frame predizione consecutivi sia superiore di una determinata soglia.
    • Progettazione ed implementazione di un sistema per Facoltà di Ingegneria Corso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Anchor Shot Detection 1/2Scopo: individuazione automatica degli shot riguardanti un anchorman delfilmato di telegiornale esaminato.Tecniche utilizzate basate su: Utilizzo delle informazioni video Utilizzo delle informazioni audio-video
    • Progettazione ed implementazione di un sistema per Facoltà di Ingegneria Corso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Anchor Shot Detection 2/2 2/2 Informazioni Modalità di classificazione utilizzate Processo di classificazione di tipo model-free basato su approccioBertini et video statistico e sull’utilizzo di feature di movimento per gli anchorperson.al. Calcolo del lifetime L(sk) per ogni shot Processo di classificazione di tipo model-free basato su quattro fasiGao e Tang video fondamentali: short shot processing, key frame extractor, GTC Analysis, post processing Determinazione di un unico template video, classificazione basata sulHanjalic et video livello di similarità grafica tra il template individuato e i restanti shot delal. video. Determinazione di un insieme di template audio/video per ogni occorrenza dell’anchorman in video. Classificazione effettuata in due fasi: 1. Classificazione video ricorrendo alla GTC analysis affiancata a filtraggiCLPR audio/video basati su lifetime, face detection e distanza temporale minima. 2. Classificazione audio, effettuata sugli shot scartati nella prima fase, basata sull’utilizzo di indici di similarità audio.
    • Progettazione ed implementazione di un sistema per Facoltà di Ingegneria Corso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Moduli News Extractor e Performance EvaluationModulo News Extractor: responsabile dell’individuazione delle notizie presenti neltelegiornale analizzato.Modulo Performance Evaluation: responsabiledell’analisi prestazionale degli algoritmi utilizzatidurante il processo di News Video SegmentationIndici prestazionali: cd cd precision = recall = cd + f cd + m 2 ⋅ precision ⋅ recall F= precision + recall
    • Progettazione ed implementazione di un sistema per Facoltà di Ingegneria Corso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Risultati Sperimentali 1/3Caratteristiche del database sperimentaleØ10 edizioni per un totale di 5 ore di filmati, circa 3000 shot e 160 anchor shotØTelegiornali selezionati su due emittenti (Rai 1 e Canale 5)Ø Modelli di telegiornali differenti (numero di anchorman e tipologie di ripresa video)Risultati per gli algoritmi di Shot Change Detection Hit False Missed Precision Recall F YEO et Al. 2513 260 483 0,906 0,839 0,871 PEI et Al. 2154 547 842 0,797 0,719 0,756 FEN et Al. 2005 935 991 0,682 0,669 0,675 BHA et Al. 1874 1291 1122 0,592 0,625 0,608 COMBINATA 2515 253 481 0,909 0,839 0,873
    • Progettazione ed implementazione di un sistema per Facoltà di Ingegneria Corso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Risultati Sperimentali 2/3Anchor Shot Detection su “cut esatti” Combinazione degli algoritmi di SCD-ASD Hit False Missed Precision Recall F Hit False Missed Precision Recall F YEO-CLPR 131 43 29 0,752 0,819 0,784CLPR 156 10 4 0,94 0,975 0,957 YEO-GAO 125 31 35 0,801 0,781 0,791 YEO-BER 118 48 42 0,711 0,737 0,724GAO 141 18 19 0,887 0,881 0,884 YEO-HAN 83 14 77 0,856 0,519 0,646 PEI-CLPR 100 44 60 0,694 0,625 0,658BER 140 13 20 0,915 0,875 0,895 PEI-GAO 104 40 56 0,722 0,65 0,684 PEI-BER 97 61 63 0,614 0,606 0,61HAN 102 9 58 0,919 0,637 0,753 PEI-HAN 60 15 100 0,8 0,375 0,511 FEN-CLPR 97 39 63 0,713 0,606 0,655 FEN-GAO 97 93 63 0,51 0,606 0,554 FEN-BER 89 39 71 0,659 0,556 0,618Intervallo di tolleranza per la FEN-HAN 77 27 83 0,74 0,481 0,583determinazione dell’anchor shot BHA-CLPR 101 38 59 0,727 0,631 0,676boundary BHA-GAO 95 58 65 0,621 0,594 0,607 BHA-BER 93 49 67 0,655 0,581 0,616 BHA-HAN 70 21 90 0,769 0,437 0,558 COMB-CLPR 131 30 29 0,8147 0,819 0,816 COMB-GAO 116 23 44 0,834 0,725 0,776 COMB-BER 115 21 45 0,846 0,719 0,777 COMB-HAN 87 12 73 0,879 0,544 0,672
    • Progettazione ed implementazione di un sistema per Facoltà di Ingegneria Corso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Risultati Sperimentali 3/3 3/3Determinazione del miglior algoritmo di SCD per un dato algoritmo di ASDDataset completo Dataset Ridotto Rai 1 Hit False Missed Precision Recall F Hit False Missed Precision Recall FCLPR-YEO 131 43 29 0,752 0,819 0,784 CLPR-YEO 75 13 8 0,852 0,904 0,877CLPR-PEI 100 44 60 0,694 0,625 0,658 CLPR-PEI 71 7 12 0,91 0,855 0,882CLPR-FEN 97 39 63 0,713 0,606 0,655 CLPR-FEN 68 3 15 0,958 0,819 0,883CLPR-BHA 101 38 59 0,727 0,631 0,676 CLPR-BHA 71 3 12 0,959 0,855 0,901CLPR-COMB 131 30 29 0,8147 0,819 0,816 CLPR-COMB 74 1 9 0,987 0,892 0,937GAO-YEO 125 31 35 0,801 0,781 0,791 GAO-YEO 73 6 10 0,924 0,879 0,901GAO-PEI 104 40 56 0,722 0,65 0,684 GAO-PEI 72 12 11 0,857 0,867 0,862GAO-FEN 97 93 63 0,51 0,606 0,554 GAO-FEN 65 37 18 0,637 0,783 0,703GAO-BHA 95 58 65 0,621 0,594 0,607 GAO-BHA 66 6 17 0,917 0,795 0,852GAO-COMB 116 23 44 0,834 0,725 0,776 GAO-COMB 69 6 14 0,92 0,831 0,873BER-YEO 119 48 41 0,712 0,744 0,728 BER-YEO 71 3 12 0,959 0,855 0,904BER-PEI 97 61 63 0,614 0,606 0,61 BER-PEI 68 4 15 0,944 0,819 0,877BER-FEN 89 39 71 0,659 0,556 0,618 BER-FEN 64 5 19 0,927 0,771 0,842BER-BHA 93 49 67 0,655 0,581 0,616 BER-BHA 61 4 22 0,938 0,735 0,824BER-COMB 115 21 45 0,846 0,719 0,777 BER-COMB 65 0 18 1 0,783 0,878HAN-YEO 83 14 77 0,856 0,519 0,646 HAN-YEO 61 6 22 0,91 0,735 0,813HAN-PEI 60 15 100 0,8 0,375 0,511 HAN-PEI 49 8 34 0,86 0,59 0,7HAN-FEN 77 27 83 0,74 0,481 0,583 HAN-FEN 54 8 29 0,871 0,651 0,745HAN-BHA 70 21 90 0,769 0,437 0,558 HAN-BHA 54 5 29 0,915 0,651 0,761HAN-COMB 87 12 73 0,879 0,544 0,672 HAN-COMB 57 5 26 0,919 0,687 0,786
    • Progettazione ed implementazione di un sistema perFacoltà di IngegneriaCorso di Studi in Ingegneria Informatica lestrazione automatica di notizie da filmati di telegiornali. Titolo della Tesi Conclusioni Tempi di esecuzione medi per tg della durata di 30 minuti YEO PEI FEN BHA BER GAO HAN CLPR Tempi Tempi 30 min. 35 min. 25 min. 30 min. 30 min. 40 min. 35 min. 70 min. medi mediTra gli algoritmi esaminati la coppia di algoritmi di SCD-ASD che consente diottenere prestazioni migliori indipendentemente dalla tipologia di telegiornaleesaminato è YEO-CLPR Sviluppi futuri Aggiungere alle implementazioni dei metodi di Pei e Bhandarkar la logica necessaria all’individuazione dei cambiamenti di scena graduale Introdurre strategie di combinazione anche per gli algoritmi di ASD in modo da migliorare le prestazioni complessive del sistema.