Evaluation of Video Summarization

•Download as PPTX, PDF•

0 likes•201 views

Mikolaj Leszczuk

“Evaluation of Video Summarization” Mikołaj Leszczuk, Lucjan Janowski

Science

Videos Images
Documents
Automatic
Summarization

Multimedia Content
Translation (from
Arabic) and
Summarization

Video Translation and
Summarisation
● We need a shorter version of news
● Processing:
TranslationSpeech Text Summary

Different Architectures (SCenarios) for
Summarizing Video to Target Language

How to Evaluate (Compare) Video
Summarization Algorithms?

Experiment Assumptions
» Subjective crowdsourcing test:
colleagues, students, other target groups
» Absolute Category Rating (ACR), only for
relative SCenario comparison
» 9 SRCs, 4 HRCs (SCenarios), 36 PVSs
» 1 base SCR/test (9 PVSs/test)
» ~1 min/PVS, 10 min/test

SRC/HRC/PVS Matrix
SRC1 SRC2 SRC3 SRC4 SRC5 SRC6 SRC7 SRC8 SRC9
HRC1
(SC1)
PVS1.1 PVS2.1 PVS3.1 PVS4.1 PVS5.1 PVS6.1 PVS7.1 PVS8.1 PVS9.1
HRC1
(SC2)
PVS1.2 PVS2.2 PVS3.2 PVS4.2 PVS5.2 PVS6.2 PVS7.2 PVS8.2 PVS9.2
HRC1
(SC3)
PVS1.3 PVS2.3 PVS3.3 PVS4.3 PVS5.3 PVS6.3 PVS7.3 PVS8.3 PVS9.3
HRC1
(SC4)
PVS1.4 PVS2.4 PVS3.4 PVS4.4 PVS5.4 PVS6.4 PVS7.4 PVS8.4 PVS9.4

SRC/HRC/PVS Matrix
Tester 1
SRC1 SRC2 SRC3 SRC4 SRC5 SRC6 SRC7 SRC8 SRC9
HRC1
(SC1)
PVS1.1 PVS2.1 PVS3.1 PVS4.1 PVS5.1 PVS6.1 PVS7.1 PVS8.1 PVS9.1
HRC1
(SC2)
PVS1.2 PVS2.2 PVS3.2 PVS4.2 PVS5.2 PVS6.2 PVS7.2 PVS8.2 PVS9.2
HRC1
(SC3)
PVS1.3 PVS2.3 PVS3.3 PVS4.3 PVS5.3 PVS6.3 PVS7.3 PVS8.3 PVS9.3
HRC1
(SC4)
PVS1.4 PVS2.4 PVS3.4 PVS4.4 PVS5.4 PVS6.4 PVS7.4 PVS8.4 PVS9.4

SRC/HRC/PVS Matrix
Tester 1, Tester 2
SRC1 SRC2 SRC3 SRC4 SRC5 SRC6 SRC7 SRC8 SRC9
HRC1
(SC1)
PVS1.1 PVS2.1 PVS3.1 PVS4.1 PVS5.1 PVS6.1 PVS7.1 PVS8.1 PVS9.1
HRC1
(SC2)
PVS1.2 PVS2.2 PVS3.2 PVS4.2 PVS5.2 PVS6.2 PVS7.2 PVS8.2 PVS9.2
HRC1
(SC3)
PVS1.3 PVS2.3 PVS3.3 PVS4.3 PVS5.3 PVS6.3 PVS7.3 PVS8.3 PVS9.3
HRC1
(SC4)
PVS1.4 PVS2.4 PVS3.4 PVS4.4 PVS5.4 PVS6.4 PVS7.4 PVS8.4 PVS9.4

Entering Test System Including
Arabic Mother Tongue Check

Assessing Quality
(TBD: Crowdsourcing Check)

Request for Participation
» Link: http://amis.kt.agh.edu.pl
» Please:
» Find 10 min to help us
» Circulate link among colleagues,
students, etc.
» Deadline: 2 weeks (end of October 2019)

Mikolaj Leszczuk

J. Imaging: Special Issue on Image Quality

Mikolaj Leszczuk

This paper presents a framework for summarization for newscasts and reports, that is a part of an ongoing research towards multilingual opinion analysis system conducted under the CHIST-ERA project “Access Multilingual Information opinionS” (AMIS). We present the results of qualitative analysis of newscast and reports published in the Internet by leading English, French and Arabic TV channels. We show the method used for creation of a database that contains 300 hours of such content on controversial topics. Finally, we show the design and operation of our summarization framework. The framework is designed in such a way, that it allows for easy experimentation with different approaches to video summarization. The description is followed by a presentation of high- and low-level metadata extraction algorithms that include detection of the anchorperson, recognition of day and night shots and extraction of low-level video quality indicators.

Video summarization framework for newscasts and reports – work in progress

Mikolaj Leszczuk

The improvement of Quality of Life (QoL) concerns every citizen. Fostering and applying research domains in advanced acquisition, modelling and visual analysis tools will support cities’ deciders in taking informed QoL improvement decisions on (partially) uncertain big data. We acknowledge a challenge in the scalability of complexity ranging from an expert’s view to a naive citizen’s understanding of (potentially unpopular) QoL decisions that we will tackle by new approaches to open big data network acquisition, multidimensional and multidisciplinary transformation of data, extraction of decision relevant data and its associated reliability, followed by appropriate visualisation aided by a data-aware digital assistant.

Visual Analytics of Smart City Data for Sustainable Quality of Life of Citizens

Mikolaj Leszczuk

Automatic Extraction of Machine Tags in Flickr Service

Mikolaj Leszczuk

Rozpowszechnienie się dostępu szerokopasmowego, postęp technologiczny i zmniejszenie kosztów operacyjnych popchnęły przemysł IT, telekomunikacji, mediów i rozrywkowi w fazę wielkich i ciągłych zmian. Ponieważ branże te zbiegają się, tworzą też one przestrzeń, w której siedem warstw technologicznych modelu ISO/OSI, spotyka “warstwę ósmą”: człowieka, dla którego w rzeczywistości wszystkie te technologie zostały stworzone. Możemy nazwać to miejsce: Ekosystemem cyfrowym. Ten wschodzący cyfrowy ekosystem generuje wiele możliwości tworzenia wartości społecznej i gospodarczej, jak również staje się zagrożeniem i wyzwaniem dla użytkowników i polityki rządów. Tak, jak każdy zdrowy ekosystem pozwala jej podmiotom na współpracę z korzyścią dla wszystkich, tak zdrowy cyfrowy ekosystem będzie umożliwiał jego uczestnikom tworzenie i dostarczanie wartości ekonomicznych dla dobrobytu społeczeństwa. W przedmiocie tym skupiamy się na wciąż niepewnych wartościach, takich jak wzmocnienie pozycji użytkownika, struktura rynku, regulacje rynku, prawa własności intelektualnej, bezpieczeństwo i prywatność. Ekosystem cyfrowy formuje się wraz z konsolidacją przemysłu informatyki, telekomunikacji, mediów i rozrywki; użytkownicy ewoluują od zwykłych konsumentów do aktywnych uczestników ekosystemu, a rządy ścierają się z problematyką polityki nadzoru. Uczestnicy cyfrowego ekosystemu kwestionują jego kształt i rozmiar. Są świadomi swoich wzajemnych zależności niezbędnych do umożliwienia ekosystemowi cyfrowemu rozwoju w zdrowym środowisku, zarazem tworząc dodatnią wartość ekonomiczną i dobrobyt społeczeństwa.

Człowiek, ósma warstwa modelu ISO/OSI, jako element ekosystemu teleinformaty...

Mikolaj Leszczuk

Zapewnianie nie tylko wysokiego poziomu tradycyjnej jakości usług (ang. Quality of Service, QoS), ale także jakości doświadczanej (ang. Quality of Experience, QoE) jest wyzwaniem dla dostawców usług internetowych, usług audiowizualnych, nadawców oraz nowych dostawców usług Over-The-Top (OTT). W celu monitorowania i rozwiązywania problemów, a także analizowania i ustanawiania wzorców jakości dla aplikacji treści pracujących w czasie rzeczywistym lub offline często są realizowane obiektywne metryki treści audiowizualnych. Od 2000 roku prace związanie z pojęciem QoE w kontekstach różnych aplikacji nabrały tempa i zyskały szerokie uznanie biznesowe. Roboczą definicję QoE podaje biała księga sieci QUALINET: „QUALINET White Paper on QoE Definitions” z 2012 roku: „Quality of Experience (QoE) jest stopniem zadowolenia lub irytacji użytkownika aplikacji lub usługi. QoE wynika z realizacji oczekiwań użytkownika względem użyteczności i/lub zadowolenia z aplikacji lub usługi w świetle aktualnych preferencji użytkownika.”

Badanie i implementacja aspektu QoE (ang. Quality of Experience) w aplikacjac...

Mikolaj Leszczuk

Stworzona platforma jest uniwersalnym systemem metryk jakości wizyjnej, możliwym do użycia w procesie monitorowania jakości usług transmisji wideo, m.in. w scenariuszu bezpieczeństwa publicznego. W rozważanym w scenariuszu istnieje potrzeba oceny jakości z punktu widzenia użytkownika końcowego (ang. Quality of Experience, QoE). Taki pomiar wymaga uruchomienia odpowiednich metryk dla sekwencji wizyjnych, które ogląda wspomniany użytkownik. Dlatego też, z względu na charakterystykę scenariusza, stworzone metryki działają w modelu bez-referencyjnym (ang. No-Reference, NR) oraz na poziomie pikseli, a nie pakietów – co jest innowacyjną cechą wynalazku.

Platforma do automatycznej, obiektywnej oceny jakości usług transmisji wideo

Mikolaj Leszczuk

The key objective of No-Reference (NR) visual metrics is to predict the end-user experience concerning remotely delivered video content. Rapidly increasing demand for easily accessible, high quality video material makes it crucial for service providers to test the user experience without the need for comparison with reference material. Nevertheless, the QoE measurement is not enough. The information about the source or error is very important as well. Therefore the described system is based on calculating numerous different NR indicators which are combined in order to provide the overall quality score. We described more quality indicators than are used in the QoE calculation since some of them detects specific errors. Such specific errors are difficult to include in a global QoE model but are important from the operation point of view.

Modelling of Quality of Experience in No-Reference (NR) Model

Mikolaj Leszczuk

With the development of the Internet and satellite television, access to thousands of programs and messages in different languages became widespread. Unfortunately, even well educated people do not speak sufficiently more than two or three foreign languages, while most know only one, and this significantly limits the access to this information. In this paper, we define requirements for an automated system for Accessing Multilingual Information and opinionS (AMIS) that will help in the understanding of multimedia content transmitted in different languages, with simultaneous comparison to counterparts in their native language user. The concept of understanding we use will provide access to any information, regardless of the language in which it is presented. We believe that the AMIS project can have a immense and positive impact on the integration and awareness of society in social and cultural terms.

Definition of Requirements for Accessing Multilingual Information and Opinions

Mikolaj Leszczuk

W artykule zaprezentowano wyniki badań nad rozpoznawaniem numerów autobusów i tramwajów w warunkach rzeczywistych i przy użyciu urządzeń mobilnych. Celem ww. badań było opracowanie skutecznych narzędzi wspomagających osoby z upośledzeniem wzroku w korzystaniu ze środków komunikacji miejskiej. Spośród wielu różnych analizowany podejść, w artykule zaprezentowane jedynie to, na którym oparto końcowy rezultat przeprowadzonych prac, tj. aplikację mobilną dedykowaną dla tej kategorii osób. Podejście to obejmuje dwie, wybrane techniki przetwarzania obrazów, bazujące odpowiednio na metodzie Haar-Like [7] oraz filtracji kolorów. W artykule przedstawiono szczegóły obu metod oraz zaprezentowano rezultaty testów nad ich zastosowaniem do rozpoznawania numerów linii. Szczegóły implementacji ww. aplikacji mobilnej również zostały przedstawione, a efektywność jej działania została podsumowana i poddana ocenie.

Aplikacja mobilna do rozpoznawania numerów linii komunikacji miejskiej

Mikolaj Leszczuk

More from Mikolaj Leszczuk (20)

Selected Aspects of the New Recommendation on Subjective Methods of Assessing...

Survey on the State-Of-The-Art Methods for Objective Video Quality Assessment...

#VQEG #QUADRIVIA 2020

Special Session on:Quality Assessment for Computer Vision and Immersive Medi...

Self-Improving Sustainable Intelligent Transport System (ITS) Using Video Con...

#Paris Meeting 2018 - Presentation of @chist_era_AMIS

Spotkanie w VIII Prywatnym Akademickim Liceum Ogólnokształcącym

QoE Research

Prace naukowe prowadzone w Katedrze Telekomunikacji @AGH_Krakow

Infrastructure for High-Attendance, Simple Psychophysical Experiments

J. Imaging: Special Issue on Image Quality

Video summarization framework for newscasts and reports – work in progress

Visual Analytics of Smart City Data for Sustainable Quality of Life of Citizens

Automatic Extraction of Machine Tags in Flickr Service

Człowiek, ósma warstwa modelu ISO/OSI, jako element ekosystemu teleinformaty...

Badanie i implementacja aspektu QoE (ang. Quality of Experience) w aplikacjac...

Platforma do automatycznej, obiektywnej oceny jakości usług transmisji wideo

Modelling of Quality of Experience in No-Reference (NR) Model

Definition of Requirements for Accessing Multilingual Information and Opinions

Aplikacja mobilna do rozpoznawania numerów linii komunikacji miejskiej

Recently uploaded

www.whatsapp.com+917728919243 HOT & SEXY MODELS // COLLEGE GIRLS AVAILABLE FOR COMPLETE ENJOYMENT WITH HIGH PROFILE INDIAN MODEL AVAILABLE HOTEL & HOME ★ SAFE AND SECURE HIGH CLASS SERVICE AFFORDABLE RATE SATISFACTION,UNLIMITED ENJOYMENT. ★ All Meetings are confidential and no information is provided to any one at any cost. ★ EXCLUSIVE PROFILes Are Safe and Consensual with Most Limits Respected ★ Service Available In: - HOME *Star Hotel Service .In Call & Out call SeRvIcEs : ★ A-Level ★ Strip-tease ★ BBBJ (Bareback Blowjob)Receive advanced sexual techniques in different mode make their life more pleasurable. ★ Spending time in hotel rooms ★ BJ (Blowjob Without a Condom) ★ Completion (Oral to completion) ★ Covered (Covered blowjob Without a Condom)

Call Girls Ahmedabad +917728919243 call me Independent Escort Service

shivanisharma5244

Digital Dentistry.Digital Dentistryvv.pptx

MohamedFarag457087

PODOCARPUS...........................pptx

Cherry

FS P2 COMBO MSTA LAST PUSH past exam papers.

takadzanijustinmaime

Genome Projects : Human, Rice,Wheat,E coli and Arabidopsis.

Cherry

Module for Grade 9 for Asynchronous/Distance learning

levieagacer

Human & Veterinary Respiratory Physilogy_DR.E.Muralinath_Associate Professor....

muralinath2

Theoretical predictions and observational data indicate a class of sub-Neptune exoplanets may have water-rich interiors covered by hydrogen-dominated atmospheres. Provided suitable climate conditions, such planets could host surface liquid oceans. Motivated by recent JWST observations of K2-18 b, we self-consistently model the photochemistry and potential detectability of biogenic sulfur gases in the atmospheres of temperate sub-Neptune waterworlds for the first time. On Earth today, organic sulfur compounds produced by marine biota are rapidly destroyed by photochemical processes before they can accumulate to significant levels. Domagal-Goldman et al. suggest that detectable biogenic sulfur signatures could emerge in Archean-like atmospheres with higher biological production or low UV flux. In this study, we explore biogenic sulfur across a wide range of biological fluxes and stellar UV environments. Critically, the main photochemical sinks are absent on the nightside of tidally locked planets. To address this, we further perform experiments with a 3D general circulation model and a 2D photochemical model (VULCAN 2D) to simulate the global distribution of biogenic gases to investigate their terminator concentrations as seen via transmission spectroscopy. Our models indicate that biogenic sulfur gases can rise to potentially detectable levels on hydrogen-rich water worlds, but only for enhanced global biosulfur flux (20 times modern Earth’s flux). We find that it is challenging to identify DMS at 3.4 μm where it strongly overlaps with CH4, whereas it is more plausible to detect DMS and companion byproducts, ethylene (C2H4) and ethane (C2H6), in the mid-infrared between 9 and 13 μm. Unified Astronomy Thesaurus concepts: Exoplanet atmospheres (487); Exoplanet

Biogenic Sulfur Gases as Biosignatures on Temperate Sub-Neptune Waterworlds

Sérgio Sacani

Site specific recombination and transposition.........pdf

Cherry

Role of AI in seed science Predictive modelling and Beyond.pptx

Arvind Kumar

Thyroid Physiology_Dr.E. Muralinath_ Associate Professor

muralinath2

Pteris : features, anatomy, morphology and lifecycle

Cherry

Selaginella: features, morphology ,anatomy and reproduction.

Cherry

FAIRSpectra - Enabling the FAIRification of Spectroscopy and Spectrometry

Alex Henderson

Cyathodium bryophyte: morphology, anatomy, reproduction etc.

Cherry

Marine and terrestrial biogeochemical models are key components of the Earth System Models (ESMs) used toproject future environmental changes. However, their slow adjustment time also hinders effective use of ESMsbecause of the enormous computational resources required to integrate them to a pre-industrial equilibrium. Here,a solution to this "spin-up" problem based on "sequence acceleration", is shown to accelerate equilibration of state-of-the-art marine biogeochemical models by over an order of magnitude. The technique can be applied in a "blackbox" fashion to existing models. Even under the challenging spin-up protocols used for Intergovernmental Panelon Climate Change (IPCC) simulations, this algorithm is 5 times faster. Preliminary results suggest that terrestrialmodels can be similarly accelerated, enabling a quantification of major parametric uncertainties in ESMs, improvedestimates of metrics such as climate sensitivity, and higher model resolution than currently feasible.

Efficient spin-up of Earth System Models usingsequence acceleration

Sérgio Sacani

Factory Acceptance Test( FAT).pptx .

Poonam Aher Patil

CURRENT SCENARIO OF POULTRY PRODUCTION IN INDIA

Dr. TATHAGAT KHOBRAGADE

CYTOGENETIC MAP................ ppt.pptx

Cherry

Reboulia: features, anatomy, morphology etc.

Cherry

Recently uploaded (20)

Call Girls Ahmedabad +917728919243 call me Independent Escort Service

Digital Dentistry.Digital Dentistryvv.pptx

PODOCARPUS...........................pptx

FS P2 COMBO MSTA LAST PUSH past exam papers.

Genome Projects : Human, Rice,Wheat,E coli and Arabidopsis.

Module for Grade 9 for Asynchronous/Distance learning

Human & Veterinary Respiratory Physilogy_DR.E.Muralinath_Associate Professor....

Biogenic Sulfur Gases as Biosignatures on Temperate Sub-Neptune Waterworlds

Site specific recombination and transposition.........pdf

Role of AI in seed science Predictive modelling and Beyond.pptx

Thyroid Physiology_Dr.E. Muralinath_ Associate Professor

Pteris : features, anatomy, morphology and lifecycle

Selaginella: features, morphology ,anatomy and reproduction.

FAIRSpectra - Enabling the FAIRification of Spectroscopy and Spectrometry

Cyathodium bryophyte: morphology, anatomy, reproduction etc.

Efficient spin-up of Earth System Models usingsequence acceleration

Factory Acceptance Test( FAT).pptx .

CURRENT SCENARIO OF POULTRY PRODUCTION IN INDIA

CYTOGENETIC MAP................ ppt.pptx

Reboulia: features, anatomy, morphology etc.

Evaluation of Video Summarization

1. “Evaluation of Video Summarization” Mikołaj Leszczuk, Lucjan Janowski October 2019

2. Infobesity

3. Videos Images Documents Automatic Summarization

4. Multimedia Content Translation (from Arabic) and Summarization

5. Video Translation and Summarisation ● We need a shorter version of news ● Processing: TranslationSpeech Text Summary

6. Different Architectures (SCenarios) for Summarizing Video to Target Language

7. How to Evaluate (Compare) Video Summarization Algorithms?

8. Experiment Assumptions » Subjective crowdsourcing test: colleagues, students, other target groups » Absolute Category Rating (ACR), only for relative SCenario comparison » 9 SRCs, 4 HRCs (SCenarios), 36 PVSs » 1 base SCR/test (9 PVSs/test) » ~1 min/PVS, 10 min/test

9. SRC/HRC/PVS Matrix SRC1 SRC2 SRC3 SRC4 SRC5 SRC6 SRC7 SRC8 SRC9 HRC1 (SC1) PVS1.1 PVS2.1 PVS3.1 PVS4.1 PVS5.1 PVS6.1 PVS7.1 PVS8.1 PVS9.1 HRC1 (SC2) PVS1.2 PVS2.2 PVS3.2 PVS4.2 PVS5.2 PVS6.2 PVS7.2 PVS8.2 PVS9.2 HRC1 (SC3) PVS1.3 PVS2.3 PVS3.3 PVS4.3 PVS5.3 PVS6.3 PVS7.3 PVS8.3 PVS9.3 HRC1 (SC4) PVS1.4 PVS2.4 PVS3.4 PVS4.4 PVS5.4 PVS6.4 PVS7.4 PVS8.4 PVS9.4

10. SRC/HRC/PVS Matrix Tester 1 SRC1 SRC2 SRC3 SRC4 SRC5 SRC6 SRC7 SRC8 SRC9 HRC1 (SC1) PVS1.1 PVS2.1 PVS3.1 PVS4.1 PVS5.1 PVS6.1 PVS7.1 PVS8.1 PVS9.1 HRC1 (SC2) PVS1.2 PVS2.2 PVS3.2 PVS4.2 PVS5.2 PVS6.2 PVS7.2 PVS8.2 PVS9.2 HRC1 (SC3) PVS1.3 PVS2.3 PVS3.3 PVS4.3 PVS5.3 PVS6.3 PVS7.3 PVS8.3 PVS9.3 HRC1 (SC4) PVS1.4 PVS2.4 PVS3.4 PVS4.4 PVS5.4 PVS6.4 PVS7.4 PVS8.4 PVS9.4

11. SRC/HRC/PVS Matrix Tester 1, Tester 2 SRC1 SRC2 SRC3 SRC4 SRC5 SRC6 SRC7 SRC8 SRC9 HRC1 (SC1) PVS1.1 PVS2.1 PVS3.1 PVS4.1 PVS5.1 PVS6.1 PVS7.1 PVS8.1 PVS9.1 HRC1 (SC2) PVS1.2 PVS2.2 PVS3.2 PVS4.2 PVS5.2 PVS6.2 PVS7.2 PVS8.2 PVS9.2 HRC1 (SC3) PVS1.3 PVS2.3 PVS3.3 PVS4.3 PVS5.3 PVS6.3 PVS7.3 PVS8.3 PVS9.3 HRC1 (SC4) PVS1.4 PVS2.4 PVS3.4 PVS4.4 PVS5.4 PVS6.4 PVS7.4 PVS8.4 PVS9.4

12. Entering Test System Including Arabic Mother Tongue Check

13. Starting Test

14. “Chillout” Screen

15. Test Material (Video) Presentation

16. Assessing Quality (TBD: Crowdsourcing Check)

17. Request for Participation » Link: http://amis.kt.agh.edu.pl » Please: » Find 10 min to help us » Circulate link among colleagues, students, etc. » Deadline: 2 weeks (end of October 2019)

Evaluation of Video Summarization

Recommended

Recommended

More Related Content

Similar to Evaluation of Video Summarization

Similar to Evaluation of Video Summarization (14)

More from Mikolaj Leszczuk

More from Mikolaj Leszczuk (20)

Recently uploaded

Recently uploaded (20)

Evaluation of Video Summarization