SlideShare a Scribd company logo
1 of 16
Badanie możliwości
crowdsourcingowej oceny jakości zdjęć
Michał Zajdel, Mikołaj Leszczuk
2016-06-29
Motywacja
» DEEP – automatyczne generowany portal
plotkarski
» Materiały pobierane z otwartych zasobów
WWW
Problem doboru wysokiej
jakości obrazów
» Możliwe obrazy o
niskiej jakości
» Konieczność filtracji
» Najczęstsze
artefakty:
– Artefakt blokowy
– Rozmycie
– Zły kontrast
– Szum
Artefakt blokowy
Rozmycie
Kontrast
Szum
Rozwiązanie?
» Własna biblioteka oceny
jakości obrazów
» Wieloplatformowa
implementacja
» Dostępna za darmo:
http://vq.kt.agh.edu.pl/
» Są metryki , ale…
» Brak poziomów
akceptowalności 
Rozwiązanie!
» Crowdsourcing:
– ang. crowd – tłum
– ang. sourcing –
pozyskiwanie,
zaopatrywanie się
» Outsourcing zadania do
niezidentyfikowanej,
bardzo szerokiej grupy
ludzi w formie open call
By Testbirds GmbH – Own work, CC BY-SA 4.0,
https://commons.wikimedia.org/w/index.php?curid=42514210
Proces przygotowania
eksperymentu crowdsourcingowego
» Cel: ustalenie poziomów alarmowych
» 8 SRC:
– Zdjęcia reprezentatywne dla scenariusza
– W=900 pikseli (większość wyświetlaczy)
» 51 HRC (obejmujący 4 artefakty z różnymi
poziomami)
» 408 PVS (wynikowo)
» 9 we wspólnym zbiorze treningowym
Interfejs i pytania w
eksperymencie crowdsourcingowym
Testerzy w eksperymencie
crowdsourcingowym
» 173 testerów:
– Projekty
– VQEG
– Sieci społecznościowe
» Kolejność:
– Ustalona we
wspólnym zbiorze
treningowym
– Reszta losowa
» 10 ocen/zdjęcie
Tylko
zalogowani
23%
Tylko
wspólny
zbiór
treningowy
24%
Użyteczne
oceny
53%
Wyniki eksperymentu
crowdsourcingowego (1/2)
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 10 20 30 40 50 60 70 80 90 100
Poziom artefaktu blokowego
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6 7 8 9 10
Poziom rozmycia
Wyniki eksperymentu
crowdsourcingowego (2/2)
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
-80 -70 -60 -50 -40 -30 -20 -10 0 10 20 30 40 50 60 70 80
Poziom kontrastu
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
2 3 4 5 6 7 8 9 10
Poziom szumu
Analiza wyników eksperymentu
crowdsourcingowego
77%
88%
75% 79%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Artefakt blokowy Rozmycie Kontrast Szum
Trafność predykcji alarmu
Dziękuję za uwagę!
Niniejsza praca jest finansowana przez Narodowe Centrum Badań i
Rozwoju, nr umowy E! II/PL-IL/10/01A/2012, w ramach programu
międzynarodowego EUREKA: Inteligentny system do archiwizowania,
analizowania oraz dokumentowania obiektów multimedialnych w sieci
Web i telewizji cyfrowej IPTV.

More Related Content

More from Mikolaj Leszczuk

Selected Aspects of the New Recommendation on Subjective Methods of Assessing...
Selected Aspects of the New Recommendation on Subjective Methods of Assessing...Selected Aspects of the New Recommendation on Subjective Methods of Assessing...
Selected Aspects of the New Recommendation on Subjective Methods of Assessing...Mikolaj Leszczuk
 
Survey on the State-Of-The-Art Methods for Objective Video Quality Assessment...
Survey on the State-Of-The-Art Methods for Objective Video Quality Assessment...Survey on the State-Of-The-Art Methods for Objective Video Quality Assessment...
Survey on the State-Of-The-Art Methods for Objective Video Quality Assessment...Mikolaj Leszczuk
 
Evaluation of Video Summarization
Evaluation of Video SummarizationEvaluation of Video Summarization
Evaluation of Video SummarizationMikolaj Leszczuk
 
Special Session on: Quality Assessment for Computer Vision and Immersive Medi...
Special Session on:Quality Assessment for Computer Vision and Immersive Medi...Special Session on:Quality Assessment for Computer Vision and Immersive Medi...
Special Session on: Quality Assessment for Computer Vision and Immersive Medi...Mikolaj Leszczuk
 
Self-Improving Sustainable Intelligent Transport System (ITS) Using Video Con...
Self-Improving Sustainable Intelligent Transport System (ITS) Using Video Con...Self-Improving Sustainable Intelligent Transport System (ITS) Using Video Con...
Self-Improving Sustainable Intelligent Transport System (ITS) Using Video Con...Mikolaj Leszczuk
 
#Paris Meeting 2018 - Presentation of @chist_era_AMIS
#Paris Meeting 2018 - Presentation of @chist_era_AMIS#Paris Meeting 2018 - Presentation of @chist_era_AMIS
#Paris Meeting 2018 - Presentation of @chist_era_AMISMikolaj Leszczuk
 
Spotkanie w VIII Prywatnym Akademickim Liceum Ogólnokształcącym
Spotkanie w VIII Prywatnym Akademickim Liceum OgólnokształcącymSpotkanie w VIII Prywatnym Akademickim Liceum Ogólnokształcącym
Spotkanie w VIII Prywatnym Akademickim Liceum OgólnokształcącymMikolaj Leszczuk
 
Prace naukowe prowadzone w Katedrze Telekomunikacji @AGH_Krakow
Prace naukowe prowadzone w Katedrze Telekomunikacji @AGH_KrakowPrace naukowe prowadzone w Katedrze Telekomunikacji @AGH_Krakow
Prace naukowe prowadzone w Katedrze Telekomunikacji @AGH_KrakowMikolaj Leszczuk
 
Infrastructure for High-Attendance, Simple Psychophysical Experiments
Infrastructure for High-Attendance, Simple Psychophysical ExperimentsInfrastructure for High-Attendance, Simple Psychophysical Experiments
Infrastructure for High-Attendance, Simple Psychophysical ExperimentsMikolaj Leszczuk
 
J. Imaging: Special Issue on Image Quality
J. Imaging: Special Issue on Image QualityJ. Imaging: Special Issue on Image Quality
J. Imaging: Special Issue on Image QualityMikolaj Leszczuk
 
Video summarization framework for newscasts and reports – work in progress
Video summarization framework for newscasts and reports – work in progressVideo summarization framework for newscasts and reports – work in progress
Video summarization framework for newscasts and reports – work in progressMikolaj Leszczuk
 
Visual Analytics of Smart City Data for Sustainable Quality of Life of Citizens
Visual Analytics of Smart City Data for Sustainable Quality of Life of CitizensVisual Analytics of Smart City Data for Sustainable Quality of Life of Citizens
Visual Analytics of Smart City Data for Sustainable Quality of Life of CitizensMikolaj Leszczuk
 
Automatic Extraction of Machine Tags in Flickr Service
Automatic Extraction of Machine Tags in Flickr ServiceAutomatic Extraction of Machine Tags in Flickr Service
Automatic Extraction of Machine Tags in Flickr ServiceMikolaj Leszczuk
 
Results on video summarization
Results on video summarizationResults on video summarization
Results on video summarizationMikolaj Leszczuk
 
Człowiek, ósma warstwa modelu ISO/OSI, jako element ekosystemu teleinformaty...
Człowiek, ósma warstwa modelu ISO/OSI, jako element ekosystemu teleinformaty...Człowiek, ósma warstwa modelu ISO/OSI, jako element ekosystemu teleinformaty...
Człowiek, ósma warstwa modelu ISO/OSI, jako element ekosystemu teleinformaty...Mikolaj Leszczuk
 
Badanie i implementacja aspektu QoE (ang. Quality of Experience) w aplikacjac...
Badanie i implementacja aspektu QoE (ang. Quality of Experience) w aplikacjac...Badanie i implementacja aspektu QoE (ang. Quality of Experience) w aplikacjac...
Badanie i implementacja aspektu QoE (ang. Quality of Experience) w aplikacjac...Mikolaj Leszczuk
 
Platforma do automatycznej, obiektywnej oceny jakości usług transmisji wideo
Platforma do automatycznej, obiektywnej oceny jakości usług transmisji wideoPlatforma do automatycznej, obiektywnej oceny jakości usług transmisji wideo
Platforma do automatycznej, obiektywnej oceny jakości usług transmisji wideoMikolaj Leszczuk
 
Modelling of Quality of Experience in No-Reference (NR) Model
Modelling of Quality of Experience in No-Reference (NR) ModelModelling of Quality of Experience in No-Reference (NR) Model
Modelling of Quality of Experience in No-Reference (NR) ModelMikolaj Leszczuk
 

More from Mikolaj Leszczuk (20)

Selected Aspects of the New Recommendation on Subjective Methods of Assessing...
Selected Aspects of the New Recommendation on Subjective Methods of Assessing...Selected Aspects of the New Recommendation on Subjective Methods of Assessing...
Selected Aspects of the New Recommendation on Subjective Methods of Assessing...
 
Survey on the State-Of-The-Art Methods for Objective Video Quality Assessment...
Survey on the State-Of-The-Art Methods for Objective Video Quality Assessment...Survey on the State-Of-The-Art Methods for Objective Video Quality Assessment...
Survey on the State-Of-The-Art Methods for Objective Video Quality Assessment...
 
#VQEG #QUADRIVIA 2020
#VQEG #QUADRIVIA 2020#VQEG #QUADRIVIA 2020
#VQEG #QUADRIVIA 2020
 
Evaluation of Video Summarization
Evaluation of Video SummarizationEvaluation of Video Summarization
Evaluation of Video Summarization
 
Special Session on: Quality Assessment for Computer Vision and Immersive Medi...
Special Session on:Quality Assessment for Computer Vision and Immersive Medi...Special Session on:Quality Assessment for Computer Vision and Immersive Medi...
Special Session on: Quality Assessment for Computer Vision and Immersive Medi...
 
Self-Improving Sustainable Intelligent Transport System (ITS) Using Video Con...
Self-Improving Sustainable Intelligent Transport System (ITS) Using Video Con...Self-Improving Sustainable Intelligent Transport System (ITS) Using Video Con...
Self-Improving Sustainable Intelligent Transport System (ITS) Using Video Con...
 
#Paris Meeting 2018 - Presentation of @chist_era_AMIS
#Paris Meeting 2018 - Presentation of @chist_era_AMIS#Paris Meeting 2018 - Presentation of @chist_era_AMIS
#Paris Meeting 2018 - Presentation of @chist_era_AMIS
 
Spotkanie w VIII Prywatnym Akademickim Liceum Ogólnokształcącym
Spotkanie w VIII Prywatnym Akademickim Liceum OgólnokształcącymSpotkanie w VIII Prywatnym Akademickim Liceum Ogólnokształcącym
Spotkanie w VIII Prywatnym Akademickim Liceum Ogólnokształcącym
 
QoE Research
QoE ResearchQoE Research
QoE Research
 
Prace naukowe prowadzone w Katedrze Telekomunikacji @AGH_Krakow
Prace naukowe prowadzone w Katedrze Telekomunikacji @AGH_KrakowPrace naukowe prowadzone w Katedrze Telekomunikacji @AGH_Krakow
Prace naukowe prowadzone w Katedrze Telekomunikacji @AGH_Krakow
 
Infrastructure for High-Attendance, Simple Psychophysical Experiments
Infrastructure for High-Attendance, Simple Psychophysical ExperimentsInfrastructure for High-Attendance, Simple Psychophysical Experiments
Infrastructure for High-Attendance, Simple Psychophysical Experiments
 
J. Imaging: Special Issue on Image Quality
J. Imaging: Special Issue on Image QualityJ. Imaging: Special Issue on Image Quality
J. Imaging: Special Issue on Image Quality
 
Video summarization framework for newscasts and reports – work in progress
Video summarization framework for newscasts and reports – work in progressVideo summarization framework for newscasts and reports – work in progress
Video summarization framework for newscasts and reports – work in progress
 
Visual Analytics of Smart City Data for Sustainable Quality of Life of Citizens
Visual Analytics of Smart City Data for Sustainable Quality of Life of CitizensVisual Analytics of Smart City Data for Sustainable Quality of Life of Citizens
Visual Analytics of Smart City Data for Sustainable Quality of Life of Citizens
 
Automatic Extraction of Machine Tags in Flickr Service
Automatic Extraction of Machine Tags in Flickr ServiceAutomatic Extraction of Machine Tags in Flickr Service
Automatic Extraction of Machine Tags in Flickr Service
 
Results on video summarization
Results on video summarizationResults on video summarization
Results on video summarization
 
Człowiek, ósma warstwa modelu ISO/OSI, jako element ekosystemu teleinformaty...
Człowiek, ósma warstwa modelu ISO/OSI, jako element ekosystemu teleinformaty...Człowiek, ósma warstwa modelu ISO/OSI, jako element ekosystemu teleinformaty...
Człowiek, ósma warstwa modelu ISO/OSI, jako element ekosystemu teleinformaty...
 
Badanie i implementacja aspektu QoE (ang. Quality of Experience) w aplikacjac...
Badanie i implementacja aspektu QoE (ang. Quality of Experience) w aplikacjac...Badanie i implementacja aspektu QoE (ang. Quality of Experience) w aplikacjac...
Badanie i implementacja aspektu QoE (ang. Quality of Experience) w aplikacjac...
 
Platforma do automatycznej, obiektywnej oceny jakości usług transmisji wideo
Platforma do automatycznej, obiektywnej oceny jakości usług transmisji wideoPlatforma do automatycznej, obiektywnej oceny jakości usług transmisji wideo
Platforma do automatycznej, obiektywnej oceny jakości usług transmisji wideo
 
Modelling of Quality of Experience in No-Reference (NR) Model
Modelling of Quality of Experience in No-Reference (NR) ModelModelling of Quality of Experience in No-Reference (NR) Model
Modelling of Quality of Experience in No-Reference (NR) Model
 

Badanie możliwości crowdsourcingowej oceny jakości zdjęć