PAN 2013 presentation
•
0 likes•1,065 views
Presentation - Image feature detection and matching benchmark. Given in Polish Academy of Science in 2013.
Recommended
More Related Content
Featured
Featured (20)
PAN 2013 presentation
- 1. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detekcja, deskrypcja i dopasowanie cech punktowych na obrazach Politechnika Poznańska Instytut Automatyki i Inżynierii Informatycznej 29 listopada 2013 Detekcja, deskrypcja i dopasowanie cech punktowych...
- 2. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Plan prezentacji Cel i motywacja 1 Wstęp Plan prezentacji Cel i motywacja 2 Detektory cech Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB 3 Deskryptory cech Deskryptor cech SIFT Rodzina deskryptorów SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK 4 Opis eksperymentu 5 Wyniki 6 Wnioski Detekcja, deskrypcja i dopasowanie cech punktowych...
- 3. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Plan prezentacji Cel i motywacja Cel wielokryterialna ocena detektorów i deskryptorów obrazowych cech punktowych na potrzeby nawigacji robotycznej Motywacja detekcja i dopasowanie cech punktowych jest istotnym etapem wielu algorytmów wizji maszynowej najnowsze osiągnięcia w dziedzinie wizji maszynowej obejmują m. in. opracowanie szybkich i dokładnych algorytmów detekcji i dopasowania cech nowo opracowane algorytmy testowane są głównie na wzorcowych sekwencjach obrazów testowych, natomiast opracowania zawierające analizę właściwości par detektor-deskryptor w konkretnych aplikacjach są rzadkością Detekcja, deskrypcja i dopasowanie cech punktowych...
- 4. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektor cech Harrisa i Shi-Tomasi detekcja cech na podstawie analizy lokalnej funkcji autokorelacji sygnału wykorzystuje tzw. tensor strukturalny A A = u v w(p, q) I2 x Ix Iy Ix Iy I2 y (1) Mc−H = det(A) − κ(trace(A)2 ) (2) Mc−S−T = min(|λ1|, |λ2|) (3) Detekcja, deskrypcja i dopasowanie cech punktowych...
- 5. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektor cech FAST jesli n pikseli tworzących ciągły łuk jest jaśniejszych niż piksel środkowy p o przynajmniej t lub ciemniejszych o przynajmniej t, to piksel p spełnia tzw. test segmentu kolejność wykonaywania testu na poszczególnych pikselach jest optymalizowana algorytmem ID3 do dokładnego ustalenia lokalizacji cechy konieczne jest przeprowadzenie tłumienia niemaksymalnego p 1 2 3 4 5 6 7 8910 11 12 13 14 15 16 Detekcja, deskrypcja i dopasowanie cech punktowych...
- 6. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektor cech SIFT jako cechy oznaczane są lokalne minima i maksima w dyskretnej przestrzeni powstającej przez zastosowanie funkcji DoG w przestrzeni skali, na wygładzonych i przeskalowanych obrazach cechy zbyt słabe i leżące wzdłuż krawędzi sa odrzucane w celu dokładnego zlokalizowania cech trzeba wykonać interpolację Detekcja, deskrypcja i dopasowanie cech punktowych...
- 7. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektor cech SURF detektor wieloskalowy wykorzystujący aproksymację detektora jednolitych obszarów (blob) opartego o Hesjan za pomocą falek Haara aproksymacje oparte o falki Haara można wyznaczać bardzo szybko niezależnie od skali wykorzystując obrazy całkowe przestrzeń skali konstruowana jest przez skalowanie maski filtru w celu dokładnego zlokalizowania cech trzeba wykonać interpolację Detekcja, deskrypcja i dopasowanie cech punktowych...
- 8. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektor cech STAR detektor wieloskalowy wykrozystywany w algorytmie CenSurE dwupoziomowa aproksymacja filtru LoG umożliwia osiągnięcie pełnej rozdzielczości przestrzennej w detektorze wieloskalowym wyznaczanie odpowiedzi filtrów na podstawie obrazu całkowego przestrzeń skali jest tworzona przez stosowanie filtrów o róznych rozmiarach Detekcja, deskrypcja i dopasowanie cech punktowych...
- 9. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Detektor cech Harrisa i Shi-Tomasi Detektor cech FAST Detektor cech SIFT Detektor cech SURF Detektor cech STAR Detektory cech BRISK i ORB Detektory cech BRISK i ORB BRISK i ORB do detekcji cech wykorzystują wieloskalowy wariant detektora FAST ORB dla wykonania tłumienia niemaksymalnego oblicza dodatkowo funkcję punktującą z algorytmu Harrisa ponieważ przestrzeń skali konstruowana jest przez skalowanie obrazów w celu dokładnego zlokalizowania cech trzeba wykonać interpolację przestrzeń skali jest tworzona przez stosowanie filtrów o róznych rozmiarach Detekcja, deskrypcja i dopasowanie cech punktowych...
- 10. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorów SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech SIFT opisywane otoczenie dzieli się na podobszary, w których wyznacza się gradienty deskryptor tworzą histogramy gradientów z 16 podobszarów cechom przyporządkowana jest dominująca orientacja (36-kubełkowy histogram gradientów) Detekcja, deskrypcja i dopasowanie cech punktowych...
- 11. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorów SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Rodzina deskryptorów SURF deskryptory zawierają informację o rozkładzie jasności pikseli w otoczeniu wykrytej cechy w odpowiadającej jej skali wykorzystanie aproksymacji falek Haara i obrazów całkowych umożliwia szybkie wyznaczanie deskryptora odporność na rotację w osi kamery uzyskiwana przez przypisanie dominującej orientacji Detekcja, deskrypcja i dopasowanie cech punktowych...
- 12. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorów SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech BRIEF deskryptor ma postać wektora binarnego, więc miara dopasowania jest odległość Hamminga składowe deskryptora tworzone są na podstawie wyników porównań jasności pikseli w sąsiedztwie cechy – jedno porównanie dla każdej ze składowych 512-bitowego wektora pary punktów do porównania losowane są zgodnie z rozkładem Gaussa Detekcja, deskrypcja i dopasowanie cech punktowych...
- 13. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorów SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech BRIEF deskryptor ma postać wektora binarnego, więc miara dopasowania jest odległość Hamminga składowe deskryptora tworzone są na podstawie wyników porównań jasności pikseli w sąsiedztwie cechy – jedno porównanie dla każdej ze składowych 512-bitowego wektora pary punktów do porównania losowane są zgodnie z rozkładem Gaussa Detekcja, deskrypcja i dopasowanie cech punktowych...
- 14. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorów SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech BRIEF deskryptor ma postać wektora binarnego, więc miara dopasowania jest odległość Hamminga składowe deskryptora tworzone są na podstawie wyników porównań jasności pikseli w sąsiedztwie cechy – jedno porównanie dla każdej ze składowych 512-bitowego wektora pary punktów do porównania losowane są zgodnie z rozkładem Gaussa Detekcja, deskrypcja i dopasowanie cech punktowych...
- 15. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorów SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech ORB rozszerzenie podstawowej koncepcji deksryptora BRIEF odporność na rotację dzięki obracaniu całego zestawu testów binarnych zgodnie z orientacją cechy próbkowanie losowe zastąpiono próbkowaniem wypracowanym przez algorytm uczenia maszynowego, co umożliwiło polepszenie rozróżnialności cech przez eliminację testów mających najmniejszy wpływ na proces dopasowania dominująca orientacja przyporządkowana jest przez wyznaczenie kierunku do środka ciężkości obliczanego z funkcji obrazowej w otoczeniu cechy Detekcja, deskrypcja i dopasowanie cech punktowych...
- 16. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorów SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech BRISK kolejne rozszerzenie koncepcji deskryptora BRIEF orientacja cechy określana jest przez sumowanie gradientów w dla naprzeciwległych par punktów peryferyjnych i wybór gradientu dominującego próbkowanie losowe zastąpiono próbkowaniem według określonego, regularnego wzorca Detekcja, deskrypcja i dopasowanie cech punktowych...
- 17. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Deskryptor cech SIFT Rodzina deskryptorów SURF Deskryptor cech BRIEF Deskryptor cech ORB Deskryptor cech BRISK Deskryptor cech FREAK Deskryptor cech FREAK kolejne rozszerzenie koncepcji deskryptora BRIEF orientacja cechy określana jest przez sumowanie gradientów w dla wybranych par punktów i wybór gradientu dominującego próbkowanie losowe zastąpiono próbkowaniem wzorowanym na rozwiązaniach biologicznych najistotniejsze testy binarne wykonywane są jako pierwsze – szybsze odrzucanie cech podczas dopasowania Detekcja, deskrypcja i dopasowanie cech punktowych...
- 18. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Dane testowe Zbiór obrazów testowych The Robot Data Set zawiera 60 scen każda sekwencja obejmuje rejestrację obrazu ze 119 różnych pozycji za pomoca kamery umocowanej do manipulatora robota przemysłowego 119 pozycji składa się na 4 trajektorie: 3 kątowe ze stałą odległością od sceny i 1 liniowej, w której kierunek przemieszczania się kamery jest stały dostępne dane kalibracyjne kamery Detekcja, deskrypcja i dopasowanie cech punktowych...
- 19. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Przykładowe obrazy Detekcja, deskrypcja i dopasowanie cech punktowych...
- 20. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Trajektorie kamery Detekcja, deskrypcja i dopasowanie cech punktowych...
- 21. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski (wczytuję plik video...) Detekcja, deskrypcja i dopasowanie cech punktowych...
- 22. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Informacje ogólne współrzędne cech poddane zostały korekcji – usunięto zniekształcenia oraz uwzględniono kalibrację kamery przy dopasowaniu cech wykonywano pełne, krzyżowe dopasowanie cech z dwóch obrazów przetestowano wszystkie pary detektor-deskryptor wykorzystano implementacje algorytmów zawarte w bibliotece OpenCV 2.6.4 ze standardowymi nastawami Detekcja, deskrypcja i dopasowanie cech punktowych...
- 23. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 1 – wpływ przemieszczenia kamery na działanie par detektor-deskryptor dla każdej z testowanych par obrazów obliczano ze znanych parametrów przekształcenia (względnej rotacji i translacji) macierz zasadniczą dla każdej ze sprawdzanych par punktów obliczano symetryczny błąd reprojekcji jeśli wartość błędu mieściła się poniże założonego progu, dopasowanie pary cech uznawane było za prawidłowe stosunek liczby prawidłowych dopasowań do liczby wszystkich dopasowań a także jego zmiany pod wpływem przemieszczenia kamery jest wskaźnikiem jakości dopasowań Detekcja, deskrypcja i dopasowanie cech punktowych...
- 24. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 2 – wpływ przemieszczenia kamery na dokładność rekonstrukcji względnej orientacji na podstawie zbioru dopasowań uznanych za prawidłowe wyznaczana była macierz zasadnicza z dekopozycji macierzy zasadniczej obliczano macierz względnej rotacji wskaźnikiem jakości dopasowań jest różnica między orientacją rzeczywistą, a określoną na podstawie zbioru dopasowań Detekcja, deskrypcja i dopasowanie cech punktowych...
- 25. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 1 – łuk 1 Detekcja, deskrypcja i dopasowanie cech punktowych...
- 26. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 1 – łuk 2 Detekcja, deskrypcja i dopasowanie cech punktowych...
- 27. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 1 – łuk 3 Detekcja, deskrypcja i dopasowanie cech punktowych...
- 28. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 1 – najazd Detekcja, deskrypcja i dopasowanie cech punktowych...
- 29. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 2 – łuk 1 Detekcja, deskrypcja i dopasowanie cech punktowych...
- 30. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 2 – łuk 2 Detekcja, deskrypcja i dopasowanie cech punktowych...
- 31. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Eksperyment 2 – łuk 3 Detekcja, deskrypcja i dopasowanie cech punktowych...
- 32. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski Wnioski zabiegi mające na celu osiągnięcie odporności na zmianę skali i obrót cech nie zawsze usprawiedliwiają dodatkowy koszt obliczeniowy z tym związany nie można do końca polegać na wynikach uzyskanych na typowych danych testowych – wyniki uzyskiwane w docelowej aplikacji mogą znacząco się od nich różnić Detekcja, deskrypcja i dopasowanie cech punktowych...
- 33. Wstęp Detektory cech Deskryptory cech Opis eksperymentu Wyniki Wnioski DZIĘKUJĘ ZA UWAGĘ Detekcja, deskrypcja i dopasowanie cech punktowych...