Axel G. Hollanda - Masters Degree Presentation

395 views
329 views

Published on

Facial landmarks detection systems using correlation filters known as Inner Product Detectors (IPDs) have been used often for the search of isolated patterns over face images. These systems use high level information as decision criteria for pattern classification, such as prior probability distributions.
In this dissertation, we suggest the use of spatial similarities among the facial landmarks for the joint determination of these patterns. Two methods have been developed and applied over a combination of the early local detection systems. This resulted in a complex system under global landmark detection paradigm.
The first method explores the symmetry patterns among the several patterns output by the local detectors for different landmarks. The other one explores graph matching for global landmark representation.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
395
On SlideShare
0
From Embeds
0
Number of Embeds
9
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Axel G. Hollanda - Masters Degree Presentation

  1. 1. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da FaceRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Detec¸˜o de Pontos Fiduciais Faciais usando ca Filtros de Correla¸˜o e Correspondˆncias Espaciais ca e Axel Guimar˜es Hollanda a Programa de Engenharia El´trica - COPPE/PEE/UFRJ e Orientador: Eduardo Antˆnio Barros da Silva o 2 de mar¸o de 2011 c Axel Guimar˜es Hollanda a p. 1 / 79
  2. 2. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da FaceRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos 1 Introdu¸˜o ca 2 Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca 3 Explorando as Simetrias da Face 4 Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca 5 Desempenhos DPI-GRAPH x DPI-SIM 6 Conclus˜o a Axel Guimar˜es Hollanda a p. 2 / 79
  3. 3. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face Pontos Fiduciais FaciaisRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜es co Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Pontos Fiduciais Faciais Pontos Fiduciais Faciais (PFFs) marcam caracter´ ısticas salientes da face como: Cantos dos olhos, pupila; Axel Guimar˜es Hollanda a p. 3 / 79
  4. 4. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face Pontos Fiduciais FaciaisRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜es co Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Pontos Fiduciais Faciais Pontos Fiduciais Faciais (PFFs) marcam caracter´ ısticas salientes da face como: Cantos dos olhos, pupila; Cantos e ponta do nariz; Axel Guimar˜es Hollanda a p. 3 / 79
  5. 5. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face Pontos Fiduciais FaciaisRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜es co Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Pontos Fiduciais Faciais Pontos Fiduciais Faciais (PFFs) marcam caracter´ ısticas salientes da face como: Cantos dos olhos, pupila; Cantos e ponta do nariz; Cantos da boca; Axel Guimar˜es Hollanda a p. 3 / 79
  6. 6. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face Pontos Fiduciais FaciaisRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜es co Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Pontos Fiduciais Faciais Pontos Fiduciais Faciais (PFFs) marcam caracter´ ısticas salientes da face como: Cantos dos olhos, pupila; Cantos e ponta do nariz; Cantos da boca; Etc. Axel Guimar˜es Hollanda a p. 3 / 79
  7. 7. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face Pontos Fiduciais FaciaisRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜es co Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Pontos Fiduciais Faciais Pontos Fiduciais Faciais (PFFs) marcam caracter´ ısticas salientes da face como: Cantos dos olhos, pupila; Cantos e ponta do nariz; Cantos da boca; Etc. Axel Guimar˜es Hollanda a p. 3 / 79
  8. 8. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face Pontos Fiduciais FaciaisRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜es co Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Aplica¸˜es usando detec¸˜o de pontos fiduciais co ca Detec¸˜o autom´tica de faces ca a Reconhecimento de faces para acesso Axel Guimar˜es Hollanda a p. 4 / 79
  9. 9. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face Pontos Fiduciais FaciaisRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜es co Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Aplica¸˜es usando detec¸˜o de pontos fiduciais co ca Detec¸˜o autom´tica de faces ca a Reconhecimento de faces para acesso Reconhecimento de faces para seguran¸a c Axel Guimar˜es Hollanda a p. 4 / 79
  10. 10. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face Pontos Fiduciais FaciaisRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜es co Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Aplica¸˜es usando detec¸˜o de pontos fiduciais co ca Detec¸˜o autom´tica de faces ca a Reconhecimento de faces para acesso Reconhecimento de faces para seguran¸a c Reconhecimento de emo¸˜es e express˜es co o Axel Guimar˜es Hollanda a p. 4 / 79
  11. 11. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face Pontos Fiduciais FaciaisRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜es co Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Aplica¸˜es usando detec¸˜o de pontos fiduciais co ca Detec¸˜o autom´tica de faces ca a Reconhecimento de faces para acesso Reconhecimento de faces para seguran¸a c Reconhecimento de emo¸˜es e express˜es co o Rastreamento de faces em v´ ıdeo Axel Guimar˜es Hollanda a p. 4 / 79
  12. 12. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face Pontos Fiduciais FaciaisRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜es co Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Aplica¸˜es usando detec¸˜o de pontos fiduciais co ca Detec¸˜o autom´tica de faces ca a Reconhecimento de faces para acesso Reconhecimento de faces para seguran¸a c Reconhecimento de emo¸˜es e express˜es co o Rastreamento de faces em v´ ıdeo Axel Guimar˜es Hollanda a p. 4 / 79
  13. 13. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Detector por Produto Interno (DPI) Caracter´ ısticas b´sicas: a correla¸˜o como m´trica de similaridade ca e discrimina¸˜o de padr˜es atrav´s de um produto interno ca o e Axel Guimar˜es Hollanda a p. 5 / 79
  14. 14. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Detector por Produto Interno (DPI) Caracter´ ısticas b´sicas: a correla¸˜o como m´trica de similaridade ca e discrimina¸˜o de padr˜es atrav´s de um produto interno ca o e O DPI ´ um vetor h tal que: e Seja uma vari´vel aleat´ria X cujas realiza¸˜es xj perten¸am `s classes Ai , a o co c a i = 1, ..., N: < X , hAi >= c ( 1 X ∈ Ai c= 0 X ∈ Ai / Axel Guimar˜es Hollanda a p. 5 / 79
  15. 15. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Detector por Produto Interno (DPI) Caracter´ ısticas b´sicas: a correla¸˜o como m´trica de similaridade ca e discrimina¸˜o de padr˜es atrav´s de um produto interno ca o e O DPI ´ um vetor h tal que: e Seja uma vari´vel aleat´ria X cujas realiza¸˜es xj perten¸am `s classes Ai , a o co c a i = 1, ..., N: < X , hAi >= c ( 1 X ∈ Ai c= 0 X ∈ Ai / Axel Guimar˜es Hollanda a p. 5 / 79
  16. 16. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos DPI Uniclasse Projetado de modo a minimizar o erro m´dio quadr´tico de classifica¸˜o e a ca O projeto de um DPI para discriminar uma classe Sejam i = 1, . . . , N classes Ai e uma classe B contendo demais padr˜es: o ( N )−1 X hAi = p(B)RB + pn RAn pi µAi n=1 Axel Guimar˜es Hollanda a p. 6 / 79
  17. 17. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos DPI Multiclasses Flex´ ıvel: detec¸˜o de m´ltiplas classes atrav´s de um s´ filtro ca u e o O projeto de um DPI para discriminar m´ltiplas classes u Seja A um subconjunto de classes com M das N classes de Ai com M < N: ( N )−1 M X X hA = p(B)RB + pn RAn pm µAm n=1 m=1 Axel Guimar˜es Hollanda a p. 7 / 79
  18. 18. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos DPI-PCA: o DPI com An´lise de Componentes Principais a (PCA) Extra¸˜o de caracter´ ca ısticas em blocos de imagens centradas em pontos fiduciais Componentes principais: eigenpoints Axel Guimar˜es Hollanda a p. 8 / 79
  19. 19. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos DPI-PCA: o DPI com An´lise de Componentes Principais a (PCA) Extra¸˜o de caracter´ ca ısticas em blocos de imagens centradas em pontos fiduciais Componentes principais: eigenpoints Axel Guimar˜es Hollanda a p. 8 / 79
  20. 20. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos DPI-PCA: o DPI com An´lise de Componentes Principais a (PCA) Extra¸˜o de caracter´ ca ısticas em blocos de imagens centradas em pontos fiduciais Componentes principais: eigenpoints Axel Guimar˜es Hollanda a p. 8 / 79
  21. 21. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Sistema de Detec¸˜o Local de PFFs via DPI-PCA ca N .. 3 2 1 Imagens de Prova Pré−processamento AdaBoost Pós−processamento + DPI−PCA REP Axel Guimar˜es Hollanda a p. 9 / 79
  22. 22. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Pr´-processamento e Redu¸˜o do Espa¸o de busca (REP) e ca c Enquadramento da face via Viola-Jones Reescalonamento da imagem (220x220) Imagens de Prova Pré−processamento + REP Axel Guimar˜es Hollanda a p. 10 / 79
  23. 23. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Pr´-processamento e Redu¸˜o do Espa¸o de busca (REP) e ca c Enquadramento da face via Viola-Jones Reescalonamento da imagem (220x220) Corre¸˜o de ilumina¸˜o ca ca Imagens de Prova Pré−processamento + REP Axel Guimar˜es Hollanda a p. 10 / 79
  24. 24. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Pr´-processamento e Redu¸˜o do Espa¸o de busca (REP) e ca c Enquadramento da face via Viola-Jones Reescalonamento da imagem (220x220) Corre¸˜o de ilumina¸˜o ca ca Imagens de Redu¸˜o do Espa¸o de Busca: ca c Prova constru¸˜o da ROI ca Pré−processamento + REP Axel Guimar˜es Hollanda a p. 10 / 79
  25. 25. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Pr´-processamento e Redu¸˜o do Espa¸o de busca (REP) e ca c Enquadramento da face via Viola-Jones Reescalonamento da imagem (220x220) Corre¸˜o de ilumina¸˜o ca ca Imagens de Redu¸˜o do Espa¸o de Busca: ca c Prova constru¸˜o da ROI ca Pré−processamento + REP Axel Guimar˜es Hollanda a p. 10 / 79
  26. 26. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Aplica¸˜o do bloco DPI-PCA na ROI de um PFF ca N .. 3 Aplica¸˜o dos N DPIs ca 2 {hΦ1 , . . . , hΦN } 1 N eigenpoints: ordem de m´xima variˆncia a a DPI−PCA Axel Guimar˜es Hollanda a p. 11 / 79
  27. 27. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Aplica¸˜o do AdaBoost ca N .. 3 2 1 Separa¸˜o das classes de ca positivos e negativos p´s-DPI-PCA o AdaBoost Axel Guimar˜es Hollanda a p. 12 / 79
  28. 28. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Sistemas de Detec¸˜o Local de PFFs via DPI-PCA ca N N .. .. 3 3 2 2 1 1 Imagens Imagens de de Prova Prova Pré−processamento DPI−PCA AdaBoost Pós−processamento Pré−processamento DPI−PCA AdaBoost Pós−processamento N .. 3 2 1 Imagens de Prova Pré−processamento DPI−PCA AdaBoost Pós−processamento Axel Guimar˜es Hollanda a p. 13 / 79
  29. 29. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos DPI-PCA: marca¸˜es de Sabino e Araujo co Figura: Marca¸˜es de Sabino e Araujo: 11 pontos fiduciais faciais L(l), co l = 0, . . . , 10. Bases FERET e BioID. Axel Guimar˜es Hollanda a p. 14 / 79
  30. 30. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos Sistema de Detec¸˜o Local DPI-PCA para um PFF =⇒ ca Subsistema DPI-PCA N .. 3 2 1 Imagens de Prova Pré−processamento AdaBoost Pós−processamento + DPI−PCA REP Axel Guimar˜es Hollanda a p. 15 / 79
  31. 31. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos DPI-PCA: sa´ ıdas sem p´s-processamento o Figura: Problemas: ordem e espalhamento das nuvens do DPI Axel Guimar˜es Hollanda a p. 16 / 79
  32. 32. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos DPI-PCA: local =⇒ global DPI-PCA: decis˜es locais via o distribui¸˜o de probabilidade ca Desafio: como utilizar correspondˆncias espaciais nas e nuvens para eleger de forma global os 11 PFFs? Axel Guimar˜es Hollanda a p. 17 / 79
  33. 33. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos DPI-PCA: local =⇒ global DPI-PCA: decis˜es locais via o distribui¸˜o de probabilidade ca Desafio: como utilizar correspondˆncias espaciais nas e nuvens para eleger de forma global os 11 PFFs? Duas propostas: DPI-SIM e DPI-GRAPH Axel Guimar˜es Hollanda a p. 17 / 79
  34. 34. Sum´rio a Introdu¸˜o ca Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Explorando as Simetrias da Face O Detector por Produto Interno (DPI)Representa¸˜o Global de Pontos Fiduciais da Face por Grafos ca Sistema de Detec¸˜o Local de Pontos Fiduciais usando DPIs ca Desempenhos DPI-GRAPH x DPI-SIM Conclus˜o a Agradecimentos DPI-PCA: local =⇒ global DPI-PCA: decis˜es locais via o distribui¸˜o de probabilidade ca Desafio: como utilizar correspondˆncias espaciais nas e nuvens para eleger de forma global os 11 PFFs? Duas propostas: DPI-SIM e DPI-GRAPH Axel Guimar˜es Hollanda a p. 17 / 79
  35. 35. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos M´todo DPI-SIM: descri¸˜o e ca Associada a cada PFF L(l), l = 0, 1, ..., 10, h´ uma nuvem de landmarks candidatos a N (l) = {ν 1 (l), ν 2 (l), ..., ν Nl (l)}; PFFs do olho direito: l = 0, 1, 2; PFFs do olho esquerdo: l = 3, 4, 5; PFFs do nariz: l = 6, 7, 8; PFFs da boca: l = 9, 10. Axel Guimar˜es Hollanda a p. 18 / 79
  36. 36. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos M´todo DPI-SIM: descri¸˜o e ca Associada a cada PFF L(l), l = 0, 1, ..., 10, h´ uma nuvem de landmarks candidatos a N (l) = {ν 1 (l), ν 2 (l), ..., ν Nl (l)}; PFFs do olho direito: l = 0, 1, 2; PFFs do olho esquerdo: l = 3, 4, 5; PFFs do nariz: l = 6, 7, 8; PFFs da boca: l = 9, 10. Axel Guimar˜es Hollanda a p. 18 / 79
  37. 37. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos M´todo DPI-SIM: descri¸˜o e ca N .. 3 2 1 Imagens de Prova Pré−processamento DPI−PCA AdaBoost N .. 3 2 1 Imagens de Prova Pré−processamento DPI−PCA AdaBoost DPI−SIM . . . . . . . . N .. 3 2 1 Imagens de Prova Pré−processamento DPI−PCA AdaBoost Axel Guimar˜es Hollanda a p. 19 / 79
  38. 38. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos M´todo DPI-SIM: descri¸˜o e ca Busca de eixos de simetria na regi˜o dos olhos, nariz e boca a partir das a nuvens do DPI Aplica¸˜o de regras de cunho heur´ ca ıstico para a elei¸˜o par a par de PFFs ca sim´tricos entre si e Axel Guimar˜es Hollanda a p. 20 / 79
  39. 39. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos M´todo DPI-SIM: descri¸˜o e ca Busca de eixos de simetria na regi˜o dos olhos, nariz e boca a partir das a nuvens do DPI Aplica¸˜o de regras de cunho heur´ ca ıstico para a elei¸˜o par a par de PFFs ca sim´tricos entre si e Axel Guimar˜es Hollanda a p. 20 / 79
  40. 40. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos Eixos de Simetria: constru¸˜o ca (o) (o) Buscando uma reta y = βx x + γx Sejam {x0 , ..., x5 } e {y0 , ..., y5 } os conjuntos de abscissas e ordenadas referentes `s medianas vetoriais dos elementos das nuvens a de L(0) a L(5). Via MMQ fazemos: 2 3 2 3 x0 1 y0 iT 6. .7 . 5 b = 6 . 7 x = βx h (o) (o) A=4.. . 4.5 . γx x5 1 y5 “ ”−1 x = AT A AT b Axel Guimar˜es Hollanda a p. 21 / 79
  41. 41. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos Eixos de Simetria: constru¸˜o ca Definindo o eixo de simetria bilateral (o) (o) De posse dos parˆmetros βx e γx que definem a reta longitudinal a na regi˜o dos olhos, de forma direta fazemos: a π „ “ ” « (o) (o) βy = tan arctan βx − 2 x0 + x1 + · · · + x5 y0 + y1 + · · · + y5 „ « (o) (o) γy =− βy + 6 6 Axel Guimar˜es Hollanda a p. 22 / 79
  42. 42. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos Eixos de Simetria: ajuste pela regi˜o dos olhos a Maior estabilidade e confiabilidade dos eixos de simetria tomados a partir da regi˜o dos olhos a Axel Guimar˜es Hollanda a p. 23 / 79
  43. 43. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos Treinamento do m´todo DPI-SIM e Levantamento de assimetrias em cada par sim´trico de PFFs a partir das marca¸˜es e co de Sabino e Araujo Base BioID: 503 imagens frontais de faces Axel Guimar˜es Hollanda a p. 24 / 79
  44. 44. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos Treinamento do m´todo DPI-SIM e Levantamento de assimetrias em cada par sim´trico de PFFs a partir das marca¸˜es e co de Sabino e Araujo Base BioID: 503 imagens frontais de faces Base FERET: 1988 imagens frontais de faces Axel Guimar˜es Hollanda a p. 24 / 79
  45. 45. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos Treinamento do m´todo DPI-SIM e Levantamento de assimetrias em cada par sim´trico de PFFs a partir das marca¸˜es e co de Sabino e Araujo Base BioID: 503 imagens frontais de faces Base FERET: 1988 imagens frontais de faces 7 parti¸˜es por base para valida¸˜o co ca cruzada do tipo k-fold Axel Guimar˜es Hollanda a p. 24 / 79
  46. 46. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos Treinamento do m´todo DPI-SIM e Levantamento de assimetrias em cada par sim´trico de PFFs a partir das marca¸˜es e co de Sabino e Araujo Base BioID: 503 imagens frontais de faces Base FERET: 1988 imagens frontais de faces 7 parti¸˜es por base para valida¸˜o co ca cruzada do tipo k-fold Axel Guimar˜es Hollanda a p. 24 / 79
  47. 47. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos Registro de Assimetrias entre Pares Sim´tricos de PFFs e Convers˜o de base dos elementos das nuvens a x O Convers˜o de L(l) = (xl , yl ) e L(s) = (xs , ys ) para a base a y dos eixos de simetria: » – 1 0 1) Q = 0 −1 y’ x’ O’ Axel Guimar˜es Hollanda a p. 25 / 79
  48. 48. Sum´rio a Introdu¸˜o ca M´todo DPI-SIM e Detec¸˜o de Pontos Fiduciais usando Filtros de Correla¸˜o ca ca Eixos de Simetria Explorando as Simetrias da Face Treinamento do DPI-SIMRepresenta¸˜o Global de Pontos Fiduciais da Face por Grafos ca Aplica¸˜o do DPI-SIM ca Desempenhos DPI-GRAPH x DPI-SIM Resultados do DPI-SIM Conclus˜o a Agradecimentos Registro de Assimetrias entre Pares Sim´tricos de PFFs e Convers˜o de base dos elementos das nuvens a Convers˜o de L(l) = (xl , yl ) e L(s) = (xs , ys ) para a base a dos eixos de simetria: » – 1 0 1) Q = 0 −1 2 “ “ ”” “ “ ”” 3 (o) (o) cos arctan βx sin arctan βx 2) P = 4 “ “ (o) ”” “ “ (o) ””5 − sin arctan βx cos arctan βx Axel Guimar˜es Hollanda a p. 25 / 79

×