Presentation SBRT 2009

  • 143 views
Uploaded on

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
143
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
0
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Um Sistema de Autentica¸c˜ao por Faces Usando Filtros de Correla¸c˜ao em V´ıdeos Jos´e F. L. de Oliveira Eduardo A. B. da Silva Manuel A. P. Cardoso Axel G. Hollanda jleite@lps.ufrj.br eduardo@lps.ufrj.br manuel@internext.com.br aghi@lps.ufrj.br XXVII Simp´osio Brasileiro de Telecomunica¸c˜oes Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 1:26
  • 2. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao 1 Introdu¸c˜ao Objetivos T´opicos Abordados 2 Sistema de Reconhecimento de Faces Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA 3 Discuss˜ao Resultados Conclus˜oes Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 2:26
  • 3. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Objetivos T´opicos Abordados Reconhecimento de Faces e Objetos Criar um sistema port´atil de reconhecimento de faces e objetos para deficientes visuais Implementar algoritmos estado-da-arte em reconhecimento de faces e objetos Avaliar os resultados em termos de desempenho Propor novos algoritmos e/ou m´etodos para melhorar o desempenho dos algoritmos testados Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 3:26
  • 4. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Objetivos T´opicos Abordados Sistema de Reconhecimento de Faces Detec¸c˜ao de faces: Viola-Jones Reconhecimento de faces Elastic Bunch Graph Matching – EBGM Class-dependence Feature Analysis – CFA Scale-invariant Feature Transform – SIFT Um sistema de reconhecimento VJ-CFA M´etodos e t´ecnicas desenvolvidos para aumentar confiabilidade do reconhecimento do sistema VJ-CFA Normaliza¸c˜ao da posi¸c˜ao da face com o aux´ılio do VJ Sele¸c˜ao das imagens de treinamento Interpreta¸c˜ao do vetor de picos de correla¸c˜ao Estabiliza¸c˜ao do vetor de picos de correla¸c˜ao Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 4:26
  • 5. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Viola-Jones Detec¸c˜ao ´e r´apida e eficiente. Baix´ıssima taxa de falsos positivos FAR – False Accept Rate Alt´ıssima taxa de verdadeiros positivos TAR – True Accept Rate A normaliza¸c˜ao da posi¸c˜ao ´e feita a partir do retˆangulo, fornecido pelo VJ, que cont´em a face Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 5:26
  • 6. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA CFA Implementa¸c˜ao simples (EBGM e SIFT complexas) Os filtros de correla¸c˜ao possuem forma anal´ıtica fechada Treinamento: h = T−1 X(XT T−1 X)−1 c (1) Identifica¸c˜ao: ˆc = ˆx · h (2) Processo de reconhecimento r´apido (EBGM e SIFT mais demorado) Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 6:26
  • 7. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA CFA: Treinamento I1 I2 IN Estágio de Registro . . . Imagens de Projeto do Filtro Algoritmo de Filtro de FFT Treinamento Correlação Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 7:26
  • 8. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA CFA: Identifica¸c˜ao Positiva Negativa Identificação Estágio de Reconhecimento Teste Imagem de FFT Correlação Filtros de Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 8:26
  • 9. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Diagrama de Blocos: Treinamento Câmera VJ Treinamento Detecção Detecção Armazenamento Normalização da Posição Imagens Imagens Armazenadas Atraso Seleção das CFA dos Filtros Obtenção Banco de Filtros de Correlação Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 9:26
  • 10. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Diagrama de Blocos: Identifica¸c˜ao Câmera VJ Reconhecimento Detecção Rejeitado Reconhecido Decisão Limiares Detecção Filtros de ClassificaçãoCFA Normalização da Posição Estabilização dos Picos Correlação Correlação Picos de Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 10:26
  • 11. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Normaliza¸c˜ao da Posi¸c˜ao: Problema De forma geral, os algoritmos usados para o reconhecimento (CFA) precisam normalizar a posi¸c˜ao e a ilumina¸c˜ao das faces Reduzir ao m´aximo a influˆencia, normalmente negativa, de suas varia¸c˜oes durante o reconhecimento A normaliza¸c˜ao da posi¸c˜ao de uma face emprega, usualmente, as coordenadas dos olhos por serem pontos de f´acil localiza¸c˜ao Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 11:26
  • 12. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Normaliza¸c˜ao da Posi¸c˜ao: Problema Uma vez que se tenha suas coordenadas, uma transla¸c˜ao seguida de uma transforma¸c˜ao de escala e rota¸c˜ao ´e o suficiente para normalizar a posi¸c˜ao Para imagens est´aticas, a localiza¸c˜ao n˜ao autom´atica destes pontos n˜ao representa um problema s´erio Na identifica¸c˜ao dinˆamica de imagens das faces geradas pela webcam, este procedimento n˜ao pode ser adotado na pr´atica Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 12:26
  • 13. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Normaliza¸c˜ao da Posi¸c˜ao: Solu¸c˜ao Para contornar este problema, o detector de Viola-Jones ´e utilizado para obter as coordenadas automaticamente O detector VJ determina as coordenadas aproximadas dos olhos As coordenadas dos olhos das imagens do banco de dados de treinamento s˜ao obtidas pelo mesmo processo O erro da aproxima¸c˜ao ´e parcialmente compensado Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 13:26
  • 14. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Sele¸c˜ao das Imagens de Treinamento: Problema Para se obter filtros que permitam um reconhecimento satisfat´orio, as imagens devem ser o mais representativas poss´ıvel para cada classe, ou seja, que as imagens correspondentes `a cada classe estejam, se poss´ıvel, em regi˜oes do RN sem interse¸c˜ao Na pr´atica, isto pode n˜ao ocorrer, como no caso de s´osias e gˆemeos, o que se pode fazer ´e tentar reduzir estas regi˜oes de interse¸c˜ao Ocorrˆencia de imagens muito semelhantes dentro de uma mesma classe: n˜ao representa um problema para o desempenho do reconhecimento, mas acarreta um aumento desnecess´ario do tempo de treinamento Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 14:26
  • 15. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Sele¸c˜ao das Imagens de Treinamento: Solu¸c˜ao Um m´etodo bem simples para reduzir estes problemas utiliza o ˆangulo entre duas imagens definido por cos(θ) = U · V |U||V| . (3) Seja θs o ˆangulo selecionado de separa¸c˜ao das imagens. Ent˜ao, se θ ≤ θs ⇒ imagens s˜ao semelhantes se θ > θs ⇒ imagens n˜ao s˜ao semelhantes. (4) Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 15:26
  • 16. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Sele¸c˜ao das Imagens de Treinamento: Solu¸c˜ao sθ θs Classe BClasse A Figura: Reduzindo a redundˆancia da lista de imagens de treinamento. Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 16:26
  • 17. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Sele¸c˜ao das Imagens de Treinamento: Solu¸c˜ao Classe BClasse A Figura: Reduzindo a redundˆancia da lista de imagens de treinamento. Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 17:26
  • 18. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Sele¸c˜ao das Imagens de Treinamento: Solu¸c˜ao Classe BClasse A Figura: Reduzindo a redundˆancia da lista de imagens de treinamento. Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 18:26
  • 19. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Interpreta¸c˜ao do Vetor de Picos de Correla¸c˜ao: Problema Pico de Correlação 1 2 3 6 7 10 11 12 ID954 8 1 ´E preciso definir o que ser´a considerado um pico de correla¸c˜ao significativo Sempre haver´a um m´aximo, mesmo que a face n˜ao esteja cadastrada ´e preciso fazer com que o mesmo corresponda a uma identifica¸c˜ao positiva est´avel e confi´avel Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 19:26
  • 20. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Interpreta¸c˜ao do Vetor de Picos de Correla¸c˜ao: Solu¸c˜ao Um contador, C, armazena quantas vezes seguidas o m´aximo principal, mp, recai sobre um determinado indiv´ıduo Se o indiv´ıduo muda ou se o m´aximo secund´ario, ms, ´e maior que o valor b, o contador ´e zerado Considera-se que h´a uma mudan¸ca de indiv´ıduo quando a detec¸c˜ao da face ´e interrompida Se ms ≤ a, considera-se que o indiv´ıduo foi identificado com um ´unico quadro Se a < ms ≤ b e C ≥ NF considera-se que o indiv´ıduo foi identificado ap´os NF ou mais quadros consecutivos Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 20:26
  • 21. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Interpreta¸c˜ao do Vetor de Picos de Correla¸c˜ao: Solu¸c˜ao Pico de Correlação 1 2 3 6 7 10 11 12 a b ID954 8 1 Máximo Secundário Máximo Primário Figura: Heur´ıstica para a identifica¸c˜ao de faces com CFA. Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 21:26
  • 22. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Estabiliza¸c˜ao do Vetor de Picos de Correla¸c˜ao: Problema Os m´aximos secund´arios, com valores acima do limiar b, do vetor de picos de correla¸c˜ao ocorrem aleatoriamente entre as classes Enquanto o m´aximo principal permanece est´avel Faz com que o contador C seja zerado freq¨uentemente Dificulta a identifica¸c˜ao do indiv´ıduo Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 22:26
  • 23. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Detec¸c˜ao de Faces Reconhecimento de Faces Um Sistema de Reconhecimento VJ-CFA M´etodos Desenvolvidos para o Sistema VJ-CFA Estabiliza¸c˜ao do Vetor de Picos de Correla¸c˜ao: Solu¸c˜ao Seja c[n] = [c0[n], c1[n], . . . , cj [n], . . . , cNC −1[n]] o vetor de picos de correla¸c˜ao para o quadro n Obter o pico de correla¸c˜ao, ¯cj [n], ao longo do tempo para cada indiv´ıduo do banco O vetor c[n − m], n ≥ m, ´e multiplicado por λm, λ < 1 Isto controla a influˆencia dos quadros passados sobre ¯c[n] ¯c[n] = NW −1 m=0 λmc[n − m] max j NW −1 m=0 λmc[n − m] , (5) Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 23:26
  • 24. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Resultados Conclus˜oes Sistema VJ-CFA Tabela: Tempo de treinamento Tt e de pr´e-processamento Tp em fun¸c˜ao do ˆangulo de separa¸c˜ao θs utilizado na otimiza¸c˜ao da lista de imagens de treinamento. NI (%) ´e o percentual do n´umero total de imagens dispon´ıvel para treinamento que foi efetivamente utilizado. θs(◦) Tp/T∗ p Tt/T∗ t Tp+t/T∗ p+t Tt/Tp NI (%) 0 0,14 1,00 1,00 39,19 100 45 1,00 0,21 0,39 1,13 57 50 0,81 0,13 0,27 0,84 45 55 0,62 0,07 0,18 0,61 35 60 0,45 0,03 0,11 0,56 24 65 0,31 0,01 0,07 0,20 13 O s´ımbolo“*”denota o valor m´aximo assumido pela vari´avel. Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 24:26
  • 25. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Resultados Conclus˜oes Desempenho do Sistema Os m´etodos desenvolvidos propiciaram: a utiliza¸c˜ao do detector de faces de Viola-Jones para obten¸c˜ao r´apida e autom´atica das coordenadas aproximadas dos olhos, permitindo a normaliza¸c˜ao autom´atica da posi¸c˜ao a redu¸c˜ao da redundˆancia do conjunto de treinamento, levando a uma redu¸c˜ao significativa do tempo de treinamento de cerca de 80%, sem impactar o reconhecimento a determina¸c˜ao da significˆancia de um pico de correla¸c˜ao, aumentando a confiabilidade da identifica¸c˜ao a estabiliza¸c˜ao do vetor de picos de correla¸c˜ao, permitindo, com isto, que a identifica¸c˜ao ficasse mais est´avel Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 25:26
  • 26. ITJRSC COPPE/Poli/UFRJ Sum´ario Introdu¸c˜ao Sistema de Reconhecimento de Faces Discuss˜ao Resultados Conclus˜oes Considera¸c˜oes Finais O sistema permanece funcional para posi¸c˜oes de face n˜ao frontais e com pequenas varia¸c˜oes na intensidade da ilumina¸c˜ao Mudan¸cas um pouco mais acentuadas na ilumina¸c˜ao (posi¸c˜ao da fonte de ilumina¸c˜ao) podem dificultar o reconhecimento ´E necess´ario retreinar os filtros de correla¸c˜ao para acomodar as novas varia¸c˜oes (aquisi¸c˜ao e treinamento) o que pode ser considerado uma desvantagem do uso do algoritmo CFA Trocar a cˆamera que fez a aquisi¸c˜ao das imagens de treinamento por outra de caracter´ısticas diferentes ´e um experimento que tamb´em precisa ser feito (o filtro continua funcional?) Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 26:26