Campus Party - Computer Vision

Daniel Lélis Baggio [email_address] TORP – The Open Robot Project Módulo de Visão Computacional

Tópicos

O que é a visão computacional?

Como os computadores veem?

Filtros

OpenCV

Algoritmos

Segmentação por cor

Detecção de movimento por diferença absoluta

Classificadores: detecção de faces

Fluxo óptico

Estimativa de posição e rotação 3D

Leitura de caracteres

Módulo de visão computacional do TORP

Usos de visão computacional

Reconhecimento

Objetos, classes de objetos

Ex: Reconhecimento facial, veículos

Imagens médicas

IVUS, tomografia computacional

Visão estéreo

Detecção de movimento, tracking

Augmented Reality

Reconstrução de cenas: SLAM

SLAM – Simultaneous Localization and Mapping http://www.youtube.com/watch?v=bq5HZzGF3vQ

SLAM – Simultaneous Localization and Mapping

The Mobile Robot Programming Toolkit (MRPT) http://babel.isa.uma.es/mrpt/index.php/Main_Page

Visão Estéreo

Profundidade

Visão Estéreo

Profundidade

Visão Estéreo

Visão Estéreo – mapa de profundidade

Augmented Reality http://www.youtube.com/watch?v=enXTKvhE7yk

Tópicos

Filtros

OpenCV

Algoritmos

Fluxo óptico

O que é uma imagem?

Vetor 2d de pixels

Imagens binárias:

Pixels são bits

Imagens em tom de cinza:

Pixels são escalares

Imagens coloridas:

Pixels são vetores

A ordem pode variar (RGB, BGR, HSV, YUV)‏

Podem conter um canal alpha para sobreposições

Vetor 2d de pixels

Imagens binárias:

Pixels são bits

Imagens coloridas:

Pixels são vetores

Vetor 2d de pixels

Imagens binárias:

Pixels são bits

Imagens coloridas:

Pixels são vetores

Vetor 2d de pixels

Imagens binárias:

Pixels são bits

Imagens coloridas:

Pixels são vetores

Vetor 2d de pixels

Imagens binárias:

Pixels são bits

Imagens coloridas:

Pixels são vetores

Tópicos

Filtros

OpenCV

Algoritmos

Fluxo óptico

Imagens ruidosas e filtros: Gaussian Blur

Gaussian Blur

Blur simples (convolução 3x3): 1 2 1 2 4 2 1 2 1

Como filtrar uma imagem no GIMP?

Tópicos

Filtros

OpenCV

Algoritmos

Fluxo óptico

OpenCV

Biblioteca open source de visão computacional http://sourceforge.net/projects/opencvlibrary/

Desenvolvida e mantida pela Intel

Escrita em C e C++, roda em Linux, Windows e Mac OS X com interfaces para Python, Ruby, Matlab e outras linguagens. Otimizada para aplicações em tempo real (> 15 fps)‏

Prover infra-estrutura para aplicações de visão computacional de fácil utilização: mais de 500 funções

OpenCV

Composta por 4 sub-módulos:

CV Processamento de imagens Algoritmos de visão MLL Classificadores estatísticos Ferramentas de clusterização HighGUI GUI, entrada e saída de imagens e vídeos CXCore estruturas básicas e algoritmos, suporte a XML, funções de desenho

Tópicos

Filtros

OpenCV

Algoritmos

Fluxo óptico

Camshift - Continuously Adaptive Mean Shift Algorithm

Camshift

Demonstração

Onde encontrar o software?

Programas de demonstração da biblioteca OpenCv

/usr/local/share/opencv/samples/c/camshiftdemo

Tópicos

Filtros

OpenCV

Algoritmos

Fluxo óptico

Detecção de movimentos - Diferença absoluta

cvAbsDiff(frame1gray,frame2gray,result) cvShowImage("res",result) cvThreshold(result,result,30,255,CV_THRESH_BINARY) cvShowImage("res1",result)‏

Detecção de movimentos - Diferença absoluta Importante: desabilitar ganho automático da webcam

Tópicos

Filtros

OpenCV

Algoritmos

Fluxo óptico

Cascata de classificadores – Viola Jones

Detecção de feições

Face tracking

Features

Retângulos

Fáceis de serem calculados

Áreas brancas são subtraídas das áreas pretas

Integral Image – Representação especial que torna a extração da feature mais rápida

Cálculo das Features – Integral Image

Soma dos valores de cada pixel (x,y)‏

Pode ser rapidamente computada com somente uma passagem pela imagem

Cálculo das Features

Soma no interior de um Retângulo

Sejam A, B, C e D os valores dos retângulos considerando-se o canto superior esquerdo da imagem

Logo, a soma dos valores do retângulo ABCD é dada por:

SOMA = A – B – C + D

Somente três adições são necessárias para qualquer tamanho de retângulo!

AdaBoost: Super Efficient Features Selector

Classificadores fracos = Features

A cada iteração:

Calculam-se os valores de cada feature em cada exemplar

Ordenam-se os exemplares pelos valores dos features

Seleciona-se o melhor feature / threshold

Recalculam-se os pesos dos exemplar

Principais features identificadas

Classificador extremamente rápido (60 microinstruções)‏

Ajustado para detectar 100% das faces, com 40% de falsos positivos no primeiro estágio

Cascata de classificadores: visando tempo-real

Prioridade de rejeição de background nos estágios iniciais

Imagem em escala de cinza (8 bits), 320x240, 500 mil janelas

Tempo de deteção ~ 10ms (1 face) ~20 ms (nenhuma face)‏

25 estágios, 2912 features, menor janela 24x24

Otimizado para encontrar apenas a maior face

70% a 80% das janelas são rejeitadas nos 2 primeiros estágios

Pré processamento

Conversão para escala de cinza

cvCvtColor( img, cinza, CV_BGR2GRAY );

RGB[A]->Gray: Y<-0.299*R + 0.587*G + 0.114*B

Redimensionamento

cvResize( cinza, imagem_reduzida, CV_INTER_LINEAR );

Normalização de brilho

cvEqualizeHist( imagem_reduzida, imagem_reduzida );

1. calcular histograma H para src.

2. normalizar histograma, de forma que a soma seja 255.

3. computar a integral do histograma:

H’(i) = somatório0≤j≤iH(j)‏

4. transformar a imagem usando H’ como look-up table: dst(x,y)=H’(src(x,y))‏

Face Tracker

/usr/local/share/opencv/samples/c/facedetect

Tópicos

Filtros

OpenCV

Algoritmos

Fluxo óptico

Optical Flow

Objetivo: recuperar vetores de movimento aparente entre um par de imagens

Pode-se utilizar o algoritmo de Lucas-Kanade para verificar a velocidade de cada feição

Método diferencial de dois frames

I(x,y,z,t) = I(x + δx,y + δy,z + δz,t + δt)‏

Lucas-Kanade

Demostração do Lucas Kanade

/usr/local/share/opencv/samples/c/lkdemo

Tópicos

Filtros

OpenCV

Algoritmos

Fluxo óptico

POSIT: “Pose from Orthography and Scaling with Iteration”

Estimar posicionamento e rotação 3D de um objeto conhecido

POSIT - “Model-based object pose in 25 lines of code” D. DeMenthon and L. S. Davis

Solução iterativa para o problema de encontrar o vetor de translação e a matriz de rotação (6 graus de liberdade)‏

Supor inicialmente que todos os pontos têm a mesma profundidade

Solução de sistema linear super-determinado. Decomposição SVD e cálculo de pseudo-inversa

EHCI – Enhanced Human Computer Interaction

Utilização do algoritmo Posit para obter head tracking com 6 graus de liberdade

EHCI – Enhanced Human Computer Interaction

http://code.google.com/p/ehci/

Demonstração EHCI

Tópicos

Filtros

OpenCV

Algoritmos

Fluxo óptico

Reconhecimento de Caracteres - OCR

Bibliotecas:

OCR Opus http://code.google.com/p/ocropus/

Tesseract http://code.google.com/p/tesseract-ocr/

Reconhecimento de Caracteres - OCR

Tópicos

Filtros

OpenCV

Algoritmos

Fluxo óptico

Arquitetura de visão computacional do TORP

Instalação de drivers – UVC PWC

USB Video Device Class - Linux

http://linux-uvc.berlios.de/

Philips USB Webcam driver for Linux

http://www.saillard.org/linux/pwc/

Instalação dos drivers para Gumstix

http://www.theopenrobotproject.org/tiki-index.php?page=Installation+Instructions

V4L, V4L2: APIs para captura de vídeo para Linux

http://linuxtv.org/v4lwiki/index.php/Main_Page

Mjpeg streamer

Servidor http + obtenção frames UVC

./mjpg_streamer -o "output_http.so -w ./www"

http://sourceforge.net/projects/mjpg-streamer/

Referências

Gary Bradsky & Adrian Kaehler “Learning OpenCV”

D. DeMenthon and L. S. Davis “Model-based object pose in 25 lines of code”

Jean-Yves Bouguet. “Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm”

Referências

Rainer Lienhart and Jochen Maydt. “ An Extended Set of Haar-like Features for Rapid Object Detection.” Submitted to ICIP2002

Viola, P; Jones, M. “ Rapid Object Detection Using a Boosted Cascade of Simple Features – (2004)‏”

Alexander Kuranov, Rainer Lienhart, and Vadim Pisarevsky. “ An Empirical Analysis of Boosting Algorithms for Rapid Objects With an Extended Set of Haar-like Features” . Intel Technical Report MRL-TR-July02-01, 2002

Agradecimentos

Dúvidas, sugestões e contribuições