SlideShare a Scribd company logo
1 of 41
Download to read offline
Sinopsis
   Aspectos Generales
   Estructura General
       Trabajo Futuro
          Referencias




An´lisis Autom´tico de Video
  a           a

      Marcos Z´niga Barraza
              u˜

      Departamento de Telem´tica
                           a


          26 de Marzo 2009




                                   1/40
Sinopsis
                       Aspectos Generales
                       Estructura General
                           Trabajo Futuro
                              Referencias


Sinopsis


      Aspectos Generales del An´lisis de Video
                               a
  1
        Motivaci´n
                 o
        Aplicaciones

      Estructura General de una Aplicaci´n de An´lisis de Video
                                        o       a
  2
        Segmentaci´n de Movimiento
                   o
        Modelamiento y Clasificaci´n de Objetos
                                 o
        Seguimiento de Objetos
        Reconocimiento y Aprendizaje de Eventos

      Trabajo Futuro
  3




                                                                  2/40
Sinopsis
                      Aspectos Generales
                                            Motivaci´n
                                                     o
                      Estructura General
                                            Aplicaciones
                          Trabajo Futuro
                             Referencias


Aspectos Generales del An´lisis de Video
                         a


  Visi´n por Computador (Computer Vision)
      o
  ´
  Area de la Inteligencia Artificial centrada en el procesamiento y
  an´lisis de la informaci´n obtenida a trav´s medios visuales.
    a                     o                 e
  Medios visuales: im´genes, secuencias de video, scanners.
                     a
  An´lisis Autom´tico de Video
      a           a
  ´
  Area de la Visi´n por Computador que se centra en el an´lisis
                  o                                       a
  automatizado de secuencias de video, con el fin de extraer y
  procesar informaci´n acerca del comportamiento de los objetos
                     o
  f´
   ısicos en un escenario del mundo real.


                                                                     3/40
Sinopsis
                          Aspectos Generales
                                                Motivaci´n
                                                         o
                          Estructura General
                                                Aplicaciones
                              Trabajo Futuro
                                 Referencias


Aspectos Generales del An´lisis de Video
                         a
An´lisis Automatizado de Video
  a




         Conocido como video understanding o video analysis.
         Analizar el comportamiento de los objetos f´
                                                    ısicos implica
         considerar el aspecto temporal.
         Gran parte de las aplicaciones en esta ´rea imponen la
                                                a
         restricci´n de tiempo real.
                  o
   Restricci´n de tiempo real
            o
   Restricci´n operacional para el tiempo de respuesta de un sistema,
            o
   dada la ocurrencia de un evento.



                                                                        4/40
Sinopsis
                           Aspectos Generales
                                                 Motivaci´n
                                                          o
                           Estructura General
                                                 Aplicaciones
                               Trabajo Futuro
                                  Referencias


Aspectos Generales del An´lisis de Video
                         a
Disciplinas involucradas en An´lisis de Video
                              a


   El An´lisis de Video es un ´rea multidisciplinaria:
        a                     a
         Procesamiento de Im´genes (Image Processing):
                                  a
         capturar movimiento, reconocimiento y clasificaci´n de
                                                             o
         objetos, reconstrucci´n de escena 3D, captura de
                               o
         caracter´
                 ısticas de los objetos (feature extraction). Elementos
         de base para an´lisis m´s complejo.
                          a      a
         Reconocimiento de Patrones (Pattern Recognition):
         Modelamiento y reconocimiento de elementos (e.g. objetos
         f´
          ısicos, eventos).
         Aprendizaje Autom´tico (Machine Learning): Aprender
                              a
         los modelos de estos elementos.

                                                                          5/40
Sinopsis
                         Aspectos Generales
                                               Motivaci´n
                                                        o
                         Estructura General
                                               Aplicaciones
                             Trabajo Futuro
                                Referencias


Disciplinas involucradas en An´lisis de Video
                              a
Procesamiento de Im´genes (Image Processing)
                   a

   Resultado de un
   proceso de
   segmentaci´n de
              o
   movimiento (imagen
   binaria).




                                                              6/40
Sinopsis
                         Aspectos Generales
                                               Motivaci´n
                                                        o
                         Estructura General
                                               Aplicaciones
                             Trabajo Futuro
                                Referencias


Disciplinas involucradas en An´lisis de Video
                              a
Reconocimiento de Patrones (Pattern Recognition)

   Reconocimiento de posturas: Applying 3D Human Model in a Posture
   Recognition System [Boulay et al., 2006].




                                                                      7/40
Sinopsis
                         Aspectos Generales
                                               Motivaci´n
                                                        o
                         Estructura General
                                               Aplicaciones
                             Trabajo Futuro
                                Referencias


Disciplinas involucradas en An´lisis de Video
                              a
Aprendizaje Autom´tico (Machine Learning)
                 a


   Aprendizaje de Eventos: Abnormal Event Detection from Surveillance
   Video by Dynamic Hierarchical Clustering [Jiang et al., 2007].




                                                                        8/40
Sinopsis
                        Aspectos Generales
                                              Motivaci´n
                                                       o
                        Estructura General
                                              Aplicaciones
                            Trabajo Futuro
                               Referencias


Aspectos Generales del An´lisis de Video
                         a
Motivaci´n
        o



        El sistema de visi´n humano es el sentido m´s complejo y m´s
                          o                          a            a
        rico en obtenci´n de informaci´n del ser humano.
                       o               o
        La visi´n parece una tarea f´cil, pero en realidad es muy
               o                    a
        compleja:
             El cerebro procesa cerca de 60 im´genes por segundo, con un
                                              a
             mill´n de puntos por imagen.
                 o
             Casi la mitad del cerebro dedicado a procesar informaci´n
                                                                    o
             visual.
        La gran motivaci´n del ´rea es llegar a emular la visi´n
                        o      a                              o
        humana, pero estamos a´n muy lejos de lograrlo.
                                u
        La investigaci´n en el ´rea a´n presenta innumerables vac´
                      o        a     u                           ıos.


                                                                           9/40
Sinopsis
                      Aspectos Generales
                                            Motivaci´n
                                                     o
                      Estructura General
                                            Aplicaciones
                          Trabajo Futuro
                             Referencias


Aplicaciones

      Identificaci´n y biometr´
                 o           ıa:
           Identificaci´n mediante indicadores biom´tricos (e.g. cara,
                      o                           e
           postura, manera de caminar(gait) ).
           Reconocimiento de caracteres en movimiento (e.g. placa
           patente de un auto).
      An´lisis de comportamiento:
        a
           individual.
           de masas (crowd).
      Cuidado de personas a distancia:
           Detecci´n de inactividad o comportamiento anormal.
                  o
           Aprendizaje de comportamiento normal.


                                                                        10/40
Sinopsis
                       Aspectos Generales
                                             Motivaci´n
                                                      o
                       Estructura General
                                             Aplicaciones
                           Trabajo Futuro
                              Referencias


Aplicaciones




      Video-vigilancia asistida:
           Detecci´n de comportamientos anormales o pre-definidos.
                  o
           Conteo de personas.
           Detecci´n de objetos extra˜os (e.g. maletas dejadas en
                  o                  n
           aeropuerto).




                                                                    11/40
Sinopsis
                            Aspectos Generales
                                                  Motivaci´n
                                                           o
                            Estructura General
                                                  Aplicaciones
                                Trabajo Futuro
                                   Referencias


Aplicaciones
Video-vigilancia asistida

    Proyecto AVITRACK:
          Video-vigilancia asistida en aeropuertos [AVITRACK, 2002].
          Reporta a los operadores las actividades que ocurren en la pista de
          aterrizaje (e.g. operaci´n de recarga de gasolina).
                                  o
          Genera alarmas en presencia de situaciones no deseadas (e.g.
          colisi´n entre veh´
                o           ıculo de carga y un avi´n).
                                                   o




                                                                                12/40
Sinopsis
                            Aspectos Generales
                                                  Motivaci´n
                                                           o
                            Estructura General
                                                  Aplicaciones
                                Trabajo Futuro
                                   Referencias


Aplicaciones
Video-vigilancia asistida

    Proyecto CASSIOPEE:
          Video-vigilancia asistida en agencias bancarias [Georis et al., 2004].
          M´ltiples c´maras.
           u         a
          Genera alarmas en presencia de situaciones pre-definidas de robo
          (80% Verdaderos-Positivos, 0% Falsos-Negativos).




                                                                                   13/40
Sinopsis
                          Aspectos Generales
                                                Motivaci´n
                                                         o
                          Estructura General
                                                Aplicaciones
                              Trabajo Futuro
                                 Referencias


Aplicaciones
Cuidado de personas a distancia

   Proyecto GERHOME:
         Proyecto para cuidado de adultos mayores a distancia [GERHOME,
         2005], [Zouba et al., 2007].
         Genera alarmas si la salud del adulto mayor est´ en riesgo.
                                                        a
         Alerta a la familia o a personal m´dico en caso de accidente (e.g. el
                                           e
         adulto mayor se cae o se encuentra inm´vil por mucho tiempo).
                                                 o
         Combina c´maras con sensores de calor y de apertura de puertas.
                  a




                                                                                 14/40
Sinopsis
                                             Segmentaci´n de Movimiento
                                                       o
                       Aspectos Generales
                                             Modelamiento y Clasificaci´n
                                                                      o
                       Estructura General
                                             Seguimiento
                           Trabajo Futuro
                                             Reconocimiento y Aprendizaje de Eventos
                              Referencias


Estructura General de una Aplicaci´n de An´lisis de Video
                                  o       a

  Tareas t´
          ıpicas del proceso de An´lisis de Video:
                                  a
        Segmentaci´n de movimento: Detectar grupos de p´
                   o                                          ıxeles
    1

        en movimiento (blobs), a partir de las im´genes de la
                                                 a
        secuencia.
        Clasificaci´n e identificaci´n: Inferir informaci´n sobre
                   o                o                    o
    2

        objetos del mundo real, a partir de los blobs detectados.
        Seguimiento de objetos: Asociar los objetos encontrados en
    3

        etapas previas del proceso, a los objetos detectados en la
        imagen actual.
        Reconocimiento de Eventos: Reconocer el comportamiento
    4

        y las actividades realizadas por lo objetos.


                                                                                       15/40
Sinopsis
                                       Segmentaci´n de Movimiento
                                                 o
                 Aspectos Generales
                                       Modelamiento y Clasificaci´n
                                                                o
                 Estructura General
                                       Seguimiento
                     Trabajo Futuro
                                       Reconocimiento y Aprendizaje de Eventos
                        Referencias


Estructura General de una Aplicaci´n de An´lisis de Video
                                  o       a
Flujo de Datos




                                                                                 16/40
Sinopsis
                                          Segmentaci´n de Movimiento
                                                    o
                    Aspectos Generales
                                          Modelamiento y Clasificaci´n
                                                                   o
                    Estructura General
                                          Seguimiento
                        Trabajo Futuro
                                          Reconocimiento y Aprendizaje de Eventos
                           Referencias


Estructura General de una Aplicaci´n de An´lisis de Video
                                  o       a
Ejemplo

   Aprendizaje Incremental de Eventos en Video [Z´niga, 2008]:
                                                 u˜




                                                                                    17/40
Sinopsis
                                              Segmentaci´n de Movimiento
                                                        o
                        Aspectos Generales
                                              Modelamiento y Clasificaci´n
                                                                       o
                        Estructura General
                                              Seguimiento
                            Trabajo Futuro
                                              Reconocimiento y Aprendizaje de Eventos
                               Referencias


Estructura General
Segmentaci´n de Movimiento
          o


   Segmentar
   Particionar una imagen en m´ltiples segmentos (conjuntos de
                               u
   p´
    ıxeles) [Shapiro and Stockman, 2001].

        La segmentaci´n de movimiento consiste en segmentar las
                      o
        regiones que corresponden a los objetos m´viles, del resto de
                                                 o
        la imagen (fondo).
        Las siguientes etapas del proceso, dependen fuertemente de la
        calidad de los resultados de esta tarea.
        Involucra la necesidad de modelar el entorno y la imagen de
        fondo.

                                                                                        18/40
Sinopsis
                                                Segmentaci´n de Movimiento
                                                          o
                          Aspectos Generales
                                                Modelamiento y Clasificaci´n
                                                                         o
                          Estructura General
                                                Seguimiento
                              Trabajo Futuro
                                                Reconocimiento y Aprendizaje de Eventos
                                 Referencias


Estructura General
Segmentaci´n en Video
          o




   Problemas t´
              ıpicos:
        Variaci´n de la iluminaci´n.
               o                 o
        Sombras.
        Fantasmas.
        Ramas en movimiento.
        Bajo contraste.
        Ocultaci´n est´tica.
                o     a




                                                                                          19/40
Sinopsis
                                              Segmentaci´n de Movimiento
                                                        o
                        Aspectos Generales
                                              Modelamiento y Clasificaci´n
                                                                       o
                        Estructura General
                                              Seguimiento
                            Trabajo Futuro
                                              Reconocimiento y Aprendizaje de Eventos
                               Referencias


Estructura General
Segmentaci´n en Video
          o


   Soluci´n t´
         o ıpica es la sustracci´n de fondo [McIvor, 2000]:
                                o




   Los problemas mencionados aparecen por un modelo de
   actualizaci´n de imagen de fondo deficiente o inexistente.
              o

                                                                                        20/40
Sinopsis
                                              Segmentaci´n de Movimiento
                                                        o
                        Aspectos Generales
                                              Modelamiento y Clasificaci´n
                                                                       o
                        Estructura General
                                              Seguimiento
                            Trabajo Futuro
                                              Reconocimiento y Aprendizaje de Eventos
                               Referencias


Estructura General
Segmentaci´n en Video
          o




   Actualizaci´n de imagen de fondo:
              o
        Modelar la intensidad de cada pixel mediante combinaci´n de
                                                              o
        Gaussianas [Friedman and Russell, 1997].
        Modelar la intensidad cada pixel con un Filtro de Kalman
        [Ridder et al., 1995].




                                                                                        21/40
Sinopsis
                                              Segmentaci´n de Movimiento
                                                        o
                        Aspectos Generales
                                              Modelamiento y Clasificaci´n
                                                                       o
                        Estructura General
                                              Seguimiento
                            Trabajo Futuro
                                              Reconocimiento y Aprendizaje de Eventos
                               Referencias


Estructura General
Segmentaci´n en Video
          o



   Ejemplo de Segmentaci´n de Movimiento:
                        o




                                                                                        22/40
Sinopsis
                                               Segmentaci´n de Movimiento
                                                         o
                         Aspectos Generales
                                               Modelamiento y Clasificaci´n
                                                                        o
                         Estructura General
                                               Seguimiento
                             Trabajo Futuro
                                               Reconocimiento y Aprendizaje de Eventos
                                Referencias


Estructura General
Modelamiento y Clasificaci´n de Objetos
                         o



        La riqueza de la descripci´n de los objetos f´
                                  o                  ısicos a detectar
        en la escena depende de la representaci´n escogida para estos
                                                o
        objetos.
        Modelos complejos favorecen la precisi´n en la informaci´n
                                               o                o
        obtenida, pero son lentos de calcular.
        En general, los modelos complejos permiten clasificar a un
        s´lo tipo de objeto, pero favorecen la identificaci´n del objeto.
         o                                                o
        Los modelos m´s simples carecen de precisi´n, pero son
                       a                           o
        r´pidos de calcular y pueden representar m´s de un tipo de
         a                                        a
        objeto.


                                                                                         23/40
Sinopsis
                                                Segmentaci´n de Movimiento
                                                          o
                          Aspectos Generales
                                                Modelamiento y Clasificaci´n
                                                                         o
                          Estructura General
                                                Seguimiento
                              Trabajo Futuro
                                                Reconocimiento y Aprendizaje de Eventos
                                 Referencias


Modelamiento y Clasificaci´n de Objetos
                         o
Representaciones de objetos

   Modelo de punto:                              Modelos de forma 2D: e.g.
                                                 elipses, rect´ngulos.
                                                              a
        S´lo para objetos muy
         o
        peque˜os.
              n                                          Baja precisi´n y calidad
                                                                      o
                                                         descriptiva.
        Muy r´pido de obtener.
             a
                                                         R´pido de obtener y puede
                                                           a
   Aplicaci´n de radar [Arambel
            o
                                                         representar m´s de un tipo.
                                                                      a
   et al., 2004]:
                                                 Forma rectangular [Cucchiara
                                                 et al., 2005]:




                                                                                          24/40
Sinopsis
                                                Segmentaci´n de Movimiento
                                                          o
                          Aspectos Generales
                                                Modelamiento y Clasificaci´n
                                                                         o
                          Estructura General
                                                Seguimiento
                              Trabajo Futuro
                                                Reconocimiento y Aprendizaje de Eventos
                                 Referencias


Modelamiento y Clasificaci´n de Objetos
                         o
Representaciones de objetos

   Modelos de forma 3D: e.g.                     Modelos Articulados: Partes
   elipsoides, cilindros,                        con articulaciones.
   paralelep´
            ıpedos.
                                                         Velocidad baja y espec´
                                                                               ıfico
        Precisi´n y calidad media.
               o                                         para un tipo.
        Velocidad media y puede                          Precisi´n y calidad alta.
                                                                o
        representar m´s de un tipo.
                     a
                                                 Modelo humano con 23
   Paralelep´
            ıpedo [Z´niga et al.,
                    u˜                           par´metros [Boulay et al., 2006]:
                                                    a
   2006]:




                                                                                          25/40
Sinopsis
                                                   Segmentaci´n de Movimiento
                                                             o
                          Aspectos Generales
                                                   Modelamiento y Clasificaci´n
                                                                            o
                          Estructura General
                                                   Seguimiento
                              Trabajo Futuro
                                                   Reconocimiento y Aprendizaje de Eventos
                                 Referencias


Modelamiento y Clasificaci´n de Objetos
                         o
Representaciones de objetos

Representaci´n de Contorno:
            o                                   Clasificadores: Entrenar un clasificador
                                                con un conjunto de caracter´
                                                                           ısticas de
      Velocidad muy baja y
                                                imagen, utilizando un conjunto de
      espec´
           ıfico para un tipo.
                                                entrenamiento.
      Precisi´n y calidad alta
             o
                                                     Requiere el conjunto de
Contorno de personas [Yilmaz                         entrenamiento, espec´ıfico para
et al., 2004]:                                       postura y ´ngulo de visi´n de un
                                                                a            o
                                                     s´lo tipo de objeto.
                                                      o
                                                     Velocidad alta.




                                                                                             26/40
Sinopsis
                                                Segmentaci´n de Movimiento
                                                          o
                          Aspectos Generales
                                                Modelamiento y Clasificaci´n
                                                                         o
                          Estructura General
                                                Seguimiento
                              Trabajo Futuro
                                                Reconocimiento y Aprendizaje de Eventos
                                 Referencias


Estructura General
Seguimiento de Objetos (Tracking)

         Consiste en asociar los objetos f´
                                          ısicos encontrados previamente en la
         escena, con los objetos detectados en la imagen actual.
         Problemas:
             Ocultaci´n din´mica.
                     o      a
             M´ltiples objetos simult´neos.
               u                     a
             Tiempo de respuesta.
         Soluciones:
             En general, ligadas al manejo de muchas hip´tesis respecto del
                                                           o
             valor de los atributos de los objetos en la imagen actual.
             Conjunto de hip´tesis basadas en la historia del objeto.
                              o
             Actualizaci´n de modelos din´micos para los atributos, con la
                        o                   a
             nueva informaci´n.
                              o
         T´cnicas Populares: Multi-Hypothesis Tracking [Kurien, 1990],
          e
         Particle Filtering [Hue et al., 2002].
                                                                                          27/40
Sinopsis
                                                Segmentaci´n de Movimiento
                                                          o
                          Aspectos Generales
                                                Modelamiento y Clasificaci´n
                                                                         o
                          Estructura General
                                                Seguimiento
                              Trabajo Futuro
                                                Reconocimiento y Aprendizaje de Eventos
                                 Referencias


Estructura General
Seguimiento de Objetos (Tracking)

   Ejemplo: Seguimiento de m´ltiples objetos [Z´niga, 2008]:
                            u                  u˜




                                                                                          28/40
Sinopsis
                                               Segmentaci´n de Movimiento
                                                         o
                         Aspectos Generales
                                               Modelamiento y Clasificaci´n
                                                                        o
                         Estructura General
                                               Seguimiento
                             Trabajo Futuro
                                               Reconocimiento y Aprendizaje de Eventos
                                Referencias


Estructura General
Reconocimiento y Aprendizaje de Eventos


   Estado
   Conjunto de atributos v´lido en un instante dado o estable en un
                          a
   intervalo de tiempo.

   Un estado puede caracterizar a m´s de un objeto f´
                                   a                ısico.
   Evento
   Transici´n de estado ocurrida en dos instantes de tiempo sucesivos
           o
   o en un intervalo de tiempo.

   Evento Compuesto
   Combinaci´n de estados y eventos. Tambi´n conocido como
            o                             e
   evento complejo, comportamiento y escenario, entre otros.
                                                                                         29/40
Sinopsis
                                               Segmentaci´n de Movimiento
                                                         o
                         Aspectos Generales
                                               Modelamiento y Clasificaci´n
                                                                        o
                         Estructura General
                                               Seguimiento
                             Trabajo Futuro
                                               Reconocimiento y Aprendizaje de Eventos
                                Referencias


Estructura General
Reconocimiento y Aprendizaje de Eventos

        Reconocer los eventos realizados por lo objetos (simples y
        compuestos).
        Problemas:
            Brecha entre informaci´n num´rica y conceptos m´s
                                  o      e                   a
            abstractos.
            Representaci´n para eventos de interacci´n entre objetos.
                        o                           o
            Concepci´n de m´todos generales.
                     o       e
        Soluciones:
            Modelos de evento pre-definidos: para reconocer situaciones de
            inter´s [Br´mond and Thonnat, 1998].
                 e     e
            Modelos de aprendizaje de eventos: para reconocer situaciones
            inesperadas. Los m´s populares:
                              a
                   Redes Bayesianas Din´micas (DBN) [Ghahramani, 1998].
                                       a
                   Cadenas de Markov Escondidas (HMM) [Hongeng et al.,
                   2000].
                                                                                         30/40
Sinopsis
                                               Segmentaci´n de Movimiento
                                                         o
                         Aspectos Generales
                                               Modelamiento y Clasificaci´n
                                                                        o
                         Estructura General
                                               Seguimiento
                             Trabajo Futuro
                                               Reconocimiento y Aprendizaje de Eventos
                                Referencias


Estructura General
Reconocimiento y Aprendizaje de Eventos

   Ejemplo de aprendizaje de eventos: Eventos de Trayectoria, mediante
   Cadenas de Markov Escondidas (HMM) [Jiang et al., 2007].




                                                                                         31/40
Sinopsis
                     Aspectos Generales
                     Estructura General
                         Trabajo Futuro
                            Referencias


Trabajo Futuro

     Nivel global:
         Utilizaci´n y formalizaci´n de medidas de fiabilidad de los
                  o               o
         datos.
         Retroalimentaci´n entre las distintas tareas.
                          o
         Eliminar la brecha entre el mundo num´rico y conceptual.
                                                 e
         Mejoramiento del rendimiento en tiempo de ejecuci´n (para
                                                            o
         tiempo-real).
     Segmentaci´n:
               o
         A´n no se logra un modelo capaz de lidiar con todos los
           u
         problemas de segmentaci´n y en forma general.
                                o
     Clasificaci´n:
               o
         La utilizaci´n de m´ltiples modelos de objeto seg´n el
                     o      u                             u
         contexto.

                                                                      32/40
Sinopsis
                    Aspectos Generales
                    Estructura General
                        Trabajo Futuro
                           Referencias


Trabajo Futuro


     Seguimiento:
         La resoluci´n en forma general del problema de ocultaci´n
                    o                                           o
         din´mica es a´n un t´pico abierto.
            a          u       o
         Resolver el problema de re-identificaci´n.
                                               o
         Mejoramiento de m´todos para la generaci´n y control de
                             e                     o
         hip´tesis.
            o
     Eventos:
         Continuar el estudio de m´todos adaptivos de aprendizaje de
                                  e
         eventos.
         C´mo combinar los modelos pre-definidos con los de
          o
         aprendizaje.



                                                                       33/40
Sinopsis
                    Aspectos Generales
                    Estructura General
                        Trabajo Futuro
                           Referencias


Conclusi´n
        o




     El An´lisis de Video posee aplicaciones de relevancia mundial
           a
     (e.g. vigilancia, asistencia, visi´n rob´tica).
                                       o     o
     Existen a´n numerosos t´picos a ser investigados y resueltos.
              u             o
     Actualmente, es un ´rea muy f´rtil para nuevos estudios y
                        a         e
     proyectos.




                                                                     34/40
Sinopsis
Aspectos Generales
Estructura General
    Trabajo Futuro
       Referencias




¿Preguntas?




                      35/40
Sinopsis
                            Aspectos Generales
                            Estructura General
                                Trabajo Futuro
                                   Referencias


Referencias I

  P. O. Arambel, J. Silver, J. Krant, M. Antone, and T. Strat. Multiple-hypothesis
     tracking of multiple ground targets from aerial video with dynamic sensor control.
     In I. Kadar, editor, Signal Processing, Sensor Fusion, and Target Recognition XIII.
     Proceedings of the SPIE., volume 5429 of Society of Photo-Optical
     Instrumentation Engineers (SPIE) Conference, pages 23–32, August 2004.
  AVITRACK, 2002. European Research Project,
    http://www.aero-scratch.net/avitrack.html .
  B. Boulay, F. Bremond, and M. Thonnat. Applying 3d human model in a posture
     recognition system. Pattern Recognition Letter, Special Issue on vision for Crime
     Detection and Prevention, 27(15):1788–1796, November 2006.
  F. Br´mond and M. Thonnat. Issues of representing context illustrated by
       e
     video-surveillance applications. International Journal of Human-Computer Studies
     Special Issue on Context, 48:375–391, 1998.
  R. Cucchiara, A. Prati, and R. Vezzani. Posture classification in a multi-camera indoor
     environment. In Proceedings of IEEE International Conference on Image Processing
     (ICIP), volume 1, pages 725–728, Genova, Italy, 11-14 September 2005.


                                                                                           36/40
Sinopsis
                           Aspectos Generales
                           Estructura General
                               Trabajo Futuro
                                  Referencias


Referencias II

  N. Friedman and S. Russell. Image segmentation in video sequences: a probabilistic
     approach. In Proceedings of the 13th Conference on Uncertainty in Artificial
     Intelligence, pages 1–3, 1997.
  B. Georis, M. Mazi`re, F. Br´mond, and M. Thonnat. A video interpretation platform
                     e          e
     applied to bank agency monitoring. In Proceedings of the International Conference
     on Intelligent Distributed Surveillance Systems (IDSS04), London, Great Britain,
     pages 46–50, February 2004.
  GERHOME, 2005. Research Project, http://gerhome.cstb.fr .
  Z. Ghahramani. Learning dynamic bayesian networks. In Adaptive Processing of
     Sequences and Data Structures, International Summer School on Neural Networks,
     pages 168–197, London, UK, 1998. Springer-Verlag.
  S. Hongeng, F. Bremond, and R. Nevatia. Bayesian framework for video surveillance
     application. In Proceedings of the 15th International Conference on Pattern
     Recognition (ICPR2000), pages Vol I: 164–170, Barcelona, Spain, 2000.
  C. Hue, J.-P. L. Cadre, and P. Perez. Sequential monte carlo methods for multiple
     target tracking and data fusion. IEEE Transactions on Signal Processing, 50(2):
     309–325, February 2002.

                                                                                         37/40
Sinopsis
                           Aspectos Generales
                           Estructura General
                               Trabajo Futuro
                                  Referencias


Referencias III
  F. Jiang, Y. Wu, and A. Katsaggelos. Abnormal event detection from surveillance
     video by dynamic hierarchical clustering. In Proceedings of the International
     Conference on Image Processing (ICIP07), volume 5, pages 145–148, San Antonio,
     TX, September 2007.
  T. Kurien. Issues in the design of practical multitarget tracking algorithms. In
     Y. Bar-Shalom, editor, Multitarget-Multisensor Tracking: Advanced Applications,
     chapter 3, volume 1, pages 43–83, Norwood, MA, 1990. Artech House.
  A. McIvor. Background subtraction techniques. In Proceedings of the Conference on
     Image and Vision Computing (IVCNZ 2000), Hamilton, New Zealand, November
     27-29 2000.
  C. Ridder, O. Munkelt, and H. Kirchner. Adaptive background estimation and
     foreground detection using kalman-filtering. In Proceedings of the International
     Conference on Recent Advances in Mechatronics, pages 193–199, 1995.
  L. G. S. Shapiro and G. C. Stockman. Computer Vision. Prentice-Hall, New Jersey,
     USA, 2001.
  A. Yilmaz, X. Li, and M. Shah. Contour based object tracking with occlusion handling
     in video acquired using mobile cameras. IEEE Transactions on Pattern Analysis and
     Machine Intelligence, 26(11):1531–1536, 2004.

                                                                                         38/40
Sinopsis
                           Aspectos Generales
                           Estructura General
                               Trabajo Futuro
                                  Referencias


Referencias IV


  N. Zouba, F. Bremond, M. Thonnat, and V. T. Vu. Multi-sensors analysis for
     everyday elderly activity monitoring. In Proceedings of the 4th International
     Conference SETIT’07: Sciences of Electronic, Technologies of Information and
     Telecommunications, Tunis, Tunisia, March 2007.
  M. Z´niga. Incremental Learning of Events in Video. PhD thesis, Universit´ de Nice
      u˜                                                                   e
    Sophia Antipolis, UFR Science Ecole Doctorale STIC, D´partement d’Informatique,
                                                          e
    November 2008.
  M. Z´niga, F. Br´mond, and M. Thonnat. Fast and reliable object classification in
      u˜          e
    video based on a 3d generic model. In Proceedings of the International Conference
    on Visual Information Engineering (VIE2006), pages 433–440, Bangalore, India,
    26-28 September 2006.




                                                                                        39/40
Sinopsis
                       Aspectos Generales
                       Estructura General
                           Trabajo Futuro
                              Referencias


Kalman Filter


                         xk = Fk xk + Bk uk + wk

  x: estado
  F: transicion de estado.
  B: modelo de control de entrada.
  u: vector de control.
  w: ruido gaussiano.

                                zk = Hk xk + vk

  z: observacion.
  H: mapeo del espacio del estado al espacio de observaci´n.
                                                         o


                                                               40/40
Sinopsis
                      Aspectos Generales
                      Estructura General
                          Trabajo Futuro
                             Referencias


Particle Filter


       Approximan la secuencia de distribuciones de probabilidad de
       inter´s usando un conjunto grande de muestras aleatorias
            e
       (particles).
       Las part´
               ıculas son entonces propagadas en el tiempo.
       Asint´ticamente, la convergencia de la aproximaci´n a las
             o                                          o
       distribuciones se encuentra asegurada bajo supuestos muy
       d´biles.
        e
       Desventaja: El n´mero necesario de muestras, crece
                         u
       exponencialmente con el tama˜o del espacio de estado
                                      n
       (impr´ctico para tiempo real).
            a


                                                                      41/40

More Related Content

Viewers also liked (20)

Jornada interescolar zonal apertura Sra. Griselda 1º
Jornada interescolar zonal apertura Sra. Griselda 1ºJornada interescolar zonal apertura Sra. Griselda 1º
Jornada interescolar zonal apertura Sra. Griselda 1º
 
Fotos Submarinas de David Doubilet
Fotos Submarinas de David DoubiletFotos Submarinas de David Doubilet
Fotos Submarinas de David Doubilet
 
Palabras
PalabrasPalabras
Palabras
 
Te Deseo( de Victor Hugo)
Te Deseo( de Victor Hugo)Te Deseo( de Victor Hugo)
Te Deseo( de Victor Hugo)
 
Copia De 1 Mayo Matematica
Copia De 1 Mayo MatematicaCopia De 1 Mayo Matematica
Copia De 1 Mayo Matematica
 
Los Adhesivos
Los AdhesivosLos Adhesivos
Los Adhesivos
 
La mariposa azul
La mariposa azulLa mariposa azul
La mariposa azul
 
Entierro cubano
Entierro cubanoEntierro cubano
Entierro cubano
 
Apoyo A La Asistencia Tecnica 0
Apoyo A La Asistencia Tecnica 0Apoyo A La Asistencia Tecnica 0
Apoyo A La Asistencia Tecnica 0
 
Otitis
OtitisOtitis
Otitis
 
Diversidad biológica Aves de Piura
Diversidad biológica Aves de Piura Diversidad biológica Aves de Piura
Diversidad biológica Aves de Piura
 
Un minuto
Un minutoUn minuto
Un minuto
 
4. casos y-patrones-de-la-violencia-e-f[1]
4. casos y-patrones-de-la-violencia-e-f[1]4. casos y-patrones-de-la-violencia-e-f[1]
4. casos y-patrones-de-la-violencia-e-f[1]
 
La Patagonia
La PatagoniaLa Patagonia
La Patagonia
 
SIG FINAL FINAL
SIG FINAL FINALSIG FINAL FINAL
SIG FINAL FINAL
 
00 Parvularia Cuadro Trimestral
00 Parvularia Cuadro Trimestral00 Parvularia Cuadro Trimestral
00 Parvularia Cuadro Trimestral
 
Reacciones Quimicas06 07
Reacciones Quimicas06 07Reacciones Quimicas06 07
Reacciones Quimicas06 07
 
PROCEDIMIENTOS
PROCEDIMIENTOSPROCEDIMIENTOS
PROCEDIMIENTOS
 
Taller InformáTica 2
Taller InformáTica 2Taller InformáTica 2
Taller InformáTica 2
 
Uso Didactico De Los Elementos Web
Uso Didactico De Los Elementos WebUso Didactico De Los Elementos Web
Uso Didactico De Los Elementos Web
 

Similar to Clase Magistral Marcos Zúñiga

Curso Aop
Curso AopCurso Aop
Curso Aop
ctme
 
Administracion de la salud
Administracion de la saludAdministracion de la salud
Administracion de la salud
Genesis Acosta
 
UNEG-AS 2012-Inf5: Controles internos para la seguridad en el área de sistemas
UNEG-AS 2012-Inf5: Controles internos para la seguridad en el área de sistemasUNEG-AS 2012-Inf5: Controles internos para la seguridad en el área de sistemas
UNEG-AS 2012-Inf5: Controles internos para la seguridad en el área de sistemas
UNEG-AS
 
Daniel Santos Técnicas de Recolección de Datos
Daniel Santos Técnicas de Recolección de DatosDaniel Santos Técnicas de Recolección de Datos
Daniel Santos Técnicas de Recolección de Datos
Daniel Santos
 
Construccion de-sistemas
Construccion de-sistemasConstruccion de-sistemas
Construccion de-sistemas
Karina Atoccsa
 
Teoría ps6116 ciclo de vida
Teoría ps6116 ciclo de vidaTeoría ps6116 ciclo de vida
Teoría ps6116 ciclo de vida
luismiher
 
Tipos de ciclo de vida
Tipos de ciclo de vidaTipos de ciclo de vida
Tipos de ciclo de vida
Fabian Alvarez
 
Clases U. del Pacífico 1 abril
Clases U. del Pacífico 1 abrilClases U. del Pacífico 1 abril
Clases U. del Pacífico 1 abril
Darcy Vergara
 
Modelo para Construcción de Soluciones
Modelo para Construcción de SolucionesModelo para Construcción de Soluciones
Modelo para Construcción de Soluciones
Mario Solarte
 
Ponencia Herramientas para la Evaluacion y control de proyectos
Ponencia Herramientas para la Evaluacion y control de proyectosPonencia Herramientas para la Evaluacion y control de proyectos
Ponencia Herramientas para la Evaluacion y control de proyectos
INVESTIGACION138
 
Presentación de la investigacion accion 2
Presentación de la investigacion   accion 2Presentación de la investigacion   accion 2
Presentación de la investigacion accion 2
tatiii20
 
Tecnicas de recoleccion_de_informacion
Tecnicas de recoleccion_de_informacionTecnicas de recoleccion_de_informacion
Tecnicas de recoleccion_de_informacion
Jose Luis Buenaño
 

Similar to Clase Magistral Marcos Zúñiga (20)

Curso Aop
Curso AopCurso Aop
Curso Aop
 
Curso Aop
Curso AopCurso Aop
Curso Aop
 
Administracion de la salud
Administracion de la saludAdministracion de la salud
Administracion de la salud
 
UNEG-AS 2012-Inf5: Controles internos para la seguridad en el área de sistemas
UNEG-AS 2012-Inf5: Controles internos para la seguridad en el área de sistemasUNEG-AS 2012-Inf5: Controles internos para la seguridad en el área de sistemas
UNEG-AS 2012-Inf5: Controles internos para la seguridad en el área de sistemas
 
Seguridad de la Información - UTS
Seguridad de la Información - UTSSeguridad de la Información - UTS
Seguridad de la Información - UTS
 
Daniel Santos Técnicas de Recolección de Datos
Daniel Santos Técnicas de Recolección de DatosDaniel Santos Técnicas de Recolección de Datos
Daniel Santos Técnicas de Recolección de Datos
 
Diapositivas
DiapositivasDiapositivas
Diapositivas
 
Metodologia
MetodologiaMetodologia
Metodologia
 
Mapas conceptuales del equipo
Mapas conceptuales del equipoMapas conceptuales del equipo
Mapas conceptuales del equipo
 
Construccion de-sistemas
Construccion de-sistemasConstruccion de-sistemas
Construccion de-sistemas
 
Auditoria y seguridad_en_si
Auditoria y seguridad_en_siAuditoria y seguridad_en_si
Auditoria y seguridad_en_si
 
Alineamiento liderazgo y cultura de calidad (2012)
Alineamiento liderazgo y cultura de calidad (2012)Alineamiento liderazgo y cultura de calidad (2012)
Alineamiento liderazgo y cultura de calidad (2012)
 
Teoría ps6116 ciclo de vida
Teoría ps6116 ciclo de vidaTeoría ps6116 ciclo de vida
Teoría ps6116 ciclo de vida
 
Tipos de ciclo de vida
Tipos de ciclo de vidaTipos de ciclo de vida
Tipos de ciclo de vida
 
Clases U. del Pacífico 1 abril
Clases U. del Pacífico 1 abrilClases U. del Pacífico 1 abril
Clases U. del Pacífico 1 abril
 
Modelo para Construcción de Soluciones
Modelo para Construcción de SolucionesModelo para Construcción de Soluciones
Modelo para Construcción de Soluciones
 
Ponencia Herramientas para la Evaluacion y control de proyectos
Ponencia Herramientas para la Evaluacion y control de proyectosPonencia Herramientas para la Evaluacion y control de proyectos
Ponencia Herramientas para la Evaluacion y control de proyectos
 
Presentación de la investigacion accion 2
Presentación de la investigacion   accion 2Presentación de la investigacion   accion 2
Presentación de la investigacion accion 2
 
Unidad vi adsi - p3 - web
Unidad vi   adsi - p3 - webUnidad vi   adsi - p3 - web
Unidad vi adsi - p3 - web
 
Tecnicas de recoleccion_de_informacion
Tecnicas de recoleccion_de_informacionTecnicas de recoleccion_de_informacion
Tecnicas de recoleccion_de_informacion
 

More from telematica.usm

More from telematica.usm (10)

Programa Asignaturas Dit 2010
Programa Asignaturas Dit 2010Programa Asignaturas Dit 2010
Programa Asignaturas Dit 2010
 
Cv Profesores Dit 2010
Cv Profesores Dit 2010Cv Profesores Dit 2010
Cv Profesores Dit 2010
 
CalendarioDIT2010
CalendarioDIT2010CalendarioDIT2010
CalendarioDIT2010
 
Horarios
HorariosHorarios
Horarios
 
Curriculum Vitae
Curriculum VitaeCurriculum Vitae
Curriculum Vitae
 
Curriculum
CurriculumCurriculum
Curriculum
 
Calendario
CalendarioCalendario
Calendario
 
Programas
ProgramasProgramas
Programas
 
Clase Magistral Werner Creixell
Clase Magistral Werner CreixellClase Magistral Werner Creixell
Clase Magistral Werner Creixell
 
Charla Posibilidades Laborales
Charla Posibilidades LaboralesCharla Posibilidades Laborales
Charla Posibilidades Laborales
 

Recently uploaded

EPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial UninoveEPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial Uninove
FagnerLisboa3
 
Modulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdfModulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdf
AnnimoUno1
 

Recently uploaded (15)

presentacion de PowerPoint de la fuente de poder.pptx
presentacion de PowerPoint de la fuente de poder.pptxpresentacion de PowerPoint de la fuente de poder.pptx
presentacion de PowerPoint de la fuente de poder.pptx
 
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdfRefrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
 
Trabajo Mas Completo De Excel en clase tecnología
Trabajo Mas Completo De Excel en clase tecnologíaTrabajo Mas Completo De Excel en clase tecnología
Trabajo Mas Completo De Excel en clase tecnología
 
EPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial UninoveEPA-pdf resultado da prova presencial Uninove
EPA-pdf resultado da prova presencial Uninove
 
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptxPROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
 
Modulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdfModulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdf
 
Avances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estosAvances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estos
 
Global Azure Lima 2024 - Integración de Datos con Microsoft Fabric
Global Azure Lima 2024 - Integración de Datos con Microsoft FabricGlobal Azure Lima 2024 - Integración de Datos con Microsoft Fabric
Global Azure Lima 2024 - Integración de Datos con Microsoft Fabric
 
pruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNITpruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNIT
 
Avances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvanaAvances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvana
 
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptxEL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
 
Presentación de elementos de afilado con esmeril
Presentación de elementos de afilado con esmerilPresentación de elementos de afilado con esmeril
Presentación de elementos de afilado con esmeril
 
Desarrollo Web Moderno con Svelte 2024.pdf
Desarrollo Web Moderno con Svelte 2024.pdfDesarrollo Web Moderno con Svelte 2024.pdf
Desarrollo Web Moderno con Svelte 2024.pdf
 
Presentación guía sencilla en Microsoft Excel.pptx
Presentación guía sencilla en Microsoft Excel.pptxPresentación guía sencilla en Microsoft Excel.pptx
Presentación guía sencilla en Microsoft Excel.pptx
 
guía de registro de slideshare por Brayan Joseph
guía de registro de slideshare por Brayan Josephguía de registro de slideshare por Brayan Joseph
guía de registro de slideshare por Brayan Joseph
 

Clase Magistral Marcos Zúñiga

  • 1. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias An´lisis Autom´tico de Video a a Marcos Z´niga Barraza u˜ Departamento de Telem´tica a 26 de Marzo 2009 1/40
  • 2. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias Sinopsis Aspectos Generales del An´lisis de Video a 1 Motivaci´n o Aplicaciones Estructura General de una Aplicaci´n de An´lisis de Video o a 2 Segmentaci´n de Movimiento o Modelamiento y Clasificaci´n de Objetos o Seguimiento de Objetos Reconocimiento y Aprendizaje de Eventos Trabajo Futuro 3 2/40
  • 3. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Aspectos Generales del An´lisis de Video a Visi´n por Computador (Computer Vision) o ´ Area de la Inteligencia Artificial centrada en el procesamiento y an´lisis de la informaci´n obtenida a trav´s medios visuales. a o e Medios visuales: im´genes, secuencias de video, scanners. a An´lisis Autom´tico de Video a a ´ Area de la Visi´n por Computador que se centra en el an´lisis o a automatizado de secuencias de video, con el fin de extraer y procesar informaci´n acerca del comportamiento de los objetos o f´ ısicos en un escenario del mundo real. 3/40
  • 4. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Aspectos Generales del An´lisis de Video a An´lisis Automatizado de Video a Conocido como video understanding o video analysis. Analizar el comportamiento de los objetos f´ ısicos implica considerar el aspecto temporal. Gran parte de las aplicaciones en esta ´rea imponen la a restricci´n de tiempo real. o Restricci´n de tiempo real o Restricci´n operacional para el tiempo de respuesta de un sistema, o dada la ocurrencia de un evento. 4/40
  • 5. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Aspectos Generales del An´lisis de Video a Disciplinas involucradas en An´lisis de Video a El An´lisis de Video es un ´rea multidisciplinaria: a a Procesamiento de Im´genes (Image Processing): a capturar movimiento, reconocimiento y clasificaci´n de o objetos, reconstrucci´n de escena 3D, captura de o caracter´ ısticas de los objetos (feature extraction). Elementos de base para an´lisis m´s complejo. a a Reconocimiento de Patrones (Pattern Recognition): Modelamiento y reconocimiento de elementos (e.g. objetos f´ ısicos, eventos). Aprendizaje Autom´tico (Machine Learning): Aprender a los modelos de estos elementos. 5/40
  • 6. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Disciplinas involucradas en An´lisis de Video a Procesamiento de Im´genes (Image Processing) a Resultado de un proceso de segmentaci´n de o movimiento (imagen binaria). 6/40
  • 7. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Disciplinas involucradas en An´lisis de Video a Reconocimiento de Patrones (Pattern Recognition) Reconocimiento de posturas: Applying 3D Human Model in a Posture Recognition System [Boulay et al., 2006]. 7/40
  • 8. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Disciplinas involucradas en An´lisis de Video a Aprendizaje Autom´tico (Machine Learning) a Aprendizaje de Eventos: Abnormal Event Detection from Surveillance Video by Dynamic Hierarchical Clustering [Jiang et al., 2007]. 8/40
  • 9. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Aspectos Generales del An´lisis de Video a Motivaci´n o El sistema de visi´n humano es el sentido m´s complejo y m´s o a a rico en obtenci´n de informaci´n del ser humano. o o La visi´n parece una tarea f´cil, pero en realidad es muy o a compleja: El cerebro procesa cerca de 60 im´genes por segundo, con un a mill´n de puntos por imagen. o Casi la mitad del cerebro dedicado a procesar informaci´n o visual. La gran motivaci´n del ´rea es llegar a emular la visi´n o a o humana, pero estamos a´n muy lejos de lograrlo. u La investigaci´n en el ´rea a´n presenta innumerables vac´ o a u ıos. 9/40
  • 10. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Aplicaciones Identificaci´n y biometr´ o ıa: Identificaci´n mediante indicadores biom´tricos (e.g. cara, o e postura, manera de caminar(gait) ). Reconocimiento de caracteres en movimiento (e.g. placa patente de un auto). An´lisis de comportamiento: a individual. de masas (crowd). Cuidado de personas a distancia: Detecci´n de inactividad o comportamiento anormal. o Aprendizaje de comportamiento normal. 10/40
  • 11. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Aplicaciones Video-vigilancia asistida: Detecci´n de comportamientos anormales o pre-definidos. o Conteo de personas. Detecci´n de objetos extra˜os (e.g. maletas dejadas en o n aeropuerto). 11/40
  • 12. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Aplicaciones Video-vigilancia asistida Proyecto AVITRACK: Video-vigilancia asistida en aeropuertos [AVITRACK, 2002]. Reporta a los operadores las actividades que ocurren en la pista de aterrizaje (e.g. operaci´n de recarga de gasolina). o Genera alarmas en presencia de situaciones no deseadas (e.g. colisi´n entre veh´ o ıculo de carga y un avi´n). o 12/40
  • 13. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Aplicaciones Video-vigilancia asistida Proyecto CASSIOPEE: Video-vigilancia asistida en agencias bancarias [Georis et al., 2004]. M´ltiples c´maras. u a Genera alarmas en presencia de situaciones pre-definidas de robo (80% Verdaderos-Positivos, 0% Falsos-Negativos). 13/40
  • 14. Sinopsis Aspectos Generales Motivaci´n o Estructura General Aplicaciones Trabajo Futuro Referencias Aplicaciones Cuidado de personas a distancia Proyecto GERHOME: Proyecto para cuidado de adultos mayores a distancia [GERHOME, 2005], [Zouba et al., 2007]. Genera alarmas si la salud del adulto mayor est´ en riesgo. a Alerta a la familia o a personal m´dico en caso de accidente (e.g. el e adulto mayor se cae o se encuentra inm´vil por mucho tiempo). o Combina c´maras con sensores de calor y de apertura de puertas. a 14/40
  • 15. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General de una Aplicaci´n de An´lisis de Video o a Tareas t´ ıpicas del proceso de An´lisis de Video: a Segmentaci´n de movimento: Detectar grupos de p´ o ıxeles 1 en movimiento (blobs), a partir de las im´genes de la a secuencia. Clasificaci´n e identificaci´n: Inferir informaci´n sobre o o o 2 objetos del mundo real, a partir de los blobs detectados. Seguimiento de objetos: Asociar los objetos encontrados en 3 etapas previas del proceso, a los objetos detectados en la imagen actual. Reconocimiento de Eventos: Reconocer el comportamiento 4 y las actividades realizadas por lo objetos. 15/40
  • 16. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General de una Aplicaci´n de An´lisis de Video o a Flujo de Datos 16/40
  • 17. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General de una Aplicaci´n de An´lisis de Video o a Ejemplo Aprendizaje Incremental de Eventos en Video [Z´niga, 2008]: u˜ 17/40
  • 18. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General Segmentaci´n de Movimiento o Segmentar Particionar una imagen en m´ltiples segmentos (conjuntos de u p´ ıxeles) [Shapiro and Stockman, 2001]. La segmentaci´n de movimiento consiste en segmentar las o regiones que corresponden a los objetos m´viles, del resto de o la imagen (fondo). Las siguientes etapas del proceso, dependen fuertemente de la calidad de los resultados de esta tarea. Involucra la necesidad de modelar el entorno y la imagen de fondo. 18/40
  • 19. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General Segmentaci´n en Video o Problemas t´ ıpicos: Variaci´n de la iluminaci´n. o o Sombras. Fantasmas. Ramas en movimiento. Bajo contraste. Ocultaci´n est´tica. o a 19/40
  • 20. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General Segmentaci´n en Video o Soluci´n t´ o ıpica es la sustracci´n de fondo [McIvor, 2000]: o Los problemas mencionados aparecen por un modelo de actualizaci´n de imagen de fondo deficiente o inexistente. o 20/40
  • 21. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General Segmentaci´n en Video o Actualizaci´n de imagen de fondo: o Modelar la intensidad de cada pixel mediante combinaci´n de o Gaussianas [Friedman and Russell, 1997]. Modelar la intensidad cada pixel con un Filtro de Kalman [Ridder et al., 1995]. 21/40
  • 22. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General Segmentaci´n en Video o Ejemplo de Segmentaci´n de Movimiento: o 22/40
  • 23. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General Modelamiento y Clasificaci´n de Objetos o La riqueza de la descripci´n de los objetos f´ o ısicos a detectar en la escena depende de la representaci´n escogida para estos o objetos. Modelos complejos favorecen la precisi´n en la informaci´n o o obtenida, pero son lentos de calcular. En general, los modelos complejos permiten clasificar a un s´lo tipo de objeto, pero favorecen la identificaci´n del objeto. o o Los modelos m´s simples carecen de precisi´n, pero son a o r´pidos de calcular y pueden representar m´s de un tipo de a a objeto. 23/40
  • 24. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Modelamiento y Clasificaci´n de Objetos o Representaciones de objetos Modelo de punto: Modelos de forma 2D: e.g. elipses, rect´ngulos. a S´lo para objetos muy o peque˜os. n Baja precisi´n y calidad o descriptiva. Muy r´pido de obtener. a R´pido de obtener y puede a Aplicaci´n de radar [Arambel o representar m´s de un tipo. a et al., 2004]: Forma rectangular [Cucchiara et al., 2005]: 24/40
  • 25. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Modelamiento y Clasificaci´n de Objetos o Representaciones de objetos Modelos de forma 3D: e.g. Modelos Articulados: Partes elipsoides, cilindros, con articulaciones. paralelep´ ıpedos. Velocidad baja y espec´ ıfico Precisi´n y calidad media. o para un tipo. Velocidad media y puede Precisi´n y calidad alta. o representar m´s de un tipo. a Modelo humano con 23 Paralelep´ ıpedo [Z´niga et al., u˜ par´metros [Boulay et al., 2006]: a 2006]: 25/40
  • 26. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Modelamiento y Clasificaci´n de Objetos o Representaciones de objetos Representaci´n de Contorno: o Clasificadores: Entrenar un clasificador con un conjunto de caracter´ ısticas de Velocidad muy baja y imagen, utilizando un conjunto de espec´ ıfico para un tipo. entrenamiento. Precisi´n y calidad alta o Requiere el conjunto de Contorno de personas [Yilmaz entrenamiento, espec´ıfico para et al., 2004]: postura y ´ngulo de visi´n de un a o s´lo tipo de objeto. o Velocidad alta. 26/40
  • 27. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General Seguimiento de Objetos (Tracking) Consiste en asociar los objetos f´ ısicos encontrados previamente en la escena, con los objetos detectados en la imagen actual. Problemas: Ocultaci´n din´mica. o a M´ltiples objetos simult´neos. u a Tiempo de respuesta. Soluciones: En general, ligadas al manejo de muchas hip´tesis respecto del o valor de los atributos de los objetos en la imagen actual. Conjunto de hip´tesis basadas en la historia del objeto. o Actualizaci´n de modelos din´micos para los atributos, con la o a nueva informaci´n. o T´cnicas Populares: Multi-Hypothesis Tracking [Kurien, 1990], e Particle Filtering [Hue et al., 2002]. 27/40
  • 28. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General Seguimiento de Objetos (Tracking) Ejemplo: Seguimiento de m´ltiples objetos [Z´niga, 2008]: u u˜ 28/40
  • 29. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General Reconocimiento y Aprendizaje de Eventos Estado Conjunto de atributos v´lido en un instante dado o estable en un a intervalo de tiempo. Un estado puede caracterizar a m´s de un objeto f´ a ısico. Evento Transici´n de estado ocurrida en dos instantes de tiempo sucesivos o o en un intervalo de tiempo. Evento Compuesto Combinaci´n de estados y eventos. Tambi´n conocido como o e evento complejo, comportamiento y escenario, entre otros. 29/40
  • 30. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General Reconocimiento y Aprendizaje de Eventos Reconocer los eventos realizados por lo objetos (simples y compuestos). Problemas: Brecha entre informaci´n num´rica y conceptos m´s o e a abstractos. Representaci´n para eventos de interacci´n entre objetos. o o Concepci´n de m´todos generales. o e Soluciones: Modelos de evento pre-definidos: para reconocer situaciones de inter´s [Br´mond and Thonnat, 1998]. e e Modelos de aprendizaje de eventos: para reconocer situaciones inesperadas. Los m´s populares: a Redes Bayesianas Din´micas (DBN) [Ghahramani, 1998]. a Cadenas de Markov Escondidas (HMM) [Hongeng et al., 2000]. 30/40
  • 31. Sinopsis Segmentaci´n de Movimiento o Aspectos Generales Modelamiento y Clasificaci´n o Estructura General Seguimiento Trabajo Futuro Reconocimiento y Aprendizaje de Eventos Referencias Estructura General Reconocimiento y Aprendizaje de Eventos Ejemplo de aprendizaje de eventos: Eventos de Trayectoria, mediante Cadenas de Markov Escondidas (HMM) [Jiang et al., 2007]. 31/40
  • 32. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias Trabajo Futuro Nivel global: Utilizaci´n y formalizaci´n de medidas de fiabilidad de los o o datos. Retroalimentaci´n entre las distintas tareas. o Eliminar la brecha entre el mundo num´rico y conceptual. e Mejoramiento del rendimiento en tiempo de ejecuci´n (para o tiempo-real). Segmentaci´n: o A´n no se logra un modelo capaz de lidiar con todos los u problemas de segmentaci´n y en forma general. o Clasificaci´n: o La utilizaci´n de m´ltiples modelos de objeto seg´n el o u u contexto. 32/40
  • 33. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias Trabajo Futuro Seguimiento: La resoluci´n en forma general del problema de ocultaci´n o o din´mica es a´n un t´pico abierto. a u o Resolver el problema de re-identificaci´n. o Mejoramiento de m´todos para la generaci´n y control de e o hip´tesis. o Eventos: Continuar el estudio de m´todos adaptivos de aprendizaje de e eventos. C´mo combinar los modelos pre-definidos con los de o aprendizaje. 33/40
  • 34. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias Conclusi´n o El An´lisis de Video posee aplicaciones de relevancia mundial a (e.g. vigilancia, asistencia, visi´n rob´tica). o o Existen a´n numerosos t´picos a ser investigados y resueltos. u o Actualmente, es un ´rea muy f´rtil para nuevos estudios y a e proyectos. 34/40
  • 35. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias ¿Preguntas? 35/40
  • 36. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias Referencias I P. O. Arambel, J. Silver, J. Krant, M. Antone, and T. Strat. Multiple-hypothesis tracking of multiple ground targets from aerial video with dynamic sensor control. In I. Kadar, editor, Signal Processing, Sensor Fusion, and Target Recognition XIII. Proceedings of the SPIE., volume 5429 of Society of Photo-Optical Instrumentation Engineers (SPIE) Conference, pages 23–32, August 2004. AVITRACK, 2002. European Research Project, http://www.aero-scratch.net/avitrack.html . B. Boulay, F. Bremond, and M. Thonnat. Applying 3d human model in a posture recognition system. Pattern Recognition Letter, Special Issue on vision for Crime Detection and Prevention, 27(15):1788–1796, November 2006. F. Br´mond and M. Thonnat. Issues of representing context illustrated by e video-surveillance applications. International Journal of Human-Computer Studies Special Issue on Context, 48:375–391, 1998. R. Cucchiara, A. Prati, and R. Vezzani. Posture classification in a multi-camera indoor environment. In Proceedings of IEEE International Conference on Image Processing (ICIP), volume 1, pages 725–728, Genova, Italy, 11-14 September 2005. 36/40
  • 37. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias Referencias II N. Friedman and S. Russell. Image segmentation in video sequences: a probabilistic approach. In Proceedings of the 13th Conference on Uncertainty in Artificial Intelligence, pages 1–3, 1997. B. Georis, M. Mazi`re, F. Br´mond, and M. Thonnat. A video interpretation platform e e applied to bank agency monitoring. In Proceedings of the International Conference on Intelligent Distributed Surveillance Systems (IDSS04), London, Great Britain, pages 46–50, February 2004. GERHOME, 2005. Research Project, http://gerhome.cstb.fr . Z. Ghahramani. Learning dynamic bayesian networks. In Adaptive Processing of Sequences and Data Structures, International Summer School on Neural Networks, pages 168–197, London, UK, 1998. Springer-Verlag. S. Hongeng, F. Bremond, and R. Nevatia. Bayesian framework for video surveillance application. In Proceedings of the 15th International Conference on Pattern Recognition (ICPR2000), pages Vol I: 164–170, Barcelona, Spain, 2000. C. Hue, J.-P. L. Cadre, and P. Perez. Sequential monte carlo methods for multiple target tracking and data fusion. IEEE Transactions on Signal Processing, 50(2): 309–325, February 2002. 37/40
  • 38. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias Referencias III F. Jiang, Y. Wu, and A. Katsaggelos. Abnormal event detection from surveillance video by dynamic hierarchical clustering. In Proceedings of the International Conference on Image Processing (ICIP07), volume 5, pages 145–148, San Antonio, TX, September 2007. T. Kurien. Issues in the design of practical multitarget tracking algorithms. In Y. Bar-Shalom, editor, Multitarget-Multisensor Tracking: Advanced Applications, chapter 3, volume 1, pages 43–83, Norwood, MA, 1990. Artech House. A. McIvor. Background subtraction techniques. In Proceedings of the Conference on Image and Vision Computing (IVCNZ 2000), Hamilton, New Zealand, November 27-29 2000. C. Ridder, O. Munkelt, and H. Kirchner. Adaptive background estimation and foreground detection using kalman-filtering. In Proceedings of the International Conference on Recent Advances in Mechatronics, pages 193–199, 1995. L. G. S. Shapiro and G. C. Stockman. Computer Vision. Prentice-Hall, New Jersey, USA, 2001. A. Yilmaz, X. Li, and M. Shah. Contour based object tracking with occlusion handling in video acquired using mobile cameras. IEEE Transactions on Pattern Analysis and Machine Intelligence, 26(11):1531–1536, 2004. 38/40
  • 39. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias Referencias IV N. Zouba, F. Bremond, M. Thonnat, and V. T. Vu. Multi-sensors analysis for everyday elderly activity monitoring. In Proceedings of the 4th International Conference SETIT’07: Sciences of Electronic, Technologies of Information and Telecommunications, Tunis, Tunisia, March 2007. M. Z´niga. Incremental Learning of Events in Video. PhD thesis, Universit´ de Nice u˜ e Sophia Antipolis, UFR Science Ecole Doctorale STIC, D´partement d’Informatique, e November 2008. M. Z´niga, F. Br´mond, and M. Thonnat. Fast and reliable object classification in u˜ e video based on a 3d generic model. In Proceedings of the International Conference on Visual Information Engineering (VIE2006), pages 433–440, Bangalore, India, 26-28 September 2006. 39/40
  • 40. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias Kalman Filter xk = Fk xk + Bk uk + wk x: estado F: transicion de estado. B: modelo de control de entrada. u: vector de control. w: ruido gaussiano. zk = Hk xk + vk z: observacion. H: mapeo del espacio del estado al espacio de observaci´n. o 40/40
  • 41. Sinopsis Aspectos Generales Estructura General Trabajo Futuro Referencias Particle Filter Approximan la secuencia de distribuciones de probabilidad de inter´s usando un conjunto grande de muestras aleatorias e (particles). Las part´ ıculas son entonces propagadas en el tiempo. Asint´ticamente, la convergencia de la aproximaci´n a las o o distribuciones se encuentra asegurada bajo supuestos muy d´biles. e Desventaja: El n´mero necesario de muestras, crece u exponencialmente con el tama˜o del espacio de estado n (impr´ctico para tiempo real). a 41/40