En esta charla presentaré un proyecto surgido de la observación del proceso realizado para la evaluación de proyectos de impacto social. Presentado por Ludim Sanchez

1. Clasificación de acciones
sociales usando computer
vision
Ludim Sánchez
ludim.sanchez@educaruno.org
https://sg.com.mx/dataday
#DataDayMTY

2. Visión Computacional y
Redes Neuronales Convolucionales
Clasificación de acciones sociales

3. Análisis de Resultados
03
Tabla de
Contenidos
Objetivos
01
Metodología
02
Conclusiones
04
3

4. Visión
Computacional
“La visión computacional es
un área que busca lograr que
las computadoras obtengan
una comprensión de las
imágenes o video, tal y como
lo hacemos los humanos.” [1]
Permitir que las máquinas
vean el mundo como los
humanos.
Introducción
4
Imagen por Claudio Schwarz licenciado bajo Creative Commons

5. Clasificación de imágenes
5
Campos de la Visión
Computacional
Estimación de posición
Imagen por Oliver Sjöström icenciado bajo Creative Commons

6. Clasificación de
Imágenes
“Campo de la visión
computacional que busca
catalogar una imagen por su
contenido visual”. [2]
En los últimos años ha ido
disminuyendo el rango de
error, en medida por los
algoritmos de Deep Learning,
principalmente las Redes
Neuronales Convolucionales.
Introducción
6

7. Clasificación de
Imágenes
“Campo de la visión
computacional que busca
catalogar una imagen por su
contenido visual”. [2]
En los últimos años ha ido
disminuyendo el rango de
error, en medida por los
algoritmos de Deep Learning,
principalmente las Redes
Neuronales Convolucionales.
Introducción
7

8. 8
Marco Teórico
Transformar dos funciones en
una tercera función.
f(x)
f(x,y)
f(y)
Imagen por Wikimedia Commons licenciado
bajo Creative Commons
¿Convolución?

9. 9
Marco Teórico
red neuronal convolucional
Transformar dos funciones en
una tercera función.
f(x)
f(x,y)
f(y)
¿Qué es una red neuronal?

10. 10
Marco Teórico
red neuronal convolucional
Transformar dos funciones en
una tercera función.
f(x)
f(x,y)
f(y)
Imagen por Wikimedia Commons licenciado
bajo Creative Commons
¿Cómo funciona una CNN?

11. ¿Qué es una red neuronal
convolucional (CNN)?Uno de los algoritmo de Aprendizaje Profundo (Deep Learning) que toma una entrada, asigna importancia a
varios aspectos dentro de una imagen y diferencia estos aspectos uno de otro.
Está formada por capas de convoluciones (es decir que va transformando las entradas).
Eficaz y eficiente para:
● Clasificación y detección de objetos
● Aplicar otras capas puede ayudar a procesar de mejor manera nuestras imágenes, como: pooling

12. ¿De qué se compone?
Tomada de: https://ccinetica.wordpress.com/2018/06/06/redes-convolutivas-en-inteligencia-artificial/

14. 14
Marco Teórico
red neuronal convolucional
Transformar dos funciones en
una tercera función.
f(x)
f(x,y)
f(y)
Imagen por Wikimedia Commons licenciado
bajo Creative Commons
Aplicaciones

15. ¿Para qué es una red neuronal
convolucional?
● Reconocimiento de imágenes y vídeos
● Análisis y clasificación de imágenes
● Sistemas de recomendación
● Procesamiento Natural de Lenguaje
● Entre otros

16. Frase
16
Si quieres amar lo que haces, abandona
la mentalidad pasional
"¿qué puede ofrecerme el mundo?"
Adopta la mentalidad artesanal
"¿qué puedo ofrecer al mundo?"
—Cal Newport
Autor de Deep Work

17. Objetivo General
Probar la posibilidad de predecir con una CNN qué acción se está realizando en una imagen.

18. Aplicaciones
Pregunta original: ¿Cómo detectar si una acción es voluntaria?
Respuesta: Eso no se puede “así nomás’ no :(“
¿Cómo si se puede?
Pregunta 2: ¿Puedo detectar qué acciones
se están realizando en las imágenes?
Respuesta: Si, investiga más.

19. Implementar una solución
que ya existiera en el
mercado para solucionar el
problema.
Ayudar al equipo
operativo a concentrarse en
el área social.
¿Es posible para una
máquina con solo ver una
imagen reconocer si una
acción realizada por un
humano tiene un fin social?
Objetivos del
Estudio
19
Encontrar una solución
al problema Reducir tiemposProbar una hipótesis
AVISO:
Este proyecto continúa en fase de
investigación y pruebas.

20. Reconocer acciones humanas basadas en imágenes estáticas es posible
tomando como base bag-of-features y part-based-representations.
20
“El mejoramiento de las redes neuronales convolucionales mostró
un buen efecto en el reconocimiento de comportamiento humano
en terminales inteligentes.”
Revisión de
la Literatura
Teoría 1
Teoría 2

21. La detección de acciones ha
sido estudiada previamente,
principalmente en vídeos.
Investigación
21
CNN tiene poca información
en detección de acciones
basado en imágenes
Análisis
Metodología
Entre las CNN y el enfoque
“tradicional” de la visión
computacional.
Comparación
Las Redes Neuronales Convolucionales
(CNN por sus siglas en inglés) son muy
populares en este campo de estudio
Clasificación
de imágenes

22. Recursos necesitados para
Proyecto de Reconocimiento de
Acciones
● Python
● TensorFlow
● Keras
● Colaboratory
● Cuenta Gmail

23. Describe here your metrics 1
Describe here your metrics 2
Describe here your metrics 3
Describe here your metrics 4
Describe here your metrics 5
Test 1 Test 2 Test 3 Test 4
23
Table

24. Montando un
caballo
Venus has a beautiful
name, but it’s terribly hot
60%
Estadísticas
Mercury
1,369
Results last month
Jupiter
5,408
Results this month
24
Análisis de
Resultados

25. Ver código
proyecto:
Action Recognition
Project

26. Analizar y sintetizar
un problema que
puede parecer
imposible de resolver.
Para obtener mejores
resultados: ajustar
modelo o usar más
datos de entrada.
Conclusions
26
2
1

27. Siguientes pasos
https://arxiv.org/pdf/1506.02640.pdf
https://www.learnopencv.com/deep-learning-based-human-pose-estimation-using-opencv-cpp-python/

28. ¿Alguien tiene alguna pregunta?
Contacto:
ludim.sanchez@educaruno.org
socraticparadox.com
medium.com/@ludim
Gracias
28
Thanks

29. 1. DANA H. BALLARD; CHRISTOPHER M. BROWN (1982). Computer Vision. Prentice Hall.
2. DAVID KAELI, DONG PING ZHANG (2015). Heterogeneous Computing with OpenCL 2.0
3. VINCENT DELAITRE, ET. AL. (2010) Recognizing human actions in still images:a study of bag-of-features
and part-based representations.
4. SHANSHAN GUAN, ET. AL. (2019) Research on Human Behavior Recognition based on Deep Neural
Network. Atlantis Press.
5. AUTHOR (YEAR). Title of the publication. Publisher.
Bibliografía
29

30. 1. DANA H. BALLARD; CHRISTOPHER M. BROWN (1982). Computer Vision. Prentice Hall.
2. DAVID KAELI, DONG PING ZHANG (2015). Heterogeneous Computing with OpenCL 2.0
3. VINCENT DELAITRE, ET. AL. (2010) Recognizing human actions in still images:a study of bag-of-features
and part-based representations.
4. SHANSHAN GUAN, ET. AL. (2019) Research on Human Behavior Recognition based on Deep Neural
Network. Atlantis Press.
5. AUTHOR (YEAR). Title of the publication. Publisher.
Bibliografía
30
1. https://elisa.dyndns-web.com/teaching/sys/neural/intro.pdf
2. https://ccinetica.wordpress.com/2018/06/06/redes-convolutivas-en-inteligencia-artificial/
3. https://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html#What%20is%20a
%20Neural%20Network
4. https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-
the-eli5-way-3bd2b1164a53
5. https://www.youtube.com/watch?v=EAqb20_4Rdg
6. https://www.di.ens.fr/willow/research/stillactions/
7. https://www.youtube.com/watch?v=ns2L2T6wvAY
8. http://www.sysu-hcp.net/an-expressive-deep-model-for-human-action-parsing-from-a-
single-image/
9. https://github.com/puigalex/AMP-Tech/tree/master/CNN%20desde%20cero
10. https://machinelearningmastery.com/adam-optimization-algorithm-for-deep-learning/
11. https://github.com/michalfaber/keras_Realtime_Multi-
Person_Pose_Estimation/blob/master/demo.ipynb
12. https://colab.research.google.com/drive/1Z6r82FlQTBXTh3GZCPc9LeZClxFVhcl_#scrollT
o=PLw47QOSGzdd
13. https://docs.google.com/presentation/d/1mLXk1JWr6doRxMCsH9V4P3DpNMZ1n3peA0t
m1fFFS7w/edit#slide=id.g50d510a6d7_0_197

31. Créditos
◂ Template por Slidesgo
◂ Iconos por Flaticon
◂ Infográficos por Freepik
◂ Imágenes creadas por Freepik
◂ Foto de diapositiva de introducción del autor creada por Freepik
◂ Texto e imagen de diapositivas creadas por Freepik.com
Agradecimiento a las comunidades:
◂ Women in Data Science, Power and Engineering.
◂ AI6 Mty.
31

32. Recursos
32
◂ Road desert landscape Morocco
◂ Rear view woman walking boardwalk mountain
◂ Couple running sunny road
◂ High angle view tropical trees growing forest
◂ Hiker sitting rock
◂ High angle view winding road surrounded by green trees
◂ Woman with book looking bookshelves
◂ Elevated view road forest during sunny day
Fotos
◂ Infographic timeline concept with road
Vector