Aprendizaje de Programas Teleo-Reactivos para Robótica Móvil

  • 269 views
Uploaded on

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
269
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
0
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Aprendizaje de Programas Teleo-ReactivosContenido ´Introduccion ´ ´ para Robotica MovilRepresenta- ´cionAprendizajede PTRs Blanca A. Vargas Govea ´basicos Asesor: Dr. Eduardo F. Morales ManzanaresAprendizajede PTRs ´jerarquicos INAOEExperimentosExperimentos para ´navegacion ´ Octubre 28, 2009Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 1 / 53
  • 2. Contenido ContenidoContenido ´Introduccion ´ 1 IntroduccionRepresenta- ´cionAprendizaje ´ 2 Representacionde PTRs ´basicosAprendizaje ´ 3 Aprendizaje de PTRs basicosde PTRs ´jerarquicosExperimentos ´ 4 Aprendizaje de PTRs jerarquicosExperimentos para ´navegacion ´Clasificacion deademanes 5 ExperimentosConclusiones ´ Experimentos para navegacion ´ Clasificacion de ademanes 6 Conclusiones (INAOE) Octubre 28, 2009 2 / 53
  • 3. ´ Introduccion ´ MotivacionContenido ´Introduccion Robot, ve a la sala Creciente demanda deRepresenta- ´cion robots de servicioAprendizaje ´ • Metodos para simplificarde PTRs ´basicos ´ la programacion.Aprendizajede PTRs ´ • Ambientes dinamicos. ´jerarquicos • Ambientes distintos:ExperimentosExperimentos para ´navegacion casa, oficina, ´Clasificacion deademanes laboratorio.Conclusiones ´ Un robot movil que aprenda a realizar tareas en ambientes ´ dinamicos. (INAOE) Octubre 28, 2009 3 / 53
  • 4. ´ Introduccion ´ ProblematicaContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 4 / 53
  • 5. ´ Introduccion En esta tesis:Contenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 5 / 53
  • 6. ´ Introduccion Trabajo relacionadoContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 6 / 53
  • 7. ´ Representacion ´ RepresentacionContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 7 / 53
  • 8. ´ Representacion ´ Representacion del ambiente 1/2Contenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones ´ [Hernandez, 2005] (INAOE) Octubre 28, 2009 8 / 53
  • 9. ´ Representacion ´ Representacion del ambiente 2/2Contenido Distancia ´ Angulo Atrib Tipo ´Introduccion 2.18 -73 -1.41 izquierdaRepresenta- ´cion 2.17 -47 0 esquinaAprendizaje 3.46 -89.5 1.06 paredde PTRs ´basicosAprendizaje Ventajade PTRs ´jerarquicos ´ Esta transformacion reduce de cientos de datos por estadoExperimentosExperimentos para ´navegacion a unos pocos atributos significativos ´Clasificacion deademanesConclusiones ´ ´ ´ Se agrega la posicion y orientacion del robot, informacion de los sonares traseros y la meta. Se transforma en los siguientes ´ Pares estado-accion: ´ [robot(X,Y,Θ),atras(n),meta(Xg,Yg),marca(Dist,Angulo,Atrib,Tipo),..,],Accion ´ ´ ´ [robot(X,Y,Θ),atras(n),meta(Xg,Yg),marca(Dist,Angulo,Atrib,Tipo),..,],Accion ´ ´ . (INAOE) . Octubre 28, 2009 9 / 53
  • 10. ´ Aprendizaje de PTRs basicos ´ Aprendizaje de PTRs basicosContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 10 / 53
  • 11. ´ Aprendizaje de PTRs basicos ´ ´ Definicion de la tarea de navegacionContenido ´IntroduccionRepresenta- ´cion Meta obstáculo dinámico Sub-tareasAprendizajede PTRs girar-derecha ´basicos • Deambular.Aprendizajede PTRs girar-izquierda • Orientarse. ´jerarquicosExperimentos • Salir de orientarse avanzarExperimentos para ´navegacion trampas. ´Clasificacion deademanes salir-de- • Seguir a unConclusiones trampa ´ objeto movil. orientarse (INAOE) Octubre 28, 2009 11 / 53
  • 12. ´ Aprendizaje de PTRs basicos ´ ´ ¿Como se aprendio?Contenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizaje ´ Mediante clonacion, sede PTRs ´jerarquicos aprenden PTRs para que elExperimentos robot pueda realizar lasExperimentos para ´navegacion sub-tareas definidas. ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 12 / 53
  • 13. ´ Aprendizaje de PTRs basicos ´ ClonacionContenido Extraer conocimiento expl´cito de habilidades de bajo nivel ı ´Introduccion (Michie,1992).Representa- ´cion • Obtener ejemplos o trazas.Aprendizajede PTRs • Dar las trazas como entrada a ´basicos algoritmos de aprendizaje.Aprendizajede PTRs • Obtener modelos que al ´jerarquicos ´ ejecutarse produciranExperimentosExperimentos para ´navegacion comportamientos similares a ´Clasificacion deademanes ´ quien genero los modelos.Conclusiones • Se les llama clones porque reproducen la habilidad de una persona o sistema. (INAOE) Octubre 28, 2009 13 / 53
  • 14. ´ Aprendizaje de PTRs basicos Programas Teleo-ReactivosContenido ´ Conjunto de clausulas que ejecutan cont´nuamente una ı ´Introduccion ´ accion en el estado actual mientras sus condiciones sonRepresenta- satisfechas (Nilsson, 1994). ´cion ´ ptr1(Estado,Accion) ←Aprendizajede PTRs ´ condicion meta(Estado). ´basicos ´ ptr1(Estado,Accion) ←Aprendizaje ´ condicion1(Estado,...),de PTRs ´ condicion2(Estado, ...), ´jerarquicos ...Experimentos ptr1(Estado, PTR2 ) ←Experimentos para ´navegacion ´ condicion1(Estado,...), ´Clasificacion de ´ condicion3(Estado, ...), . . .ademanes ...Conclusiones Ventaja Uso de acciones cont´nuas, ı capaces de reaccionar en un ´ ambiente dinamico. (INAOE) Octubre 28, 2009 14 / 53
  • 15. ´ Aprendizaje de PTRs basicosContenido ´Introduccion ´ PTRs basicosRepresenta- Sus acciones son ´cionAprendizaje unicamente acciones ´de PTRs ´ ´ atomicasbasicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones ´ PTRs jerarquicos Sus acciones pueden incluir otros PTRs (INAOE) Octubre 28, 2009 15 / 53
  • 16. ´ Aprendizaje de PTRs basicos ´ Aprendizaje de PTRs basicosContenido Objetivo: Producir un conjunto de predicados que ´Introduccion ´ devuelvan una accion particular, capturando elRepresenta- comportamiento deseado. ´cion 1 Dados: una traza (o trazas), un predicado objetivo yAprendizajede PTRs posible conocimiento del dominio ´basicosAprendizaje ´ 2 Generar ejemplos negativos. Se realizo intercambiandode PTRs ´jerarquicos las acciones.Experimentos 3 Aprender PTRs usando ALEPH (un sistema de ILP).Experimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 16 / 53
  • 17. ´ Aprendizaje de PTRs basicos Conocimiento del dominioContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 17 / 53
  • 18. ´ Aprendizaje de PTRs basicos Ejemplo: deambularContenido Entrada: trazas de deambular, el ´Introduccion predicado objetivo, el conceptoRepresenta- ´cion aprendido zona-frontal, zona-trasera y elAprendizaje predicado para obtener la marca mas´de PTRs ´basicos cercana.Aprendizajede PTRs Salida: ´jerarquicosExperimentos deambular(Estado,avanzar) ←Experimentos para ´navegacion zona-frontal(Estado,libre). ´Clasificacion deademanes deambular(Estado,girar-izq) ← Robot controlado por el PTRConclusiones ´ zona-frontal(Estado,obstaculo), para deambular obst-cercano(Estado,Marca,Dist,Ang), menor-igual(Ang,-1.51)). deambular(Estado,girar-der) ← ´ zona-frontal(Estado,obstaculo). (INAOE) Octubre 28, 2009 18 / 53
  • 19. ´ Aprendizaje de PTRs jerarquicos ´ Aprendizaje de PTRs jerarquicosContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 19 / 53
  • 20. ´ Aprendizaje de PTRs jerarquicos ´ Aprendizaje de gramaticasContenido FOSeq (First Order Sequence learning) ´IntroduccionRepresenta- ´cion ´ Entrada: un conjunto de secuencias de PTRs basicosAprendizaje obtenidas al guiar al robot.de PTRs ´basicos FOSeq:Aprendizajede PTRs ´jerarquicos 1 ´ Induce una gramatica para cada secuencia,Experimentos identificando elementos repetidos (n-gramas).Experimentos para ´navegacion 2 ´ Evalua las secuencias con cada gramatica aprendida y ´ ´Clasificacion deademanes ´ selecciona la gramatica mejor evaluada.Conclusiones 3 ´ ´ Aplica un proceso de generalizacion a la gramatica ´ mejor evaluada y las gramaticas que aportan elementos nuevos. ´ Salida: Una gramatica que puede usarse como controlador ´ (PTR jerarquico) o como clasificador. (INAOE) Octubre 28, 2009 20 / 53
  • 21. ´ Aprendizaje de PTRs jerarquicos ´ InduccionContenido ´IntroduccionRepresenta- ´cion • El algoritmo busca los n-gramas (e.g., sub-secuenciasAprendizaje de n-elementos) que aparezcan al menos dos veces ende PTRs ´basicos la secuencia.Aprendizaje • Los n-gramas candidatos son buscados de formade PTRs ´jerarquicos incremental por su longitud.ExperimentosExperimentos para • El n-grama con mayor frecuencia es seleccionado, ´navegacion ´Clasificacion de ´ generando una nueva regla para la gramatica yademanesConclusiones reemplazando con un s´mbolo no-terminal todas las ı ocurrencias del n-grama que aparecen en la secuencia original. (INAOE) Octubre 28, 2009 21 / 53
  • 22. ´ Aprendizaje de PTRs jerarquicos ´ Induccion: ejemploContenido ´IntroduccionRepresenta- ´cion S→a b c b c b c b a b c b d b e b c S2 → R2 d b e R1Aprendizaje b c (5) R1 → b cde PTRs Agrega: R1 → b c R2 → a R1 b ´basicos S1 → a R1 R1 R1 b a R1 b d b e R1Aprendizaje Eliminando elementos repetidos:de PTRs ´jerarquicos S1 → a R1 b a R1 b d b e R1Experimentos R1 b (2)Experimentos para ´navegacion a R1 (2) ´Clasificacion de a R1 b (2)ademanes Agrega: R2 → a R1 b R2 d b e R1Conclusiones S2 → R2 R2 d b e R1 Eliminando elementos repetidos: a R1 b b c S2 → R2 d b e R1 b c (INAOE) Octubre 28, 2009 22 / 53
  • 23. ´ Aprendizaje de PTRs jerarquicos ´ Induccion: con predicadosContenido Cuando los elementos de la secuencia son predicados, la ´Introduccion ´ ´ ´ gramatica inducida es una Gramatica de Clausula DefinidaRepresenta- ´cion (GCD). Las GCDs:Aprendizajede PTRs ´ ´ • Son una extension de las gramaticas libres de contexto, ´basicos • pueden tener argumentos yAprendizajede PTRs ´jerarquicos • son expresadas y ejecutadas en Prolog.ExperimentosExperimentos para ´navegacion ´Clasificacion de ´ La entrada es una secuencia de PTRs basicos como laademanes siguiente:Conclusiones Entrada ´ ´ ´ pred1(Estado1,accion1), pred2(Estado2,accion1), pred1(Estado3,accion2), . . . (INAOE) Octubre 28, 2009 23 / 53
  • 24. ´ Aprendizaje de PTRs jerarquicos ´ EvaluacionContenido ´Introduccion ´ • Cada gramatica aprendida se usa para analizarRepresenta- ´ sintacticamente todas las secuencias del conjunto ´cionAprendizaje proporcionado por el usuario.de PTRs ´basicos ´ • Por cada secuencia analizada, la gramatica recibe unaAprendizaje ´ ´ evaluacion, calculada por la funcion:de PTRs ´jerarquicos nExperimentos cjExperimentos para eval(Gi ) = (1) ´navegacion cj + fj ´Clasificacion deademanes j=1Conclusiones donde cj y fj representan el numero de elementos que ´ ´ la gramatica es capaz o incapaz de aceptar, respectivamente. ´ • La gramatica mejor evaluada es seleccionada. (INAOE) Octubre 28, 2009 24 / 53
  • 25. ´ Aprendizaje de PTRs jerarquicos ´ GeneralizacionContenido ´Introduccion ´ La idea principal es obtener una nueva gramatica queRepresenta- ´cion ´ mejore la cobertura de gramatica mejor evaluada.Aprendizajede PTRs ´ 1 Seleccionar la gramatica que proporciona el mayor ´basicos numero de elementos nuevos o unificaciones diferentes ´Aprendizajede PTRs de predicados. ´jerarquicos ´ 2 Calcular el lgg (generalizacion menos general) entre lasExperimentosExperimentos para ´navegacion ´ reglas de ambas gramaticas. ´Clasificacion deademanes 3 Aceptar la nueva regla si mejora la cobertura original, siConclusiones no, descartarla. 4 Terminar el proceso hasta alcanzar un umbral de cobertura o hasta que no hay mejora. (INAOE) Octubre 28, 2009 25 / 53
  • 26. ´ Aprendizaje de PTRs jerarquicos Ejemplo lggContenido ´IntroduccionRepresenta- ´cion ´ c1 = pred(Estado,accion1) ← ´ c2 = pred(Estado,Accion) ← ´ cond1(Estado,accion1), ´ cond1(Estado,accion1),Aprendizajede PTRs ´ cond2(Estado,accion2). ´ cond2(Estado,accion3). ´basicosAprendizajede PTRs ´jerarquicos ´ Calculando el lgg(c1,c2), la clausula es:ExperimentosExperimentos para ´ pred(Estado,Accion) ← ´navegacion ´ cond1(Estado,accion1), ´Clasificacion deademanes ´ cond2(Estado,Accion).Conclusiones ´ ´ donde las constantes accion2 y accion3 del predicado ´ cond2 son reemplazadas por la variable Accion. (INAOE) Octubre 28, 2009 26 / 53
  • 27. ´ Aprendizaje de PTRs jerarquicos ´ De gramatica a programaContenido ´ R1 → orientar(Estado1,Accion), ´Introduccion ´ deambular(Estado2,accion1)Representa- ´ R2 → orientar(Estado1,accion2), ´cion ´ deambular(Estado2,Accion)Aprendizaje ´ R3 → orientar(Estado1,accion3),de PTRs ´ deambular(Estado2,Accion) ´basicosAprendizajede PTRs ´jerarquicos ´ ´ (R1) pred-nuevo1(Estado1,accion1) → orientarse(Estado1,Accion),Experimentos ´ deambular(Estado2,accion1)Experimentos para ´ ´ (R2) pred-nuevo2(Estado1,Accion) → orientar(Estado1,accion2), ´navegacion ´Clasificacion de ´ deambular(Estado2,Accion)ademanes ´ ´ (R3) pred-nuevo3(Estado1,Accion) → orientar(Estado1,accion3),Conclusiones ´ deambular(Estado2,Accion) Cada regla puede interpretarse como una sub-tarea (INAOE) Octubre 28, 2009 27 / 53
  • 28. ´ Aprendizaje de PTRs jerarquicos ´ Ejemplo en navegacion: PTR para ir a unContenido punto (deambular + orientarse) ´Introduccion ´ Entrada: secuencias de los PTRs basicos deambular yRepresenta- ´cion orientar.Aprendizaje orientar(Estado,girar-izq),deambular(Estado,girar-izq), deambular(Estado,girar-der),de PTRs deambular(Estado,avanzar),orientar(Estado,girar-izq),deambular(Estado,avanzar),. . . ´basicos ...Aprendizajede PTRs ´jerarquicos Salida:Experimentos ir-a(Estado,nil) ←Experimentos para en-meta(Estado). ´navegacion ´Clasificacion de ´ ir-a(Estado,Accion) ←ademanes orientar(Estado,ninguna),Conclusiones ´ deambular(Estado,Accion). ´ ir-a(Estado,Accion) ← deambular(Estado,avanzar), ´ orientar(Estado,Accion). ´ ir-a(Estado,Accion) ← ´ deambular(Estado,Accion). (INAOE) Octubre 28, 2009 28 / 53
  • 29. Experimentos ExperimentosContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 29 / 53
  • 30. Experimentos ´ Experimentos para navegacion ´ Plataforma de simulacionContenido ´ Se utilizo el software para control de robots Player/Stage. ´Introduccion • Diferentes escenarios: 10 mapasRepresenta- ´cion diferentes a los de entrenamiento.Aprendizajede PTRs ´ ´ • Obstaculos fijos y moviles de ´basicos ˜ diversas formas y tamanos.Aprendizajede PTRs ´ • Limitaciones del sensor laser: 50 cm ´jerarquicosExperimentos sobre el piso de forma paralela, seExperimentos para ´navegacion ´ evito el vidrio. ´Clasificacion deademanes ´ • Precision:Conclusiones e p= × 100 (2) e+f donde e es el numero de tareas o sub-tareas ´ realizadas exitosamente y f es el numero de tareas ´ o sub-tareas que fallaron. (INAOE) Octubre 28, 2009 30 / 53
  • 31. Experimentos ´ Experimentos para navegacion MapasContenido Mapas de entrenamiento Mapas de prueba ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para Ventaja ´navegacion ´Clasificacion deademanes Los PTRs aprendidos puedenConclusiones usarse en ambientes distintos al de entrenamiento (INAOE) Octubre 28, 2009 31 / 53
  • 32. Experimentos ´ Experimentos para navegacion PTRs aprendidosContenido ´ PTR basico E+ y E− Conoc-dom Acciones deambular 979 zona-frontal* avanzar ´Introduccion orientar 2982 zona-trasera* girar-derRepresenta- salir-de-trampa 952 menor-igual girar-izq ´cion seguir 619 mayor-igual detenerAprendizaje obst-mas-cercano retrocederde PTRs ´ obtener-angulos ´basicos zona-orienta*Aprendizaje config-paredes*de PTRs ´jerarquicos lado-pared* zona-seguir*ExperimentosExperimentos para rango-distancia* ´navegacion obtener-vals ´Clasificacion deademanesConclusiones (*) significa que el concepto fue aprendido ´ PTR jerarquico No. de secuencias deambular + orientar (ir a un punto) 12 deambular + orientar + salir de trampa 16 seguir + deambular 10 seguir + deambular + salir de trampa 14 ´ PTRs jerarquicos aprendidos y numero de trazas ´ (INAOE) Octubre 28, 2009 32 / 53
  • 33. Experimentos ´ Experimentos para navegacion ´ Ejemplos: PTRs basicosContenido Meta Meta Meta Meta ´IntroduccionRepresenta- ´cionAprendizajede PTRs Salir de trampa ´basicosAprendizajede PTRs ´jerarquicosExperimentos DeambularExperimentos para ´navegacion ´Clasificacion deademanesConclusiones Orientar ´ Seguir a un objeto movil (INAOE) Octubre 28, 2009 33 / 53
  • 34. Experimentos ´ Experimentos para navegacion ´ Ejemplos: PTRs jerarquicosContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs Ir a un punto ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones Visitando distintos lugares (INAOE) Octubre 28, 2009 34 / 53
  • 35. Experimentos ´ Experimentos para navegacion ´ ´ Simulacion: Precision de PTRsContenido PTR Pruebas ´ Precision ´Introduccion Deambular 30 86.67 %Representa- Orientar 30 100.00 % ´cionAprendizaje Salir de trampa 30 80.00 %de PTRs ´basicos Seguir 40 97.50 %Aprendizajede PTRs ´jerarquicos PTR Pruebas ´ PrecisionExperimentos deambular + orientar 30 86.67 %Experimentos para ´navegacion ´Clasificacion de (ir a un punto)ademanes deambular + orientar + 30 93.33 %Conclusiones salir de trampa seguir + deambular 40 90.00 % seguir + deambular + 40 100.00 % salir de trampa visitar 5 lugares* 30 96.67 % (INAOE) Octubre 28, 2009 35 / 53
  • 36. Experimentos ´ Experimentos para navegacion ´ ´ Modulo de navegacion para MarkovitoContenido ´IntroduccionRepresenta- ´cion Robot PeopleBot de ActivMedia equipado con un anillo deAprendizaje ´ ´ 16 sonares en la parte inferior y sistema de vision estereo.de PTRs ´basicosAprendizaje • Navegar hacia distintosde PTRs ´jerarquicos lugares.ExperimentosExperimentos para • Seguir a una persona. ´navegacion ´Clasificacion deademanes • Encontrar un objeto.Conclusiones • Entregar mensajes/objetos. (INAOE) Octubre 28, 2009 36 / 53
  • 37. Experimentos ´ Experimentos para navegacion Navegar hacia distintos lugaresContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicos Visitando distintos lugaresExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 37 / 53
  • 38. Experimentos ´ Experimentos para navegacion Seguir a una personaContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones ´ El PTR de seguimiento se adapt´ para seguir a una persona. Esto se hizo o ´ ´ reemplazando el proceso de identificacion de marcas utilizando un sensor laser ´ ´ por un proceso de identificacion de marcas visuales (Sanchez-Texis, 2008). (INAOE) Octubre 28, 2009 38 / 53
  • 39. Experimentos ´ Experimentos para navegacion ´ Markovito: Precision de PTRsContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicos Pruebas Intervenciones ´ PrecisionAprendizajede PTRs Ir a un punto 120 20 85.00 % ´jerarquicos Seguir a 20 3 90.00 %ExperimentosExperimentos para una persona ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 39 / 53
  • 40. Experimentos ´ Experimentos para navegacion ´ Comparacion deliberativo/PTRsContenido ´IntroduccionRepresenta- ´cionAprendizaje ´ Se realizaron tres tipos de pruebas de navegacion con el finde PTRs ´basicos de observar las ventajas y desventajas de tres enfoques:Aprendizajede PTRs ´ ´ • Con la pol´tica optima obtenida con iteracion de valor ı ´jerarquicosExperimentos (DELIB).Experimentos para ´navegacion • Con PTRs. ´Clasificacion deademanes • Con una pol´tica que combina DELIB con PTRs. ıConclusiones (INAOE) Octubre 28, 2009 40 / 53
  • 41. Experimentos ´ Experimentos para navegacion ´ Comparacion deliberativo/PTRsContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs (a) DELIB (b) PTR (c) a + b ´basicos ´ Ventaja DELIB: Las trayectorias generadas por este enfoque son las optimas.Aprendizajede PTRs Desventaja DELIB: debe conocer el ambiente. ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (a) DELIB (b) PTR (c) a + b Ventaja PTRs: El robot puede reaccionar ante obst´ aculos inesperados y llegar a la ´ meta aunque no lo haga con una trayectoria optima. No necesita conocer el ambiente. Desventaja PTRs: puede recorrer mayor distancia. (INAOE) Octubre 28, 2009 41 / 53
  • 42. Experimentos ´ Experimentos para navegacion ExperimentosContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 42 / 53
  • 43. Experimentos ´ Clasificacion de ademanes ´ Ejemplo: gramaticas de ademanesContenido ´ ´ Objetivo: aprender una gramatica para cada ademan (9) ´Introduccion ´ enfocandonos en el reconocimiento de ademanesRepresenta- realizados por una persona. ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicos (a) (b) (c) (d) (e)ExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (f) (g) (h) (i) (j) ´ ´ (a) posicion inicial y final, (b) atencion, (c) acercar, (d) izquierda, (e) derecha, (f) detener, (g) girar-hacia-la-derecha, (h) girar-hacia-la-izquierda, (i) saludar, (j) apuntar ´ [Aviles,2006] (INAOE) Octubre 28, 2009 43 / 53
  • 44. Experimentos ´ Clasificacion de ademanes ´ Representacion 1/2Contenido ´Introduccion Cada secuencia es un vector formado por conjuntos deRepresenta- ´ siete atributos que describen al ademan. Un ejemplo de una ´cion secuencia es la siguiente:Aprendizajede PTRs ´basicos (+ + −− T F F),(+ + −+ T F F),(+ + +0 T F F),(+ + ++T F F)...Aprendizajede PTRs ´jerarquicos Atributos de movimiento Atributos de posturaExperimentosExperimentos para • ∆area • Forma : horizontal(−), ´navegacion ´Clasificacion deademanes • ∆x vertical(+), inclinada (0).Conclusiones • ∆y • Arriba (de la cabeza). Pueden tomar los valores • Derecha (de la cabeza). {+,−,0}: incremento, • Torso (sobre el torso). decremento o ninguno. (INAOE) Octubre 28, 2009 44 / 53
  • 45. Experimentos ´ Clasificacion de ademanes ´ Representacion 2/2Contenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´ Las secuencias son transformadas a una representacion de ´basicos primer orden reemplazando sus atributos con un predicado.Aprendizajede PTRs ´jerarquicos hmov(Estado,derecha), vmov(Estado,subiendo),ExperimentosExperimentos para ˜ tamano(Estado,inc), forma(Estado,vertical), ´navegacion ´Clasificacion de derecha(Estado,si), en rostro(Estado,no),. . .ademanesConclusiones (INAOE) Octubre 28, 2009 45 / 53
  • 46. Experimentos ´ Clasificacion de ademanes Entrenamiento y pruebaContenido • Conjuntos de entrenamiento: De 50 secuencias por ´Introduccion ´ ademan se seleccionaron aleatoriamente 20Representa- ´cion secuencias. Las secuencias restantes forman elAprendizaje conjunto de prueba.de PTRs ´basicos • Conjuntos de prueba: dos sub-conjuntos seleccionandoAprendizajede PTRs aleatoriamente 2 y 10 secuencias para cada uno. ´jerarquicos • Ejemplos negativos: 1 secuencia aleatoria de cadaExperimentosExperimentos para ´navegacion ´ ademan. ´Clasificacion deademanes ´ ´ ´ • Se aprendio una gramatica para cada ademan,Conclusiones ´ obteniendo 9 gramaticas. ´ • Se mostro cada secuencia del conjunto de pruebas a ´ ´ las gramaticas. La gramatica que obtuviera la mejor ´ ´ evaluacion corresponde al ademan mostrado. ´ • Se repitio el proceso 10 veces para cada sub-conjunto. (INAOE) Octubre 28, 2009 46 / 53
  • 47. Experimentos ´ Clasificacion de ademanes ´ Comparacion con HMMsContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicos ´ Precision globalAprendizajede PTRs ´jerarquicosExperimentos 2 secuencias 10 secuenciasExperimentos para ´navegacion FOSeq HMMs FOSeq HMMs ´Clasificacion deademanes 95.17 % 94.85 % 97.34 % 97.56 %Conclusiones (INAOE) Octubre 28, 2009 47 / 53
  • 48. Experimentos ´ Clasificacion de ademanes ´ Matriz de confusion para 10 secuenciasContenido ´ Prediccion ´Introduccion 1 2 3 4 5 6 7 8 9 Tota 1 99.33 0.67 300Representa- 2 97.24 2.76 290 ´cion 3 100.00 290 Clase real 4 13.10 1.72 85.17 290Aprendizaje 5 100.00 300de PTRs 6 1.03 97.59 1.38 290 ´basicos 7 2.07 96.55 1.38 290 8 100.00 290Aprendizaje 9 100.00 290de PTRs Total 301 320 295 255 306 283 280 292 298 263 ´jerarquicosExperimentos ´ 1) atencion, 2) acercar, 3) izquierda, 4) apuntar, 5) derecha, 6) detenerse, 7) girar-hacia-la-izquierda, 8)Experimentos para ´navegacion ´ ´ ´ girar-hacia-la-derecha, 9) saludar. La ultima columna indica el numero total de secuencias de cada ademan. ´Clasificacion deademanes ´ ´ El ultimo renglon indica el numero de secuencias clasificadas como la clase indicada en la columna. ´Conclusiones Ademanes mejor clasificados: izquierda, derecha, girar-hacia-la-derecha y saludar. ´ Ademan peor clasificado: apuntar, donde 13 % de los ejemplos se clasificaron como acercar. (INAOE) Octubre 28, 2009 48 / 53
  • 49. Experimentos ´ Clasificacion de ademanes ´ Ejemplo de gramaticas de ademanesContenido ´Introduccion Acercar ApuntarRepresenta- ´cion ˜ S → R5,tamano(dec), ˜ S → R9,R4,R5,R4,tamano(inc), forma(vertical),R12,R10,R2,R7, forma(vertical),R2,hmov(ninguno),. . .Aprendizajede PTRs R11,R13,vmov(bajando), . . . R1 → en rostro(Estado,no), ´basicos R1 → en rostro(Estado,no), sobre torso(Estado,si)Aprendizaje sobre torso(Estado,si) R2 → derecha(Estado,no),R1de PTRs R2 → forma(Estado,horizontal), ... ´jerarquicos derecha(Estado,no),R1Experimentos ...Experimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 49 / 53
  • 50. Conclusiones Contribuciones de la tesisContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicos ´ • Representacion de alto nivel mediante unaAprendizaje ´ ´ transformacion de informacion de bajo nivel.de PTRs ´jerarquicos • Algoritmo para aprendizaje de conceptos y PTRsExperimentos ´ basicos.Experimentos para ´navegacion ´Clasificacion de ´ • Algoritmo para aprendizaje de gramaticas.ademanesConclusiones (INAOE) Octubre 28, 2009 50 / 53
  • 51. Conclusiones ConclusionesContenido ´IntroduccionRepresenta- ´cion ´ • Una representacion relacional a partir de datos crudosAprendizajede PTRs abre posibilidades de utilizar diferentes algoritmos de ´basicosAprendizaje aprendizaje al reducir el volumen de datos que losde PTRs ´jerarquicos sensores producen.Experimentos • Los PTRs aprendidos en un ambiente pueden serExperimentos para ´navegacion utilizados en nuevos ambientes con caracter´sticas ı ´Clasificacion deademanes similares.Conclusiones ´ ´ • La clonacion facilita la programacion de un robot. (INAOE) Octubre 28, 2009 51 / 53
  • 52. Conclusiones ConclusionesContenido ´IntroduccionRepresenta- ´cion ´ • Las gramaticas aprendidas permiten expresarAprendizajede PTRs ´ sub-tareas en el caso de navegacion o sub-ademanes ´basicos ´ en el caso de la clasificacion de ademanes.Aprendizajede PTRs ´ ´ • La representacion expl´cita de las gramaticas permite ı ´jerarquicos analizar similitudes y diferencias entre ademanes.ExperimentosExperimentos para ´navegacion ´ ´ ´ • La induccion de gramaticas se probo en el aprendizaje ´Clasificacion deademanes ´ ´ de PTRs jerarquicos de navegacion y para generarConclusiones ´ ´ gramaticas de ademanes para clasificacion. En ambas aplicaciones se obtuvieron buenos resultados. (INAOE) Octubre 28, 2009 52 / 53
  • 53. Conclusiones Trabajo futuroContenido ´Introduccion ´ • Establecimiento de diferentes criterios de evaluacion deRepresenta- ´ comportamientos.cionAprendizaje ´ • Aprendizaje con retroalimentacion.de PTRs ´basicos • Aprendizaje de PTRs para resolver situaciones deAprendizajede PTRs conflicto. ´jerarquicos • Aprendizaje de valores de velocidad.ExperimentosExperimentos para ´navegacion ´ ´ • Ampliacion de la representacion del ambiente. ´Clasificacion deademanes • Aprendizaje de jerarqu´as con mas niveles. ıConclusiones ´ • Creacion de nuevos predicados para estados desconocidos. ´ • Mejora del algoritmo de generalizacion en el ´ aprendizaje de gramaticas. (INAOE) Octubre 28, 2009 53 / 53