Aprendizaje de Programas Teleo-Reactivos para Robótica Móvil
Upcoming SlideShare
Loading in...5
×
 

Aprendizaje de Programas Teleo-Reactivos para Robótica Móvil

on

  • 498 views

 

Statistics

Views

Total Views
498
Views on SlideShare
498
Embed Views
0

Actions

Likes
0
Downloads
0
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Aprendizaje de Programas Teleo-Reactivos para Robótica Móvil Aprendizaje de Programas Teleo-Reactivos para Robótica Móvil Presentation Transcript

  • Aprendizaje de Programas Teleo-ReactivosContenido ´Introduccion ´ ´ para Robotica MovilRepresenta- ´cionAprendizajede PTRs Blanca A. Vargas Govea ´basicos Asesor: Dr. Eduardo F. Morales ManzanaresAprendizajede PTRs ´jerarquicos INAOEExperimentosExperimentos para ´navegacion ´ Octubre 28, 2009Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 1 / 53
  • Contenido ContenidoContenido ´Introduccion ´ 1 IntroduccionRepresenta- ´cionAprendizaje ´ 2 Representacionde PTRs ´basicosAprendizaje ´ 3 Aprendizaje de PTRs basicosde PTRs ´jerarquicosExperimentos ´ 4 Aprendizaje de PTRs jerarquicosExperimentos para ´navegacion ´Clasificacion deademanes 5 ExperimentosConclusiones ´ Experimentos para navegacion ´ Clasificacion de ademanes 6 Conclusiones (INAOE) Octubre 28, 2009 2 / 53
  • ´ Introduccion ´ MotivacionContenido ´Introduccion Robot, ve a la sala Creciente demanda deRepresenta- ´cion robots de servicioAprendizaje ´ • Metodos para simplificarde PTRs ´basicos ´ la programacion.Aprendizajede PTRs ´ • Ambientes dinamicos. ´jerarquicos • Ambientes distintos:ExperimentosExperimentos para ´navegacion casa, oficina, ´Clasificacion deademanes laboratorio.Conclusiones ´ Un robot movil que aprenda a realizar tareas en ambientes ´ dinamicos. (INAOE) Octubre 28, 2009 3 / 53
  • ´ Introduccion ´ ProblematicaContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 4 / 53
  • ´ Introduccion En esta tesis:Contenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 5 / 53
  • ´ Introduccion Trabajo relacionadoContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 6 / 53
  • ´ Representacion ´ RepresentacionContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 7 / 53
  • ´ Representacion ´ Representacion del ambiente 1/2Contenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones ´ [Hernandez, 2005] (INAOE) Octubre 28, 2009 8 / 53
  • ´ Representacion ´ Representacion del ambiente 2/2Contenido Distancia ´ Angulo Atrib Tipo ´Introduccion 2.18 -73 -1.41 izquierdaRepresenta- ´cion 2.17 -47 0 esquinaAprendizaje 3.46 -89.5 1.06 paredde PTRs ´basicosAprendizaje Ventajade PTRs ´jerarquicos ´ Esta transformacion reduce de cientos de datos por estadoExperimentosExperimentos para ´navegacion a unos pocos atributos significativos ´Clasificacion deademanesConclusiones ´ ´ ´ Se agrega la posicion y orientacion del robot, informacion de los sonares traseros y la meta. Se transforma en los siguientes ´ Pares estado-accion: ´ [robot(X,Y,Θ),atras(n),meta(Xg,Yg),marca(Dist,Angulo,Atrib,Tipo),..,],Accion ´ ´ ´ [robot(X,Y,Θ),atras(n),meta(Xg,Yg),marca(Dist,Angulo,Atrib,Tipo),..,],Accion ´ ´ . (INAOE) . Octubre 28, 2009 9 / 53
  • ´ Aprendizaje de PTRs basicos ´ Aprendizaje de PTRs basicosContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 10 / 53
  • ´ Aprendizaje de PTRs basicos ´ ´ Definicion de la tarea de navegacionContenido ´IntroduccionRepresenta- ´cion Meta obstáculo dinámico Sub-tareasAprendizajede PTRs girar-derecha ´basicos • Deambular.Aprendizajede PTRs girar-izquierda • Orientarse. ´jerarquicosExperimentos • Salir de orientarse avanzarExperimentos para ´navegacion trampas. ´Clasificacion deademanes salir-de- • Seguir a unConclusiones trampa ´ objeto movil. orientarse (INAOE) Octubre 28, 2009 11 / 53
  • ´ Aprendizaje de PTRs basicos ´ ´ ¿Como se aprendio?Contenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizaje ´ Mediante clonacion, sede PTRs ´jerarquicos aprenden PTRs para que elExperimentos robot pueda realizar lasExperimentos para ´navegacion sub-tareas definidas. ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 12 / 53
  • ´ Aprendizaje de PTRs basicos ´ ClonacionContenido Extraer conocimiento expl´cito de habilidades de bajo nivel ı ´Introduccion (Michie,1992).Representa- ´cion • Obtener ejemplos o trazas.Aprendizajede PTRs • Dar las trazas como entrada a ´basicos algoritmos de aprendizaje.Aprendizajede PTRs • Obtener modelos que al ´jerarquicos ´ ejecutarse produciranExperimentosExperimentos para ´navegacion comportamientos similares a ´Clasificacion deademanes ´ quien genero los modelos.Conclusiones • Se les llama clones porque reproducen la habilidad de una persona o sistema. (INAOE) Octubre 28, 2009 13 / 53
  • ´ Aprendizaje de PTRs basicos Programas Teleo-ReactivosContenido ´ Conjunto de clausulas que ejecutan cont´nuamente una ı ´Introduccion ´ accion en el estado actual mientras sus condiciones sonRepresenta- satisfechas (Nilsson, 1994). ´cion ´ ptr1(Estado,Accion) ←Aprendizajede PTRs ´ condicion meta(Estado). ´basicos ´ ptr1(Estado,Accion) ←Aprendizaje ´ condicion1(Estado,...),de PTRs ´ condicion2(Estado, ...), ´jerarquicos ...Experimentos ptr1(Estado, PTR2 ) ←Experimentos para ´navegacion ´ condicion1(Estado,...), ´Clasificacion de ´ condicion3(Estado, ...), . . .ademanes ...Conclusiones Ventaja Uso de acciones cont´nuas, ı capaces de reaccionar en un ´ ambiente dinamico. (INAOE) Octubre 28, 2009 14 / 53
  • ´ Aprendizaje de PTRs basicosContenido ´Introduccion ´ PTRs basicosRepresenta- Sus acciones son ´cionAprendizaje unicamente acciones ´de PTRs ´ ´ atomicasbasicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones ´ PTRs jerarquicos Sus acciones pueden incluir otros PTRs (INAOE) Octubre 28, 2009 15 / 53
  • ´ Aprendizaje de PTRs basicos ´ Aprendizaje de PTRs basicosContenido Objetivo: Producir un conjunto de predicados que ´Introduccion ´ devuelvan una accion particular, capturando elRepresenta- comportamiento deseado. ´cion 1 Dados: una traza (o trazas), un predicado objetivo yAprendizajede PTRs posible conocimiento del dominio ´basicosAprendizaje ´ 2 Generar ejemplos negativos. Se realizo intercambiandode PTRs ´jerarquicos las acciones.Experimentos 3 Aprender PTRs usando ALEPH (un sistema de ILP).Experimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 16 / 53
  • ´ Aprendizaje de PTRs basicos Conocimiento del dominioContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 17 / 53
  • ´ Aprendizaje de PTRs basicos Ejemplo: deambularContenido Entrada: trazas de deambular, el ´Introduccion predicado objetivo, el conceptoRepresenta- ´cion aprendido zona-frontal, zona-trasera y elAprendizaje predicado para obtener la marca mas´de PTRs ´basicos cercana.Aprendizajede PTRs Salida: ´jerarquicosExperimentos deambular(Estado,avanzar) ←Experimentos para ´navegacion zona-frontal(Estado,libre). ´Clasificacion deademanes deambular(Estado,girar-izq) ← Robot controlado por el PTRConclusiones ´ zona-frontal(Estado,obstaculo), para deambular obst-cercano(Estado,Marca,Dist,Ang), menor-igual(Ang,-1.51)). deambular(Estado,girar-der) ← ´ zona-frontal(Estado,obstaculo). (INAOE) Octubre 28, 2009 18 / 53
  • ´ Aprendizaje de PTRs jerarquicos ´ Aprendizaje de PTRs jerarquicosContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 19 / 53
  • ´ Aprendizaje de PTRs jerarquicos ´ Aprendizaje de gramaticasContenido FOSeq (First Order Sequence learning) ´IntroduccionRepresenta- ´cion ´ Entrada: un conjunto de secuencias de PTRs basicosAprendizaje obtenidas al guiar al robot.de PTRs ´basicos FOSeq:Aprendizajede PTRs ´jerarquicos 1 ´ Induce una gramatica para cada secuencia,Experimentos identificando elementos repetidos (n-gramas).Experimentos para ´navegacion 2 ´ Evalua las secuencias con cada gramatica aprendida y ´ ´Clasificacion deademanes ´ selecciona la gramatica mejor evaluada.Conclusiones 3 ´ ´ Aplica un proceso de generalizacion a la gramatica ´ mejor evaluada y las gramaticas que aportan elementos nuevos. ´ Salida: Una gramatica que puede usarse como controlador ´ (PTR jerarquico) o como clasificador. (INAOE) Octubre 28, 2009 20 / 53
  • ´ Aprendizaje de PTRs jerarquicos ´ InduccionContenido ´IntroduccionRepresenta- ´cion • El algoritmo busca los n-gramas (e.g., sub-secuenciasAprendizaje de n-elementos) que aparezcan al menos dos veces ende PTRs ´basicos la secuencia.Aprendizaje • Los n-gramas candidatos son buscados de formade PTRs ´jerarquicos incremental por su longitud.ExperimentosExperimentos para • El n-grama con mayor frecuencia es seleccionado, ´navegacion ´Clasificacion de ´ generando una nueva regla para la gramatica yademanesConclusiones reemplazando con un s´mbolo no-terminal todas las ı ocurrencias del n-grama que aparecen en la secuencia original. (INAOE) Octubre 28, 2009 21 / 53
  • ´ Aprendizaje de PTRs jerarquicos ´ Induccion: ejemploContenido ´IntroduccionRepresenta- ´cion S→a b c b c b c b a b c b d b e b c S2 → R2 d b e R1Aprendizaje b c (5) R1 → b cde PTRs Agrega: R1 → b c R2 → a R1 b ´basicos S1 → a R1 R1 R1 b a R1 b d b e R1Aprendizaje Eliminando elementos repetidos:de PTRs ´jerarquicos S1 → a R1 b a R1 b d b e R1Experimentos R1 b (2)Experimentos para ´navegacion a R1 (2) ´Clasificacion de a R1 b (2)ademanes Agrega: R2 → a R1 b R2 d b e R1Conclusiones S2 → R2 R2 d b e R1 Eliminando elementos repetidos: a R1 b b c S2 → R2 d b e R1 b c (INAOE) Octubre 28, 2009 22 / 53
  • ´ Aprendizaje de PTRs jerarquicos ´ Induccion: con predicadosContenido Cuando los elementos de la secuencia son predicados, la ´Introduccion ´ ´ ´ gramatica inducida es una Gramatica de Clausula DefinidaRepresenta- ´cion (GCD). Las GCDs:Aprendizajede PTRs ´ ´ • Son una extension de las gramaticas libres de contexto, ´basicos • pueden tener argumentos yAprendizajede PTRs ´jerarquicos • son expresadas y ejecutadas en Prolog.ExperimentosExperimentos para ´navegacion ´Clasificacion de ´ La entrada es una secuencia de PTRs basicos como laademanes siguiente:Conclusiones Entrada ´ ´ ´ pred1(Estado1,accion1), pred2(Estado2,accion1), pred1(Estado3,accion2), . . . (INAOE) Octubre 28, 2009 23 / 53
  • ´ Aprendizaje de PTRs jerarquicos ´ EvaluacionContenido ´Introduccion ´ • Cada gramatica aprendida se usa para analizarRepresenta- ´ sintacticamente todas las secuencias del conjunto ´cionAprendizaje proporcionado por el usuario.de PTRs ´basicos ´ • Por cada secuencia analizada, la gramatica recibe unaAprendizaje ´ ´ evaluacion, calculada por la funcion:de PTRs ´jerarquicos nExperimentos cjExperimentos para eval(Gi ) = (1) ´navegacion cj + fj ´Clasificacion deademanes j=1Conclusiones donde cj y fj representan el numero de elementos que ´ ´ la gramatica es capaz o incapaz de aceptar, respectivamente. ´ • La gramatica mejor evaluada es seleccionada. (INAOE) Octubre 28, 2009 24 / 53
  • ´ Aprendizaje de PTRs jerarquicos ´ GeneralizacionContenido ´Introduccion ´ La idea principal es obtener una nueva gramatica queRepresenta- ´cion ´ mejore la cobertura de gramatica mejor evaluada.Aprendizajede PTRs ´ 1 Seleccionar la gramatica que proporciona el mayor ´basicos numero de elementos nuevos o unificaciones diferentes ´Aprendizajede PTRs de predicados. ´jerarquicos ´ 2 Calcular el lgg (generalizacion menos general) entre lasExperimentosExperimentos para ´navegacion ´ reglas de ambas gramaticas. ´Clasificacion deademanes 3 Aceptar la nueva regla si mejora la cobertura original, siConclusiones no, descartarla. 4 Terminar el proceso hasta alcanzar un umbral de cobertura o hasta que no hay mejora. (INAOE) Octubre 28, 2009 25 / 53
  • ´ Aprendizaje de PTRs jerarquicos Ejemplo lggContenido ´IntroduccionRepresenta- ´cion ´ c1 = pred(Estado,accion1) ← ´ c2 = pred(Estado,Accion) ← ´ cond1(Estado,accion1), ´ cond1(Estado,accion1),Aprendizajede PTRs ´ cond2(Estado,accion2). ´ cond2(Estado,accion3). ´basicosAprendizajede PTRs ´jerarquicos ´ Calculando el lgg(c1,c2), la clausula es:ExperimentosExperimentos para ´ pred(Estado,Accion) ← ´navegacion ´ cond1(Estado,accion1), ´Clasificacion deademanes ´ cond2(Estado,Accion).Conclusiones ´ ´ donde las constantes accion2 y accion3 del predicado ´ cond2 son reemplazadas por la variable Accion. (INAOE) Octubre 28, 2009 26 / 53
  • ´ Aprendizaje de PTRs jerarquicos ´ De gramatica a programaContenido ´ R1 → orientar(Estado1,Accion), ´Introduccion ´ deambular(Estado2,accion1)Representa- ´ R2 → orientar(Estado1,accion2), ´cion ´ deambular(Estado2,Accion)Aprendizaje ´ R3 → orientar(Estado1,accion3),de PTRs ´ deambular(Estado2,Accion) ´basicosAprendizajede PTRs ´jerarquicos ´ ´ (R1) pred-nuevo1(Estado1,accion1) → orientarse(Estado1,Accion),Experimentos ´ deambular(Estado2,accion1)Experimentos para ´ ´ (R2) pred-nuevo2(Estado1,Accion) → orientar(Estado1,accion2), ´navegacion ´Clasificacion de ´ deambular(Estado2,Accion)ademanes ´ ´ (R3) pred-nuevo3(Estado1,Accion) → orientar(Estado1,accion3),Conclusiones ´ deambular(Estado2,Accion) Cada regla puede interpretarse como una sub-tarea (INAOE) Octubre 28, 2009 27 / 53
  • ´ Aprendizaje de PTRs jerarquicos ´ Ejemplo en navegacion: PTR para ir a unContenido punto (deambular + orientarse) ´Introduccion ´ Entrada: secuencias de los PTRs basicos deambular yRepresenta- ´cion orientar.Aprendizaje orientar(Estado,girar-izq),deambular(Estado,girar-izq), deambular(Estado,girar-der),de PTRs deambular(Estado,avanzar),orientar(Estado,girar-izq),deambular(Estado,avanzar),. . . ´basicos ...Aprendizajede PTRs ´jerarquicos Salida:Experimentos ir-a(Estado,nil) ←Experimentos para en-meta(Estado). ´navegacion ´Clasificacion de ´ ir-a(Estado,Accion) ←ademanes orientar(Estado,ninguna),Conclusiones ´ deambular(Estado,Accion). ´ ir-a(Estado,Accion) ← deambular(Estado,avanzar), ´ orientar(Estado,Accion). ´ ir-a(Estado,Accion) ← ´ deambular(Estado,Accion). (INAOE) Octubre 28, 2009 28 / 53
  • Experimentos ExperimentosContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 29 / 53
  • Experimentos ´ Experimentos para navegacion ´ Plataforma de simulacionContenido ´ Se utilizo el software para control de robots Player/Stage. ´Introduccion • Diferentes escenarios: 10 mapasRepresenta- ´cion diferentes a los de entrenamiento.Aprendizajede PTRs ´ ´ • Obstaculos fijos y moviles de ´basicos ˜ diversas formas y tamanos.Aprendizajede PTRs ´ • Limitaciones del sensor laser: 50 cm ´jerarquicosExperimentos sobre el piso de forma paralela, seExperimentos para ´navegacion ´ evito el vidrio. ´Clasificacion deademanes ´ • Precision:Conclusiones e p= × 100 (2) e+f donde e es el numero de tareas o sub-tareas ´ realizadas exitosamente y f es el numero de tareas ´ o sub-tareas que fallaron. (INAOE) Octubre 28, 2009 30 / 53
  • Experimentos ´ Experimentos para navegacion MapasContenido Mapas de entrenamiento Mapas de prueba ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para Ventaja ´navegacion ´Clasificacion deademanes Los PTRs aprendidos puedenConclusiones usarse en ambientes distintos al de entrenamiento (INAOE) Octubre 28, 2009 31 / 53
  • Experimentos ´ Experimentos para navegacion PTRs aprendidosContenido ´ PTR basico E+ y E− Conoc-dom Acciones deambular 979 zona-frontal* avanzar ´Introduccion orientar 2982 zona-trasera* girar-derRepresenta- salir-de-trampa 952 menor-igual girar-izq ´cion seguir 619 mayor-igual detenerAprendizaje obst-mas-cercano retrocederde PTRs ´ obtener-angulos ´basicos zona-orienta*Aprendizaje config-paredes*de PTRs ´jerarquicos lado-pared* zona-seguir*ExperimentosExperimentos para rango-distancia* ´navegacion obtener-vals ´Clasificacion deademanesConclusiones (*) significa que el concepto fue aprendido ´ PTR jerarquico No. de secuencias deambular + orientar (ir a un punto) 12 deambular + orientar + salir de trampa 16 seguir + deambular 10 seguir + deambular + salir de trampa 14 ´ PTRs jerarquicos aprendidos y numero de trazas ´ (INAOE) Octubre 28, 2009 32 / 53
  • Experimentos ´ Experimentos para navegacion ´ Ejemplos: PTRs basicosContenido Meta Meta Meta Meta ´IntroduccionRepresenta- ´cionAprendizajede PTRs Salir de trampa ´basicosAprendizajede PTRs ´jerarquicosExperimentos DeambularExperimentos para ´navegacion ´Clasificacion deademanesConclusiones Orientar ´ Seguir a un objeto movil (INAOE) Octubre 28, 2009 33 / 53
  • Experimentos ´ Experimentos para navegacion ´ Ejemplos: PTRs jerarquicosContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs Ir a un punto ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones Visitando distintos lugares (INAOE) Octubre 28, 2009 34 / 53
  • Experimentos ´ Experimentos para navegacion ´ ´ Simulacion: Precision de PTRsContenido PTR Pruebas ´ Precision ´Introduccion Deambular 30 86.67 %Representa- Orientar 30 100.00 % ´cionAprendizaje Salir de trampa 30 80.00 %de PTRs ´basicos Seguir 40 97.50 %Aprendizajede PTRs ´jerarquicos PTR Pruebas ´ PrecisionExperimentos deambular + orientar 30 86.67 %Experimentos para ´navegacion ´Clasificacion de (ir a un punto)ademanes deambular + orientar + 30 93.33 %Conclusiones salir de trampa seguir + deambular 40 90.00 % seguir + deambular + 40 100.00 % salir de trampa visitar 5 lugares* 30 96.67 % (INAOE) Octubre 28, 2009 35 / 53
  • Experimentos ´ Experimentos para navegacion ´ ´ Modulo de navegacion para MarkovitoContenido ´IntroduccionRepresenta- ´cion Robot PeopleBot de ActivMedia equipado con un anillo deAprendizaje ´ ´ 16 sonares en la parte inferior y sistema de vision estereo.de PTRs ´basicosAprendizaje • Navegar hacia distintosde PTRs ´jerarquicos lugares.ExperimentosExperimentos para • Seguir a una persona. ´navegacion ´Clasificacion deademanes • Encontrar un objeto.Conclusiones • Entregar mensajes/objetos. (INAOE) Octubre 28, 2009 36 / 53
  • Experimentos ´ Experimentos para navegacion Navegar hacia distintos lugaresContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicos Visitando distintos lugaresExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 37 / 53
  • Experimentos ´ Experimentos para navegacion Seguir a una personaContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones ´ El PTR de seguimiento se adapt´ para seguir a una persona. Esto se hizo o ´ ´ reemplazando el proceso de identificacion de marcas utilizando un sensor laser ´ ´ por un proceso de identificacion de marcas visuales (Sanchez-Texis, 2008). (INAOE) Octubre 28, 2009 38 / 53
  • Experimentos ´ Experimentos para navegacion ´ Markovito: Precision de PTRsContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicos Pruebas Intervenciones ´ PrecisionAprendizajede PTRs Ir a un punto 120 20 85.00 % ´jerarquicos Seguir a 20 3 90.00 %ExperimentosExperimentos para una persona ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 39 / 53
  • Experimentos ´ Experimentos para navegacion ´ Comparacion deliberativo/PTRsContenido ´IntroduccionRepresenta- ´cionAprendizaje ´ Se realizaron tres tipos de pruebas de navegacion con el finde PTRs ´basicos de observar las ventajas y desventajas de tres enfoques:Aprendizajede PTRs ´ ´ • Con la pol´tica optima obtenida con iteracion de valor ı ´jerarquicosExperimentos (DELIB).Experimentos para ´navegacion • Con PTRs. ´Clasificacion deademanes • Con una pol´tica que combina DELIB con PTRs. ıConclusiones (INAOE) Octubre 28, 2009 40 / 53
  • Experimentos ´ Experimentos para navegacion ´ Comparacion deliberativo/PTRsContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs (a) DELIB (b) PTR (c) a + b ´basicos ´ Ventaja DELIB: Las trayectorias generadas por este enfoque son las optimas.Aprendizajede PTRs Desventaja DELIB: debe conocer el ambiente. ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (a) DELIB (b) PTR (c) a + b Ventaja PTRs: El robot puede reaccionar ante obst´ aculos inesperados y llegar a la ´ meta aunque no lo haga con una trayectoria optima. No necesita conocer el ambiente. Desventaja PTRs: puede recorrer mayor distancia. (INAOE) Octubre 28, 2009 41 / 53
  • Experimentos ´ Experimentos para navegacion ExperimentosContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicosExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 42 / 53
  • Experimentos ´ Clasificacion de ademanes ´ Ejemplo: gramaticas de ademanesContenido ´ ´ Objetivo: aprender una gramatica para cada ademan (9) ´Introduccion ´ enfocandonos en el reconocimiento de ademanesRepresenta- realizados por una persona. ´cionAprendizajede PTRs ´basicosAprendizajede PTRs ´jerarquicos (a) (b) (c) (d) (e)ExperimentosExperimentos para ´navegacion ´Clasificacion deademanesConclusiones (f) (g) (h) (i) (j) ´ ´ (a) posicion inicial y final, (b) atencion, (c) acercar, (d) izquierda, (e) derecha, (f) detener, (g) girar-hacia-la-derecha, (h) girar-hacia-la-izquierda, (i) saludar, (j) apuntar ´ [Aviles,2006] (INAOE) Octubre 28, 2009 43 / 53
  • Experimentos ´ Clasificacion de ademanes ´ Representacion 1/2Contenido ´Introduccion Cada secuencia es un vector formado por conjuntos deRepresenta- ´ siete atributos que describen al ademan. Un ejemplo de una ´cion secuencia es la siguiente:Aprendizajede PTRs ´basicos (+ + −− T F F),(+ + −+ T F F),(+ + +0 T F F),(+ + ++T F F)...Aprendizajede PTRs ´jerarquicos Atributos de movimiento Atributos de posturaExperimentosExperimentos para • ∆area • Forma : horizontal(−), ´navegacion ´Clasificacion deademanes • ∆x vertical(+), inclinada (0).Conclusiones • ∆y • Arriba (de la cabeza). Pueden tomar los valores • Derecha (de la cabeza). {+,−,0}: incremento, • Torso (sobre el torso). decremento o ninguno. (INAOE) Octubre 28, 2009 44 / 53
  • Experimentos ´ Clasificacion de ademanes ´ Representacion 2/2Contenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´ Las secuencias son transformadas a una representacion de ´basicos primer orden reemplazando sus atributos con un predicado.Aprendizajede PTRs ´jerarquicos hmov(Estado,derecha), vmov(Estado,subiendo),ExperimentosExperimentos para ˜ tamano(Estado,inc), forma(Estado,vertical), ´navegacion ´Clasificacion de derecha(Estado,si), en rostro(Estado,no),. . .ademanesConclusiones (INAOE) Octubre 28, 2009 45 / 53
  • Experimentos ´ Clasificacion de ademanes Entrenamiento y pruebaContenido • Conjuntos de entrenamiento: De 50 secuencias por ´Introduccion ´ ademan se seleccionaron aleatoriamente 20Representa- ´cion secuencias. Las secuencias restantes forman elAprendizaje conjunto de prueba.de PTRs ´basicos • Conjuntos de prueba: dos sub-conjuntos seleccionandoAprendizajede PTRs aleatoriamente 2 y 10 secuencias para cada uno. ´jerarquicos • Ejemplos negativos: 1 secuencia aleatoria de cadaExperimentosExperimentos para ´navegacion ´ ademan. ´Clasificacion deademanes ´ ´ ´ • Se aprendio una gramatica para cada ademan,Conclusiones ´ obteniendo 9 gramaticas. ´ • Se mostro cada secuencia del conjunto de pruebas a ´ ´ las gramaticas. La gramatica que obtuviera la mejor ´ ´ evaluacion corresponde al ademan mostrado. ´ • Se repitio el proceso 10 veces para cada sub-conjunto. (INAOE) Octubre 28, 2009 46 / 53
  • Experimentos ´ Clasificacion de ademanes ´ Comparacion con HMMsContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicos ´ Precision globalAprendizajede PTRs ´jerarquicosExperimentos 2 secuencias 10 secuenciasExperimentos para ´navegacion FOSeq HMMs FOSeq HMMs ´Clasificacion deademanes 95.17 % 94.85 % 97.34 % 97.56 %Conclusiones (INAOE) Octubre 28, 2009 47 / 53
  • Experimentos ´ Clasificacion de ademanes ´ Matriz de confusion para 10 secuenciasContenido ´ Prediccion ´Introduccion 1 2 3 4 5 6 7 8 9 Tota 1 99.33 0.67 300Representa- 2 97.24 2.76 290 ´cion 3 100.00 290 Clase real 4 13.10 1.72 85.17 290Aprendizaje 5 100.00 300de PTRs 6 1.03 97.59 1.38 290 ´basicos 7 2.07 96.55 1.38 290 8 100.00 290Aprendizaje 9 100.00 290de PTRs Total 301 320 295 255 306 283 280 292 298 263 ´jerarquicosExperimentos ´ 1) atencion, 2) acercar, 3) izquierda, 4) apuntar, 5) derecha, 6) detenerse, 7) girar-hacia-la-izquierda, 8)Experimentos para ´navegacion ´ ´ ´ girar-hacia-la-derecha, 9) saludar. La ultima columna indica el numero total de secuencias de cada ademan. ´Clasificacion deademanes ´ ´ El ultimo renglon indica el numero de secuencias clasificadas como la clase indicada en la columna. ´Conclusiones Ademanes mejor clasificados: izquierda, derecha, girar-hacia-la-derecha y saludar. ´ Ademan peor clasificado: apuntar, donde 13 % de los ejemplos se clasificaron como acercar. (INAOE) Octubre 28, 2009 48 / 53
  • Experimentos ´ Clasificacion de ademanes ´ Ejemplo de gramaticas de ademanesContenido ´Introduccion Acercar ApuntarRepresenta- ´cion ˜ S → R5,tamano(dec), ˜ S → R9,R4,R5,R4,tamano(inc), forma(vertical),R12,R10,R2,R7, forma(vertical),R2,hmov(ninguno),. . .Aprendizajede PTRs R11,R13,vmov(bajando), . . . R1 → en rostro(Estado,no), ´basicos R1 → en rostro(Estado,no), sobre torso(Estado,si)Aprendizaje sobre torso(Estado,si) R2 → derecha(Estado,no),R1de PTRs R2 → forma(Estado,horizontal), ... ´jerarquicos derecha(Estado,no),R1Experimentos ...Experimentos para ´navegacion ´Clasificacion deademanesConclusiones (INAOE) Octubre 28, 2009 49 / 53
  • Conclusiones Contribuciones de la tesisContenido ´IntroduccionRepresenta- ´cionAprendizajede PTRs ´basicos ´ • Representacion de alto nivel mediante unaAprendizaje ´ ´ transformacion de informacion de bajo nivel.de PTRs ´jerarquicos • Algoritmo para aprendizaje de conceptos y PTRsExperimentos ´ basicos.Experimentos para ´navegacion ´Clasificacion de ´ • Algoritmo para aprendizaje de gramaticas.ademanesConclusiones (INAOE) Octubre 28, 2009 50 / 53
  • Conclusiones ConclusionesContenido ´IntroduccionRepresenta- ´cion ´ • Una representacion relacional a partir de datos crudosAprendizajede PTRs abre posibilidades de utilizar diferentes algoritmos de ´basicosAprendizaje aprendizaje al reducir el volumen de datos que losde PTRs ´jerarquicos sensores producen.Experimentos • Los PTRs aprendidos en un ambiente pueden serExperimentos para ´navegacion utilizados en nuevos ambientes con caracter´sticas ı ´Clasificacion deademanes similares.Conclusiones ´ ´ • La clonacion facilita la programacion de un robot. (INAOE) Octubre 28, 2009 51 / 53
  • Conclusiones ConclusionesContenido ´IntroduccionRepresenta- ´cion ´ • Las gramaticas aprendidas permiten expresarAprendizajede PTRs ´ sub-tareas en el caso de navegacion o sub-ademanes ´basicos ´ en el caso de la clasificacion de ademanes.Aprendizajede PTRs ´ ´ • La representacion expl´cita de las gramaticas permite ı ´jerarquicos analizar similitudes y diferencias entre ademanes.ExperimentosExperimentos para ´navegacion ´ ´ ´ • La induccion de gramaticas se probo en el aprendizaje ´Clasificacion deademanes ´ ´ de PTRs jerarquicos de navegacion y para generarConclusiones ´ ´ gramaticas de ademanes para clasificacion. En ambas aplicaciones se obtuvieron buenos resultados. (INAOE) Octubre 28, 2009 52 / 53
  • Conclusiones Trabajo futuroContenido ´Introduccion ´ • Establecimiento de diferentes criterios de evaluacion deRepresenta- ´ comportamientos.cionAprendizaje ´ • Aprendizaje con retroalimentacion.de PTRs ´basicos • Aprendizaje de PTRs para resolver situaciones deAprendizajede PTRs conflicto. ´jerarquicos • Aprendizaje de valores de velocidad.ExperimentosExperimentos para ´navegacion ´ ´ • Ampliacion de la representacion del ambiente. ´Clasificacion deademanes • Aprendizaje de jerarqu´as con mas niveles. ıConclusiones ´ • Creacion de nuevos predicados para estados desconocidos. ´ • Mejora del algoritmo de generalizacion en el ´ aprendizaje de gramaticas. (INAOE) Octubre 28, 2009 53 / 53