Inteligencia artificial Blanes 2004 José Ignacio Latorre Dept. ECM, UB
Un poquito de historia <ul><li>Alan Turing (37), Church, Post   : Turing Machine </li></ul><ul><li>McCullough and Pitts (4...
top reglas serial booleana frágil experto down top ejemplos paralelo difuso robusto general down <ul><li>Prolog, Lisp, IA ...
Algoritmos    genéticos
Idea básica Problema  Solución  complejo  ideal Algoritmo conocido <ul><li>A menudo este esquema no es realista  </li></ul...
ADN ( cristal aperiódico,  Schrödinger )   Guanina Adenina Tiamina Citosina 20 aminoácidos + stops codón Operón off/on gen...
La reproduccion  no  preserva la forma exacta del material genético Meiosis Recombinación de material genético  crossover ...
Estrategia de un Algoritmo Genético Problema  Solución  Complejo  óptima Población de soluciones mutaciones bajo ritmo cro...
Problema del viajante (Travelling Salesman Problem) Hallar el camino que visita n  ciudades sólo una vez 1 2 n Problema NP...
10 ciudades “ soluciones”  ~  362880 Mínimo exacto  t ~   1 min dist = 3.394975 AG mínimo  t < 1s dist AG  = 3.394975 11 c...
101 ciudades “ soluciones”  ~  10 156 Búsqueda aleatoria entre un millón de recorridos (t ~ 30s) encuentra una solución de...
¿Por qué funcionan los AGs? Esquema H = 0 1 1 *  * 1  * Orden de un esquema O(H) = O(011**1*) =4   (#  dígitos fijos ) Lon...
A tiempo  t  empezamos con  m  ejemplos de esquema H dentro de la población  A (  hay  n  palabras en  A  y  l  bits en ca...
Crossover + mutación destruye y crea nuevos esquemas Crossover Si el crossover es seleccionado al azar uniformemente, el e...
Teorema fundamental de los Algoritmos Genéticos Esquemas de bajo orden  tienen exponencialmente más descendientes en subsi...
Un día en Las Vegas 0 1 El bandido de dos brazos (Loaded two-arm bandit) Juega una población de estrategias  mutación-cros...
Algoritmos genéticos ... y otro día dedicado a las quinielas 4 partidos: 3 4 =81 apuestas posibles Problema: halla el núme...
Redes neuronales artificiales
Realidad  Ficción Redes Neuronales Imitemos a una neurona activación pesos entrada umbral pesos salida i
... y la estructura de una red neuronal Redes Neuronales activación capa pesos umbral Número de neuronas en la capa  l -1 ...
saturación saturación Respuesta lineal Función de activación:  sigmoide Redes Neuronales
¿Qué controla el flujo de información? las sinápsis = pesos los umbrales y la arquitectura !!!! Redes Neuronales
¡Hemos aprendido a aprender! En el año 1985 se ideó un método para encontrar los pesos y los umbrales a partir de ejemplos...
 E =   w +   t   E  w  E  t  w = -   E  w  t  = -   E  t  E = -    E ...
Cambio de pesos Energía (error) Activación Para la última capa   L=n  h i   Redes Neuronales
L  L-1  ....  l  l-1  .......  2 BACK-PROPAGATION Regla de la cadena Redes Neuronales
Aplicaciones de Redes neuronales artificiales Créditos  Seguros  Logística Sociología Control  Optimización Fidelidad  Bol...
Ejemplo: pérdida de clientes <ul><li>Entrenamos una red neuronal </li></ul><ul><li>con un subconjunto de datos  </li></ul>...
Reconocimiento de voz Aplicaciones Redes Neuronales <ul><li>Dos personas dicen “Hello” </li></ul><ul><li>Hacemos un anális...
Alarmas Arbitraje … . Aplicaciones Redes Neuronales <ul><li>Promedios sobre redes entrenadas a partir de pesos aleatorios ...
<ul><li>Predicción </li></ul><ul><ul><li>enfermedades coronarias </li></ul></ul><ul><ul><li>ventas </li></ul></ul><ul><ul>...
¿Estoy divorciado? <ul><li>Una red es entrenada con  </li></ul><ul><ul><li>superficie de su primera vivienda </li></ul></u...
Upcoming SlideShare
Loading in...5
×

Inteligencia

476

Published on

LA INTELIGENCIA ARTIFICIAL

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
476
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
16
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Inteligencia

  1. 1. Inteligencia artificial Blanes 2004 José Ignacio Latorre Dept. ECM, UB
  2. 2. Un poquito de historia <ul><li>Alan Turing (37), Church, Post : Turing Machine </li></ul><ul><li>McCullough and Pitts (43) : neuronas binarias </li></ul><ul><li>John von Neumann : computadora de von Neumann </li></ul><ul><li>Dos escuelas de pensamiento, 50 ~ 60: </li></ul><ul><ul><ul><li>Manipulación simbólica </li></ul></ul></ul><ul><ul><ul><ul><li>Comportamiento inteligente consiste en reglas de manipulación de símbolos </li></ul></ul></ul></ul><ul><ul><ul><li>Reconocimiento de patrones </li></ul></ul></ul><ul><ul><ul><ul><li>Aprendizaje a partir de ejemplos </li></ul></ul></ul></ul>Orígenes
  3. 3. top reglas serial booleana frágil experto down top ejemplos paralelo difuso robusto general down <ul><li>Prolog, Lisp, IA </li></ul><ul><li>Sistemas expertos basados en reglas </li></ul><ul><li>1980’s : éxitos mediocres </li></ul><ul><ul><li>reexamen del trabajo de los 60s en redes neuronales </li></ul></ul>Orígenes
  4. 4. Algoritmos genéticos
  5. 5. Idea básica Problema Solución complejo ideal Algoritmo conocido <ul><li>A menudo este esquema no es realista </li></ul><ul><li>Problemas NP </li></ul><ul><li>Algoritmo desconocido </li></ul><ul><li>Solución “buena y rápida” es aceptable </li></ul><ul><li>... </li></ul><ul><li>Deseamos hallar un método alternativo para analizar un gran número </li></ul><ul><li>de soluciones posibles </li></ul>Aprendamos de la Naturaleza Algoritmos genéticos
  6. 6. ADN ( cristal aperiódico, Schrödinger ) Guanina Adenina Tiamina Citosina 20 aminoácidos + stops codón Operón off/on gen proteínas mRNA mRNA tRNA Humanos: 3 10 9 bases 1 molécula ADN 2 10 3 bases 1 gen pero 30000/40000 genes <ul><li>ADN basura </li></ul><ul><li>secuencias repetidas </li></ul><ul><li>genes con multiples copias </li></ul><ul><li>transposición de genes </li></ul><ul><li>exones, intrones </li></ul><ul><li>transposones </li></ul>Algoritmos genéticos
  7. 7. La reproduccion no preserva la forma exacta del material genético Meiosis Recombinación de material genético crossover Mutaciones Mecanismos de corrección protegen parcialmente la fidelidad de la copia del ADN copiado 1 error / 10000 bases - correcciones = 1 error / 10 9 bases + Selección Natural Surpervivencia del mejor “adaptado” antes de la reproducción Crossover aleatorio y mutaciones filtrados por selección natural a lo largo de muchas generaciones lleva a especies mejor “adaptadas”. Grandes poblaciones vienen de unos pocos individuos Algoritmos genéticos
  8. 8. Estrategia de un Algoritmo Genético Problema Solución Complejo óptima Población de soluciones mutaciones bajo ritmo crossover frecuencia alta selección natural ruleta Buena <ul><li>Los algoritmos genéticos son potentes </li></ul><ul><li>A Gs trabajan con una parametrización del problema </li></ul><ul><li>AGs usan una función premio </li></ul><ul><li>AGs usan reglas de transición probabilísticas </li></ul>Algoritmos genéticos
  9. 9. Problema del viajante (Travelling Salesman Problem) Hallar el camino que visita n ciudades sólo una vez 1 2 n Problema NP Hay n! soluciones que explorar No existe un algoritmo eficiente para hallar la solución Mínimos locales, frustración Uso práctico frecuente si se añaden ligaduras (rutas, llamadas de teléfono,..) Parametrización e.g. A 1 = {1,7,4,3,8,2,6,9,5} mutación A 2 = {1,7,3,4,8,2,6,9,5} crossover A 3 = {1,8,2,6,7,4,3,9,5} premio dist = d(1,7) + d(7,4) + ... + d(9,5) + d(5,1) Algoritmos genéticos
  10. 10. 10 ciudades “ soluciones” ~ 362880 Mínimo exacto t ~ 1 min dist = 3.394975 AG mínimo t < 1s dist AG = 3.394975 11 ciudades “ soluciones” ~ 3628800 Mínimo exacto t ~ 10 min dist = 3.441836 AG mínimo t < 1s dist AG = 3.441836 100 generaciones Algoritmos genéticos TSP resultados
  11. 11. 101 ciudades “ soluciones” ~ 10 156 Búsqueda aleatoria entre un millón de recorridos (t ~ 30s) encuentra una solución de dist = 43.26733 AG mínimo t < 1s dist AG = 30.61271 Exploración de 10 6 “soluciones” Algoritmos genéticos
  12. 12. ¿Por qué funcionan los AGs? Esquema H = 0 1 1 * * 1 * Orden de un esquema O(H) = O(011**1*) =4 (# dígitos fijos ) Longitud de un esquema  (H) =  (011**1*) = 7 ( longitud de un patrón) Palabra A i bits l ex: A = { {1,0,1}, ...} población A = {A 1 , A 2 , ..., A n } esquema: 101, 10*,1*1, # esquemas posibles 3 l *01, 1**, *0*, # esquemas presentes en una población de n palabras n 2 l **1,*** Algoritmos genéticos
  13. 13. A tiempo t empezamos con m ejemplos de esquema H dentro de la población A ( hay n palabras en A y l bits en cada palabra ) Reproducción Cada palabra es copiada de acuerdo a su adecuación A i El destino de un esquema depende de Adecuación promedio de H Adecuación promedio total  C>0 vida crecimiento exponencial C<0 muerte muerte exponencial Algoritmos genéticos
  14. 14. Crossover + mutación destruye y crea nuevos esquemas Crossover Si el crossover es seleccionado al azar uniformemente, el esquema H es destruido Con probabilidad La probabilidad de supervivencia es Mutación O (H) posiciones deben mantenerse inalteradas crossover con probabilidad p c mutación con probabilidad p m << 1 Algoritmos genéticos
  15. 15. Teorema fundamental de los Algoritmos Genéticos Esquemas de bajo orden tienen exponencialmente más descendientes en subsiguientes generaciones n 2 l (de entre 3 l ) esquemas son explorados (sólo n 3 son procesados eficientemente: paralelismo implícito ) Algoritmos genéticos
  16. 16. Un día en Las Vegas 0 1 El bandido de dos brazos (Loaded two-arm bandit) Juega una población de estrategias mutación-crossover-selección: Beneficio óptimo LL LR LL LL RL RR LR RR LL Algoritmos genéticos
  17. 17. Algoritmos genéticos ... y otro día dedicado a las quinielas 4 partidos: 3 4 =81 apuestas posibles Problema: halla el número mínimo de apuestas que aciertan tres resultados como mínimo 1-7-80 3-7-22-76-80 3-7-8-14-33-65-81 1-7-34-73 DNA= propuesta de apuestas Mutación y crossing Fiteness= errores + #apuestas 10 6 generaciones: solución óptima= 4apuestas !!! Problema 1: 13 partidos – 1 error ? Problema 2: 11 partidos – 2 errores ? Reducción = problema diofántico
  18. 18. Redes neuronales artificiales
  19. 19. Realidad Ficción Redes Neuronales Imitemos a una neurona activación pesos entrada umbral pesos salida i
  20. 20. ... y la estructura de una red neuronal Redes Neuronales activación capa pesos umbral Número de neuronas en la capa l -1 Función de activación
  21. 21. saturación saturación Respuesta lineal Función de activación: sigmoide Redes Neuronales
  22. 22. ¿Qué controla el flujo de información? las sinápsis = pesos los umbrales y la arquitectura !!!! Redes Neuronales
  23. 23. ¡Hemos aprendido a aprender! En el año 1985 se ideó un método para encontrar los pesos y los umbrales a partir de ejemplos. No es necesario entender cómo se resuelve un problema. Podemos “entrenar” una red neuronal artificial con ejemplos. Redes Neuronales Construimos una función error ejemplo: ( in(p) ; out(p) ) p=1,...,patterns run NN: z (1) (p) = in(p) z (n) (p) = F( z (1) (p) ) error:
  24. 24.  E =  w +  t  E  w  E  t  w = -   E  w  t = -   E  t  E = -   E  w 2  E  w 2  0 Redes Neuronales
  25. 25. Cambio de pesos Energía (error) Activación Para la última capa L=n h i Redes Neuronales
  26. 26. L L-1 .... l l-1 ....... 2 BACK-PROPAGATION Regla de la cadena Redes Neuronales
  27. 27. Aplicaciones de Redes neuronales artificiales Créditos Seguros Logística Sociología Control Optimización Fidelidad Bolsa Data Mining Aplicaciones Redes Neuronales
  28. 28. Ejemplo: pérdida de clientes <ul><li>Entrenamos una red neuronal </li></ul><ul><li>con un subconjunto de datos </li></ul><ul><li>de clientes perdidos </li></ul><ul><li>y no perdidos </li></ul><ul><li>Predecimos la fidelidad del resto </li></ul>Una compañía desea saber qué clientes puede perder Facturación Antigüedad Líneas de pedido Localización Sí / No Aplicaciones Redes Neuronales
  29. 29. Reconocimiento de voz Aplicaciones Redes Neuronales <ul><li>Dos personas dicen “Hello” </li></ul><ul><li>Hacemos un análisis de frecuencias (60) </li></ul><ul><li>Entrenamos una red con “hello”s </li></ul><ul><li>Discrimnación de la red con “hello”s conocidos = 100% </li></ul><ul><li>Discriminación de la red con “hello”s desconocidos = 100% </li></ul>Steve John 1 0 0 1 Buen reconocimiento de voz requiere entrenamiento
  30. 30. Alarmas Arbitraje … . Aplicaciones Redes Neuronales <ul><li>Promedios sobre redes entrenadas a partir de pesos aleatorios </li></ul><ul><ul><li>Si existe un modelo subyacente, las redes son equivalentes </li></ul></ul><ul><ul><li>Si no existe un modelo subyacente, las redes producen dispersión </li></ul></ul><ul><li>Lanzamos 100 redes sobre </li></ul><ul><li>datos entrenar/validar </li></ul><ul><li>Para cada dato tenemos un </li></ul><ul><li>promedio y una dispersión </li></ul><ul><li>Descartamos 3 sigma </li></ul>-1 sigma + 1 sigma NN Real Series temporales de cotizaciones Futuro ibex35 a 60 días Opciones Alarmas Arbitraje Estrategias … .
  31. 31. <ul><li>Predicción </li></ul><ul><ul><li>enfermedades coronarias </li></ul></ul><ul><ul><li>ventas </li></ul></ul><ul><ul><li>divorcios </li></ul></ul><ul><li>Clasificación </li></ul><ul><ul><li>clientes de un banco </li></ul></ul><ul><ul><li>economía </li></ul></ul><ul><li>Interpolación </li></ul><ul><ul><li>control de producción </li></ul></ul><ul><ul><li>reconocimiento </li></ul></ul>Las redes neuronales Son aproximantes universales que implementan inferencia bayesiana Aplicaciones Redes Neuronales
  32. 32. ¿Estoy divorciado? <ul><li>Una red es entrenada con </li></ul><ul><ul><li>superficie de su primera vivienda </li></ul></ul><ul><ul><li>virginidad </li></ul></ul><ul><ul><li>nivel económico </li></ul></ul><ul><ul><li>visitas de los suegros </li></ul></ul><ul><ul><li>enfermedades... </li></ul></ul>¿Está usted divorciado? acierto de la red neuronal: 88% Aplicaciones Redes Neuronales ¿Soy matemático o filósofo? acierto: 100% ¿Seré anoréxica/o? ¿Terminaré la carrera? ¿Lloverá mañana? ¿Ganará el Barça? Estamos entrando en la era de la información
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×