Redes Bayesianas

Redes Bayesianas Alexandra Cueva Juan Carlos Sarango

Redes Bayesianas

Son representaciones gráficas de dependencia de razonamiento probabilístico.

Redes Bayesianas

En la RB los nodos representan variables aleatorias y los arcos representan relaciones de dependencia directa entre las variables

Teorema de Bayes

Fue enunciado por Thomas Bayes en la teoría de la probabilidad

Definiciones

Grafo Acíclico

X Y

Arco

a b c e d

Separaci ón D

En general, el conjunto de variables A es independiente del conjunto B dado C si al remover C hace que A y B se desconecten. Es decir, NO existe una trayectoria entre A y B en que las siguientes condiciones sean verdaderas.

Todos los nodos con flechas convergentes están o tiene descendientes en C .

Todos los demás nodos están fuera de C .

A C B

Inferencia y Propagación de Arboles

El razonamiento probabilístico o propagación de probabilidades consiste en propagar los efectos de la evidencia a través de la red para conocer la probabilidad a posteriori de las variables.

Los algoritmos de propagación dependen de la estructura de la red:

Árboles.

Poli-árboles.

Redes multi-conectadas.

Árbol Poliárbol

Propagación de Redes Multiconectadas

Una red multiconectada es un grafo no conectado en forma sencilla, es decir, en el que hay múltiples trayectorias entre nodos (MCG).

Nuevas Técnicas

Condicionamiento

Simulación Estocástica

Agrupamiento

1 2 3 5 4 Red Multiconectada

Condicionamiento:

Si instanciamos una variable, esta bloquea las trayectorias de propagación.

Entonces asumiendo valores para un grupo seleccionado de variables podemos descomponer la gráfica en un conjunto de SCG.

Propagamos para cada valor posible de dichas variables y luego promediamos las probabilidades ponderadas.

Simulación Estocástica:

Se asignan valores aleatorios a las variables no instanciadas.

Se calcula la distribución de probabilidad y se obtienen valores de cada variable dando una muestra.

Se repite el procedimiento para obtener un numero apreciable de muestras y en base al numero de ocurrencias de cada valor se determina la probabilidad de dicha variable.

Agrupamiento:

El método de agrupamiento consiste en transformar la estructura de la red para obtener un árbol, mediante agrupación de nodos usando la teoría de grafos.

Pasos:

Elimina la dirección de los arcos.

Ordenamiento de los nodos por máxima cardinalidad.

Moraliza el grafo (arco entre nodos con hijos comunes).

Triangular el grafo.

Obtener los cliques y ordenar.

Construir el árbol.

1 2 3 5 4 1 2 3 5 4 C3 C2 C1 1,2,3 2,3,4 3,5

Aprendizaje de Clasicadores Bayesianos.

Un clasificador, en general, suministra una función que clasifica, una instancia, especificada por una serie de características o atributos, en una o en diferentes clases predefinidas.

Se mencionan dos tipos de aprendizaje:

Aprendizaje estructural.

Aprendizaje paramétrico.

Aprendizaje de Clasicadores Bayesianos.

Aprendizaje Estructural :

Obtiene la estructura de la red Bayesiana (o topología de red) a partir de bases de datos, es decir, las relaciones de dependencia e independencia entre las variables involucradas.

Aprendizaje Paramétrico:

Dada una estructura, obtiene las probabilidades asociadas. El requisito primordial para poder realizar la tarea de aprendizaje de redes Bayesianas a partir de datos es disponer de bases de datos muy amplia en las que este detallado el valor de cada variable en cada uno de los casos.

Clasicador Bayesiano Simple

Un clasificador es una función que asigna una etiqueta clase a una instancia descrita mediante un conjunto de atributos.

C A1 An A2 ……

Extensiones al Clasicador Bayesiano

Se lo puede realizar de dos formas:

TAN:

Clasificador bayesiano simple al cual se le aumenta con un árbol.

BAN:

Clasificador bayesiano simple al cual se le aumenta con una red.

TAN BAN C A1 A2 A3 C A2 A1 A3

Mejora Estructural de un Clasicador Bayesiano

En este enfoque se combina conocimiento de expertos con datos para encontrar la estructura de una red bayesiana.

Un enfoque consiste en iniciar con una estructura preliminar propuesta por un experto y utilizar datos para validar y mejorar dicha estructura.

Validar la estructura de cada subárbol de la red bayesiana:

Calcular la correlación entre cada par de nodos dado el padre:

Baja: es razonable asumir independencia, así que la estructura no se modifica.

Alta: no son independientes, modificar la estructura.

Si se requiere modificar la estructura, se utiliza una de las siguientes estrategias:

Eliminación de nodo

Combinación de nodos

Creación de nodo.

Mejora Estructural de un Clasicador Bayesiano Z Y X 1. Estructura Original X Z 2. Eliminación Z XY 3. Unión Y X W Z 4. Inserción

Herramientas de utilizan Redes Bayesianas

KNIME:

Weka

Yale

Referencias

Felgaer, Britos, Sicre, Servetto, Garcia Martnez, Perichinsky, "Optimizacion de Redes Bayesianas Basado en Tecnicas de Aprendizaje por Induccion", http: // www.itba. edu. ar/ capis/ rtis/ rtis-6-2/optimizacion-de-redes-bayesianas. pdf

Valdes, F., "Comprension y Uso de la Estadstica", Universidad Romulo Gallegos, disponible en: http://www.cortland.edu/flteach/stats/glos-sp.html

Wikipedia, Teorema de Bayes", mayo de 2008, se encuantra en: http://es.wikipedia.org/wiki/Teorema_de_Bayes

Felgaer,"Redes Bayesianas", https://www.u-cursos.cl/ingenieria/2008/1/CC52A/1/material_alumnos/objeto/13237

Felgaer, E., Optimizacion de Redes Bayesianas Basado en Tecnicas de Aprendizaje por Induccion", abril de 2008 disponible en: www.fi.uba.ar/materias/7500/felgaer-tesisingenieriainformatica.pdf.

Lopez, C., "Clasicadores por Redes Bayesianas", Universidad de Puerto Rico Mayaguez, http://grad.uprm.edu/tesis/lopezdecastilla.pdf.

Chow, C. and Liu, C. (1968). "Approximating Discrete Probability Distributions with Dependence Trees". IEEE Transactions on InformationTheory, vol 14, 462- 467.