UNIVERSIDAD TECNICA PARTICULAR DE LOJA<br />Minería de datos con WEKA para el diagnóstico preventivo de cáncer<br />Integr...
Resumen<br />La utilización de técnicas de inteligencia artificial para “diagnóstico asistido por computadora” ha tenido h...
Introducción<br />El cáncer persiste como un desafío para la medicina, porque a pesar de los avances en las técnicas de di...
Introducción<br />El software WEKA descrito en una exposición de SylvieRattè durante el iSummit 2010 es una herramienta ef...
Adaptación del Enfoque a la ciudad de Loja<br />En la ciudad de Loja, nuestro punto de referencia será SOLCA2 Núcleo de Lo...
Adaptación del Enfoque a la ciudad de Loja<br />El software que consuma la minería de datos, debería proporcionar una prim...
Situación General del Cáncer de Pulmón<br />El diagnostico preventivo a través del uso de un software no es una practica m...
Situación General de Modelos de Weka<br />Para aspectos de medicina las redes bayesianas han sido utilizadas en el campo d...
Situación General de Modelos de Weka<br />La desventaja de los AE es que necesitan mayor tiempo para optimizar soluciones ...
Aspectos Teóricos: Redes Bayesianas<br />Una red bayesiana es una representación de una función de probabilidad conjunta. ...
Aspectos Teóricos: Algoritmos Evolutivos <br />Son métodos que trabajan con una población de individuos que pertenecen al ...
Enfoques evolutivos de una RB<br />El espacio de búsqueda en las RB es extendido de manera exponencial si el número de var...
Desarrollo de una Solución<br />WEKA debe procesar los modelos probabilísticos basados en algunos factores, para mediante ...
Método de NaiveBayes para construir el clasificador<br />Dada la base de entrenamiento cáncer.pulmón.arff representada por...
Metodo de NaiveBayes para construir el clasificador<br />Podemos estimar P(vj) contando las veces que aparece un atributo ...
Algoritmo TAN<br />Podría servir puesto que se encarga de la búsqueda y recorrido de la red encontrando la estructura TAN ...
Agregación Evolutiva de RBs<br />J. Kim [11] propone un AE con compartimiento de aptitudes para generar diversas RB dado u...
Agregación Evolutiva de RBs<br />1: /* HO : Red Original */<br />2: /* D: Nuevos Datos */<br />3: /* POP: Población de RBs...
Agregación Evolutiva de RBs<br />De igual forma se debe considerar el refinamiento pata optimizar la solución evolutiva, p...
Resultados Esperados<br />El conjunto de entrenamiento deberá ser sacado de la base de datos de SOLCA núcleo de Loja, como...
Resultados Esperados<br />El algoritmo NaiveBayes normal deberá arrojar un porcentaje de 80% de aciertos en cuanto a insta...
Conclusiones<br />Hemos abordado la eficiencia de RBs para la solución de problemas de diagnóstico, pero es mejor trabajar...
Referencias<br />[01] Thomas P Conrads, Ming Zhou, Emmanuel F Petricoin III, Lance Liotta y Timothy D Veenstra. Cancer dia...
Upcoming SlideShare
Loading in …5
×

Minería de datos con WEKA para el diagnóstico preventivo de cáncer

3,629 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
3,629
On SlideShare
0
From Embeds
0
Number of Embeds
17
Actions
Shares
0
Downloads
93
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Minería de datos con WEKA para el diagnóstico preventivo de cáncer

  1. 1. UNIVERSIDAD TECNICA PARTICULAR DE LOJA<br />Minería de datos con WEKA para el diagnóstico preventivo de cáncer<br />Integrantes:<br />Alvarado Pablo<br />Peralta Diego<br />Román Carlos<br />
  2. 2. Resumen<br />La utilización de técnicas de inteligencia artificial para “diagnóstico asistido por computadora” ha tenido hasta ahora una prominente trayectoria en la resolución de problemas basados netamente en imágenes, sin embargo también el campo de diagnóstico preventivo -de cáncer- ha madurado haciendo uso de técnicas como redes bayesianas (RB) o algoritmos evolutivos (AE), tomando como base modelos probabilísticos. En el presente ensayo se abordará aspectos teóricos que llevan a entender la importancia de tratar de diagnosticar preventivamente el cáncer mediante mecanismos de clasificación y predicción, así como comprender los factores involucrados específicamente en los aspectos a los que el cáncer como enfermedad supone, de allí la necesidad de proponer un diagnóstico intuitivo realizado por computadora con la ayuda de WEKA, previo a la evaluación médica del paciente.<br />
  3. 3. Introducción<br />El cáncer persiste como un desafío para la medicina, porque a pesar de los avances en las técnicas de diagnóstico y en los recursos terapéuticos, las estadísticas reflejan las pocas curaciones con relación a la cantidad de enfermos asistidos. Esto se debe en buena parte a que en los últimos años no han habido respuestas significativas a los intentos de reducir la exposición a carcinógenos, y también a que no mejoró la detección del tumor en una etapa temprana, lo cual hubiera podido aumentar la probabilidad de curación, pero sobre todo a que todavía no se cuenta con la solución apropiada para esta patología.<br />“El porcentaje de sobrevivientes se ha estancado en los últimos 30 años tan solo en un 15% (para cáncer de pulmón, páncreas, hígado) y por sobre el doble de la cifra anterior para otros tipos de cáncer menos agresivos” [06], así, estos tres tipos de cáncer cobran más víctimas que el de mama, próstata o colon juntos (en especial el de pulmón). <br />
  4. 4. Introducción<br />El software WEKA descrito en una exposición de SylvieRattè durante el iSummit 2010 es una herramienta efectiva en el manejo de minería de datos. Para el caso de la enfermedad mencionada se puede aproximar un diagnóstico haciendo uso del mecanismo de predicción de WEKA en base a clasificaciones dadas sobre conjuntos de entrenamiento, esto se puede plasmar en la construcción de software de diagnóstico (un agente inteligente que consuma librerías de WEKA por detrás) orientado a informar y poner sobre aviso los pacientes de instituciones de salud. El propósito de explotar la minería de datos para este caso radica en importancia de la detección temprana del cáncer, pues la sociedad americana de cáncer1informa que si el cáncer es detectado tempranamente el porcentaje de supervivencia se incrementa hasta un 47% [02] (es la media dependiendo del tipo de patología).<br />1. American CancerSociety (ACS). Sitio oficial: www.cancer.org/<br />
  5. 5. Adaptación del Enfoque a la ciudad de Loja<br />En la ciudad de Loja, nuestro punto de referencia será SOLCA2 Núcleo de Loja.<br />Los pacientes tratados allí son en su inmensa mayoría referidos con diagnóstico presuntivo o confirmado de diversos tipos de cáncer.<br />Por esta razón surge la necesidad de abordar el establecimiento de una minería de datos inteligente, levantada sobre los datos de las historias clínicas para que basados en factores y métodos probabilísticos, puedan ser cargados en un software que sea capaz de realizar un diagnóstico preventivo.<br />Esto se realiza con el fin de evitar que la enfermedad se desarrollo hasta estadios avanzados, mediante la puesta en alerta del paciente.<br />2. Sociedad de Lucha contra el Cáncer (Ecuador). Mayor información disponible en : www.solcaquito.org/<br />
  6. 6. Adaptación del Enfoque a la ciudad de Loja<br />El software que consuma la minería de datos, debería proporcionar una primera alerta y determinar si un individuo, de acuerdo con el entorno en el que vive y trabaja, sus hábitos alimenticios y de tabaquismo (si los tiene), antecedentes familiares, historial médico y otros parámetros, es propenso a desarrollar cáncer de pulmón.<br />El fin del software sería la consecución de 2 metas que justifiquen notablemente su construcción:<br />Que las personas que tienen un riesgo “X” de padecer cáncer de pulmón, tomen conciencia sobre este problema.<br />Un riesgo suficiente de padecer cáncer podría empujar a la persona a realizar chequeos periódicos y de esta manera ayudaría a la detección del problema.<br />
  7. 7. Situación General del Cáncer de Pulmón<br />El diagnostico preventivo a través del uso de un software no es una practica muy extendida en la ciudad de Loja.<br />La única acción preventiva que se lleva a cabo con regularidad es la tomografía axial computarizada.<br />En la actualidad no existe suficiente fiabilidad y por lo tanto esta práctica no debería extenderse, puesto que en un tanto por ciento de los casos se podrían producir falsos positivos que inducirían a hacer resecciones pulmonares de lesiones benignas.<br />
  8. 8. Situación General de Modelos de Weka<br />Para aspectos de medicina las redes bayesianas han sido utilizadas en el campo del diagnóstico asistido por computadora en investigaciones como las especificadas en [01],[03],[04],[05],[06] y [07], se han demostrado que son adecuadas para su propósito, pero es necesario una especialización superior para perfeccionar su optimidad.<br />Las Redes Bayesianas presentan ventajas de velocidad para encontrar soluciones pero generan el riesgo de estancarse en la optimidad local, por lo que se ha optado por hacer combinaciones con algoritmos evolutivos (AE) para disminuir el coste y hacerlo más optimo.<br />
  9. 9. Situación General de Modelos de Weka<br />La desventaja de los AE es que necesitan mayor tiempo para optimizar soluciones pero son excelentes para búsquedas globales basadas en población.<br />
  10. 10. Aspectos Teóricos: Redes Bayesianas<br />Una red bayesiana es una representación de una función de probabilidad conjunta. <br />Formalmente es un “grafo acíclico dirigido en el que cada nodo representa una variable aleatoria y las relaciones de dependencias e independencias condicionales quedan establecidas en la propia estructura de la red”[09].<br />Una RB para un conjunto de variables aleatorias X = {X1 ,.., Xn} es un par B = (G,P(Θ)), especificado en [03] donde G es un gráfico acíclico dirigido, cuyos nodos se encuentran en correspondencia uno a uno con las variables en X , y P es un conjunto de funciones de probabilidad local definidas por un conjunto de parámetros Θ .<br />Una red Bayesiana puede usarse para calcular una probabilidad de interés usando métodos para el proceso de inferencia exacta y aproximada [10].<br />
  11. 11. Aspectos Teóricos: Algoritmos Evolutivos <br />Son métodos que trabajan con una población de individuos que pertenecen al dominio de los números reales, mediante los procesos de mutación y de recombinación evolucionan para alcanzar el óptimo de la función objetivo.<br />Las variables objeto son los posibles valores que hacen que la función objetivo alcance el óptimo global y las variables estratégicas son los parámetros mediante los que se gobierna el proceso evolutivo o, en otras palabras, las variables estratégicas indican de qué manera las variables objeto son afectadas por la mutación.<br />El genotipo en las estrategias de AE es el conjunto formado por las variables objeto y las variables estratégicas. Y el fenotipo son las variables objeto, ya que conforme se da la variación de éstas, se percibe un mejor o peor desempeño del individuo.<br />
  12. 12. Enfoques evolutivos de una RB<br />El espacio de búsqueda en las RB es extendido de manera exponencial si el número de variables incrementa. Enumerar todas la redes bayesianas no es factible, y debido al problema de estancamiento en el espacio de búsqueda local para una solución óptima, es necesario adoptar una AE que induzca a la RB a partir de datos.<br />Existen dos enfoques a considerar para la inducción mencionada, el primero [09] utiliza una matriz de conexión como un cromosoma que representa la RB, así, cuando el número de variables es n, el tamaño de la matriz es n x n, obteniendo así un espacio de búsqueda para n variables igual a 2nxn. El segundo [08] enfoque consiste en una búsqueda de orden topológico para la RB, el orden restringe la conexión entre las variables, proveyendo una conexión entre variables distintas; dado el orden encontrado, RBs son escogidas usando un algoritmo de búsqueda local simple con el fin de encontrar un orden topológico adecuado. <br />
  13. 13. Desarrollo de una Solución<br />WEKA debe procesar los modelos probabilísticos basados en algunos factores, para mediante el uso de las técnicas de inteligencia artificial mencionadas (algoritmos de clasificación), sea capaz de diagnosticar si un paciente podría o no tener este tipo de afección.<br />Los factores a considerarse para la aplicación de los modelos probabilísticos [03] son:<br />Sexo (Masculino, Femenino)<br />Geografía (Campo, Ciudad)<br />Factores Genéticos (propenso, poco propenso, no-propenso)<br />Exposiciones Ocupacionales (con contaminación, sin contaminación) <br />Contaminación atmosférica (baja, media, alta)<br />Patologías Bronquiales (tiene, no-tiene)<br />Problemas Virales (tiene, no-tiene)<br />Problemas Virales en el pasado (tiene, no-tiene)<br />Problemas de cáncer en el pasado (tuvo, no-tuvo)<br />Antecedentes familiares (cercanos, medios, lejanos, ninguno) <br />Edad (10-19, 20-29, 30-39, 40-49, 50-59, 60-69, 70-79, 80-89, 90-99)<br />Factor de Riesgo: Frecuecnia semanal (0-4, 5-9, 10-14, 15-19, 20-24, 25-29, 30-34, 35-39, 40-44, 45-90, 91-180, 181-360)<br />
  14. 14. Método de NaiveBayes para construir el clasificador<br />Dada la base de entrenamiento cáncer.pulmón.arff representada por k valores, el clasificador NaiveBayes se basa en encontrar la hipótesis más probable que describa a ese dataset. La descripción viene dada por los valores < a1, a2, .., an >, por tanto la hipótesis [03] más probable será aquella que cumpla: <br />es decir, la probabilidad de que conocidos los valores que describen al dataset, éste pertenezcan a la clase vj (donde vj es el valor de la función de clasificación f(x) denominada CLASE en el conjunto finito V). Por el teorema de Bayes:<br />
  15. 15. Metodo de NaiveBayes para construir el clasificador<br />Podemos estimar P(vj) contando las veces que aparece un atributo de un caso vj en el conjunto de entrenamiento y dividiéndolo por el número total de atributos que forman este conjunto. Para estimar el término P(a1, ...an|vj), es decir, las veces en que para cada categoría aparecen los valores del caso x, debo recorrer todo el conjunto de entrenamiento. Este cálculo resulta impracticable para un número suficientemente grande de casos por lo que se hace necesario simplificar la expresión. Para ello se recurre a la hipótesis de independencia condicional con el objeto de poder factorizar la probabilidad. Esta hipótesis dice lo siguiente:<br />Los valores aj que describen un atributo de un caso cualquiera x son independientes entre sí conocido el valor de la categoría a la que pertenecen. Así la probabilidad de observar la conjunción de atributos aj dada una categoría a la que pertenecen es justamente el producto de las probabilidades de cada valor por separado:<br />
  16. 16. Algoritmo TAN<br />Podría servir puesto que se encarga de la búsqueda y recorrido de la red encontrando la estructura TAN de máxima verosimilidad. Resuelve el problema de optimización para una RB normal, incrementando la tasa de clasificación [3]: <br />1: Calcular I(Xi;Xj/C ) con i < j donde i , j =1,2,…,n. Asignar este valor como peso al arco que conecta las variables Xi y Xj .<br />2: Ordenar I(Xi;Xj/C) de mayor a menor.<br />3: Considerar un árbol inicial.<br />4: Asignar los dos arcos de mayor peso al árbol anterior.<br />5: Examinar el siguiente arco de mayor peso, y añadirla al árbol (si no forma un ciclo), en cuyo caso se descarta y se examina el siguiente arco con mayor peso.<br />6: Repetir 5 hasta seleccionar n −1 arcos.<br />7: Transformar el árbol no dirigido resultante en uno dirigido, con una variable como raíz, para a continuación direccionar el resto de arcos.<br />8: Construir un modelo TAN añadiendo un nodo etiquetado como C y posteriormente un arco desde C a cada variable predictora Xi.<br />
  17. 17. Agregación Evolutiva de RBs<br />J. Kim [11] propone un AE con compartimiento de aptitudes para generar diversas RB dado un conjunto de datos masivo. R. Chen utiliza en cambio un enfoque colectivo para leer una RB desde datos heterogéneos distribuidos, esto se realiza mediante la unión de nodos de RBs locales y foráneas. Existen otros autores trabajando sobre el mismo dominio (RBs con AEs), pero debido a que sus enfoques son variados es necesario integrar sus estudios en un modelo simple. La forma más fácil de lograr esto es mediante el uso de operadores de unión e intersección. Es necesario considerar la agregación y el refinamiento para la óptima solución del problema. El primer aspecto se podría solucionar logrando una evolución usando el trabajo planteado por J. Kim [11] con el algoritmo de agregación:<br />
  18. 18. Agregación Evolutiva de RBs<br />1: /* HO : Red Original */<br />2: /* D: Nuevos Datos */<br />3: /* POP: Población de RBs */<br />4: /* Initialization(): Initialización de RBs */<br />5: /* Refine( HO , D, H p ): devolver la puntuación MDL */<br />6: /* array[]: 1-d arreglo */<br />8: Initialization(POP);<br />10: For i=1 to MAX_GEN{<br />11: For j=1 to |POP|{<br />12: fitness(j)=Refine( HO , D, H j );}<br />13: POP=Selection(POP);<br />14: For j=1 to |POP|/2 { // Pariente cruzado(); // seleccionar dos índices<br />array1=parent1; array2 = parent2;<br />POP(children) = crossover(array1,array2);}<br />15: For j=1 to |POP| // mutación<br />16: POP(children)<br />= Random(addition, deletion of edges);<br />17: Repairing();<br />18:}<br />
  19. 19. Agregación Evolutiva de RBs<br />De igual forma se debe considerar el refinamiento pata optimizar la solución evolutiva, para ello es necesario aplicar el algoritmo de J. Kim [11] para refinamiento:<br /> <br />1:/* N : El número de RBs para la combinación<br />*/<br />2: /* POP: Población */<br />3: /* order[] : arreglo con tamaño N */<br />4: /* Permutation(permutationindex): retorna el orden de N ítems. Hace uso del el índice de la permutación */<br />5: /* fitness(j) : aptitud de jth individual */<br />6: /* Initialization(population):cada individuo es inicializado con una valor desde 0 a N!-1 */<br />7: /* θ: Variable aleatoria */<br />9: Initialization(POP);<br />11: For i=1 to MAX_GEN {<br />12: For j=1 to |POP| {<br />13: order = Permutation(POP(j));<br />14: fitness(j) = Fusion (order); }<br />15: POP=Selection(POP, fitness); // selección<br />16: For j=1 to |POP|/2 // cruzar<br />17: {Parent(); // seleccionar dos índices<br />POP(children)=<br />θ×POP(parent1)+(1-θ)×POP(parent2);}<br />18: For j=1 to |POP| // mutación<br />19: POP(j)=Random(POP(j), 0, N!-1)<br />20:}<br />
  20. 20. Resultados Esperados<br />El conjunto de entrenamiento deberá ser sacado de la base de datos de SOLCA núcleo de Loja, como población se podría tomar 50 casos, correspondientes al un año específico.<br />En promedio la tasa de clasificación deberá ser por encima del 95%. Teniendo un valor de 90% como mínimo usando el algoritmo NaiveBayes y un porcentaje mejor de aciertos con el algoritmo AODE.<br />Se deberá demostrar con el ejercicio que haciendo uso de un solo mecanismo de clasificación de WEKA (RBs), éstas son menos efectivas que los árboles de clasificación o las reglas de decisión para este tipo de casos, pero si se las combina con AEs su efectividad se incrementa potencialmente. <br />
  21. 21. Resultados Esperados<br />El algoritmo NaiveBayes normal deberá arrojar un porcentaje de 80% de aciertos en cuanto a instancias clasificadas correctamente como mínimo, mientras que las mal clasificadas no deberá sobrepasar el 20%. <br />algoritmo con método de búsqueda TAN y agregación, también incrementará su porcentaje de aciertos hasta un 90% cuanto a instancias clasificadas correctamente, mientras que las mal clasificadas no deberá sobrepasar un 10%.<br />De la clasificación y con el dataset minado se deberá deducir que los factores de mayor incidencia para contraer cáncer son el tabaquismo, patologías bronquiales, edad, exposición ocupacional y factores genéticos<br />
  22. 22. Conclusiones<br />Hemos abordado la eficiencia de RBs para la solución de problemas de diagnóstico, pero es mejor trabajar esta técnica de acuerdo a estrategias evolutivas y algoritmos de búsqueda eficientes (combinando varios mecanismos de WEKA), ello garantizará que el método sea óptimo para espacios de solución globales y que el coste computacional así como el tiempo de solución sean bajos con respecto a métodos tradicionales.<br />El refinamiento garantizará que la solución encontrada sea la adecuada pues actúa como un segundo tamiz de resultados, se obtendrá de esta manera un diagnóstico más preciso que llevará a los pacientes a tomar decisiones que podrían ser trascendentales. <br />
  23. 23. Referencias<br />[01] Thomas P Conrads, Ming Zhou, Emmanuel F Petricoin III, Lance Liotta y Timothy D Veenstra. Cancer diagnosis usingproteomicpatterns. Octubre 2009 <br />[02] AmericanCancerSociety. LungCancer (non-smallcell)<br />[03] MarekGrze. AnIntroductiontoBayesian Networks forLungCancer: Representation and ApproximateInference. Department of ComputerScienceUniversity of York. GraphicalModels Reading Group. Mayo 2009<br />[04] BallMatt. Diagnosis viaBayesian Networks. ME233 Final Project. Mayo 2009<br />[05] John Stoitsisa, IoannisValavanisa, Stavroula G. Mougiakakoua, SpyrettaGolematia,Alexandra Nikitab, Konstantina S. Nikitaa. Computeraided diagnosis basedonmedicalimageprocessing and artificial intelligencemethods. 2006<br />[06] BlattRossella, Bonarini Andrea, Calabrò Elisa, Della Torre Matteo, MatteucciMatteo, PastorinoUgo. Fuzzy k-NN LungCancerIdentificationbyanElectronicNose,. Proceedings of the 7th International WorkshoponFuzzyLogic and Applications, WILF 2007, Lecture Notes in ComputerScience (LNAI), LNAI 4578, pages 261-268, Springer. Camogli (GE), Italy, July 2007.<br />[07] Zhi-HuaZhou, Yuan Jiang, Yu-Bin Yang, Shi-Fu Chen. LungCancerCellIdentificationBasedon Artificial Intelligence Networks Ensembles. china, 2003 <br />[08] P. Larranaga, C.M.H. Kuijpers, R. H. Murga, Y. Yurramendi, “LearningBayesiannetworkstructuresbysearchingforthebestorderingwithgeneticalgorithm,” IEEE TransactionsonSystems, Man and Cybernetics. 2006 <br />[09] P. Larranaga, M. Poza, Y. Yurramendi, R. H. Murga, C.M.H. Kuijpers, “Structurelearning of Bayesiannetworksbygeneticalgorithms: A performance analysis of control parameters,” IEEE TransactionsonPatternAnalysis and Machine Intelligence, 2006 <br />[10] W. Lam and F. Bacchus, “Using new data to refine a Bayesiannetwork,” Proceedings of theUncertainty in Artificial Intelligence, 2004. <br />[11] J. Kim y Sung-BaeCho. EvolutionaryAggregation and Refinement of Bayesian Networks Dept. of ComputerScience, YonseiUniversity. Korea, 2006.<br /> [12] A. Velasco Villanueva. Redes bayesianas. 2008<br />

×