C:\Documents And Settings\Maq 20\Escritorio\Blindlight Dgayo Defensa 60
Upcoming SlideShare
Loading in...5
×
 

C:\Documents And Settings\Maq 20\Escritorio\Blindlight Dgayo Defensa 60

on

  • 574 views

 

Statistics

Views

Total Views
574
Views on SlideShare
574
Embed Views
0

Actions

Likes
0
Downloads
0
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

C:\Documents And Settings\Maq 20\Escritorio\Blindlight Dgayo Defensa 60 C:\Documents And Settings\Maq 20\Escritorio\Blindlight Dgayo Defensa 60 Presentation Transcript

  • Una nueva técnica para procesamiento de texto no estructurado mediante vectores de n -gramas de longitud variable con aplicación a diversas tareas de tratamiento de lenguaje natural Una nueva técnica para procesamiento de texto no estructurado mediante vectores de n -gramas de longitud variable con aplicación a diversas tareas de tratamiento de lenguaje natural
    • La sobrecarga de información
    • Delimitación del problema
    • Soluciones a la sobrecarga de información
    • Problema definitivo + Tesis
    • Soporte para la tesis
      • Descripción de la técnica blindLight
      • Semántica subyacente en blindLight
      • Experimentación
        • Clasificación de documentos con blindLight
        • Categorización de documentos con blindLight
        • Recuperación de información con blindLight
        • Resumen automático con blindLight
    • Conclusiones y trabajo futuro
    • Gracias a la Web accedemos a una gran cantidad de información.
    Por culpa de sufrimos sobrecarga La sobrecarga de información 2%
    • La sobrecarga de información
    3%
    • Más de 370 millones de usuarios de Internet…
      • Sólo en EE.UU:
        • 95 millones de usuarios adultos.
        • 13% webmasters (12,4 millones) .
        • 2% bloggers (1,9 millones) .
      • ¿5 millones de bloggers en el mundo?
    “ The tradeoff between ease of publishing (writing) and ease of querying (reading) on the web has tilted dangerously in favor of the former. ” (Manber 1996)
    • En la actualidad es aún peor…
      • USENET: 845 millones de mensajes desde 1981 ( 100.000 mensajes nuevos al día ).
      • Web superficial (“estática”) ¿4.000 millones de páginas?
      • Web oculta (accesible mediante formularios) ¿2x, 5x, 500x?
      • Reuters: 11.000 artículos diarios ( 2,5 millones de palabras ).
      • LNCS: 356 volúmenes en 2003 ( 90 millones de palabras ).
    “ documentary data are being generated at an alarming rate” (Maron y Kuhns 1960) View slide
    • Delimitación del problema
    5% En la concepción original de la Web (Berners-Lee 1989) se alerta sobre los inconvenientes de la búsqueda mediante palabras clave De hecho, probabilidad de coincidencia en el uso de un mismo término por dos individuos es sólo del 10-20% (Furnas et al. 1987) Aún así la Web nació sin sistema de búsqueda. Al principio (1990-1993) era sencillo mantener manualmente directorios de sitios web. Posteriormente se combinan “arañas” para explorar e indexar la Web y sistemas de búsqueda ¡basados en consultas mediante palabras clave! La Web como sistema de recuperación de información View slide
    • Delimitación del problema
    6%
    • Buscadores aceptan consultas construidas mediante palabras clave pero…
    • … la relevancia de un documento no se basa en su contenido y en el de la consulta sino que cada documento posee un valor indicador de su “prestigio” en base a:
      • El número de enlaces (citas) que recibe .
      • El prestigio de los documentos que lo enlazan (citan).
    • Google (Brin y Page 1998) emplea el algoritmo PageRank (Page et al. 1998), similar al método propuesto por Kleinberg (1998).
    • A mayor “prestigio” mayor relevancia en la lista de resultados.
    • Los sistemas de “prestigio” fallan (Bharat y Henzinger 1998) y las debilidades pueden explotarse fácilmente (p.ej. granjas de enlaces y bombas Google ).
    • ¿Eppur si muove?
    Motores de búsqueda en la Web y su problemática
    • Delimitación del problema
    8%
    • Además, según Jansen y Spink (2003):
      • 66% de los usuarios examinan 5 resultados o menos .
      • 30% de los usuarios examinan un único resultado .
    • Jansen y Spink concluyen :
      • Las necesidades de información de la mayor parte de usuarios no son complejas .
      • Los primeros resultados son verdaderas autoridades.
      • 50% de los resultados son relevantes (en promedio) .
    • A pesar de todo, ¿es o no conveniente la búsqueda en la Web mediante palabras clave?
    • Según Jansen et al. (1998) y Silverstein et al. (1998) los buscadores en la Web son adecuados para la mayor parte de usuarios:
      • 67-78% de los usuarios resuelven una necesidad de información con menos de 2 consultas .
      • 58-85% de los usuarios analizan sólo la primera página de resultados .
    • Delimitación del problema
    9% Algunas consultas capturadas en tiempo real el 17 de agosto de 2004. cape plumbago photo captree school + west islip handwoven yoga mats "salas surgical group california" pcgs + indian cent cameo ymca swimming lessons- kalamazoo, mi "motorcycle tent trailer"
    • Sin embargo, la mayoría de las consultas son poco frecuentes (Silverstein et al. 1998):
      • 86,4% se repiten como máximo 3 veces .
      • 63,7% aparecen una única vez.
    Algunas de las consultas más frecuentes realizadas por usuarios españoles y de todo el mundo en julio y agosto de 2004. shrek 2 (1ª España) páginas amarillas (2ª España) chistes (9ª España) olympics (1ª mundo) paris hilton (7ª mundo) nudist+image (19ª mundo) weather (20ª mundo) Ciertamente, las necesidades de información más frecuentes para la mayoría de los usuarios no son complejas …
    • Delimitación del problema
    11% paginas amarillas weather cape plumbago photo degenerative disc disease shrek 2 el corte ingles El usuario desea realizar algún tipo de actividad vía web.
        • Transaccionales (36-30%)
    El usuario desea encontrar información que supone se encuentra en una o más páginas web.
        • Informativas (39-48%)
    El usuario trata de llegar a un sitio web conocido.
        • Navegacionales (20-24,5%)
      • 10% de las consultas son de carácter sexual , el resto se clasifican en:
    Tipos de consultas (Broder 2002)
    • Delimitación del problema
    13%
    • ¿Es cierto también en el caso de las consultas informativas?
      • En efecto, las consultas informativas obtienen en promedio alrededor de un 50% de resultados revelantes.
    • ¿Cuál es la dispersión?
      • Sin embargo, se estima que el 15 - 20% de las consultas que se envían a un buscador no obtienen ningún resultado relevante entre los 10 primeros (aunque reciben miles). (Gayo Avello 2005, pp.13-18)
    En promedio el 50 % de los resultados son relevantes (Jansen y Spink 2003)…
    • Delimitación del problema
    14% La ausencia de “prestigio” no implica carencia de relevancia. Al desvincularse el “prestigio” de los contenidos , los resultados “relevantes” pueden satisfacer la consulta pero no al usuario . El autor del documento puede no desear tales visitas. … Además, se producen “daños colaterales”
    • Delimitación del problema
    16% “ La sobrecarga de información que experimentan los usuarios al tratar de resolver en la Web consultas informativas formuladas en lenguajes naturales de manera tal vez ambigua y, en ocasiones, con errores tipográficos, ortográficos o gramaticales.” El problema es…
    • Analizadas no sólo en la Web sino también en USENET y correo electrónico .
    • Generalmente basadas en una o más de las siguientes tres técnicas:
      • Agentes
      • Filtrado colaborativo (Goldberg et al. 1992)
      • Recomendación por contenidos
    • Algunas conclusiones
    • “ Los usuarios proporcionan feedback explícito sólo a regañadientes” (Balabanovic 1998, p.6).
    • La evaluación implícita proporciona información igualmente útil (Morita y Shinoda 1994) (Lieberman 1995) (Konstan et al. 1997)
    • La coincidencia de palabras clave es inadecuada (Balabanovic et al. 1995, p.8) y otros mecanismos ofrecen mejores resultados (Morita y Shinoda 1994).
    • Los datos acerca de los intereses de los distintos usuarios son muy valiosos al combinarse entre sí (Rucker y Marcos 1997) (Kantor et al. 2000).
    17%
      • Soluciones a la sobrecarga de información
      • Soluciones a la sobrecarga de información
    19%
    • “ La Web Semántica es una extensión de la Web actual en la cual se asigna a la información un significado bien definido, posibilitando una mejor cooperación entre máquinas y usuarios” (Berners-Lee et al. 2001).
    • Facilitará el “consumo” de los documentos a agentes software etiquetando los documentos con metadatos organizados mediante ontologías .
    • El consorcio W3C trabaja en la definición de SPARQL (Prud'hommeaux y Seaborne 2005), un lenguaje de consulta para extraer información de grafos RDF .
    • Ejemplos de necesidades de información que podrá satisfacer la Web Semántica :
    • “ Encontrar el artículo más reciente sobre SHOE en el que Hendler figure como coautor.”
    • “ Recibir información sobre libros, películas y música que cumplan unos criterios de título y autor.” Compárese con el tipo de consultas libres que afrontan los buscadores web :
      • mao zedong / mao tse tung
      • muscel (sic) aches during pregnancy
    Web Semántica
      • Soluciones a la sobrecarga de información
    20%
    • “ La Web Semántica será muy útil en campos bien definidos (p.ej. comercio electrónico o bibliotecas digitales) pero hay mucha más información útil fuera de su alcance.” (Gayo Avello y Álvarez Gutiérrez 2002).
    • La Web Semántica necesita un complemento…
      • “ Muchos han defendido la Web Semántica como un medio para mejorar la recuperación de información en la Web [argumentando que] no resulta adecuada para el procesamiento automático puesto que la información no está estructurada. […] Resulta sencillo prever el etiquetado implícito de catálogos de productos pero podría ser desalentador anotar semánticamente largos pasajes de texto […] Un escenario complementario prevé algoritmos suficientemente inteligentes como para inferir semántica de la Web actual, no estructurada pero auto-organizada, sin ayuda de etiquetas semánticas .” (Flake et al. 2003)
    ¿Es la Web Semántica una solución al problema descrito?
      • Soluciones a la sobrecarga de información
    22%
    • ¿Folksonomías?
      • Del inglés folksonomy = folk + taxonomy .
      • Etiquetado colaborativo de documentos.
      • Fenómeno incipiente pero muy alentador (p.ej. del.icio.us )
    • Web Cooperativa
      • “ La Web Cooperativa es una capa situada directamente sobre la Web actual con el fin de dotarla de semántica de manera global , automática , transparente e independiente del idioma . Requiere la participación de los usuarios pero no de forma consciente y directa sino indirectamente a través de agentes autónomos y cooperantes. La Web Cooperativa se apoya sobre el uso de conceptos y taxonomías documentales , unos y otras pueden obtenerse, sin intervención humana, a partir del texto libre de los documentos.” (Gayo Avello 2002)
    Complementando la Web Semántica
    • Formulación definitiva del problema
    23% “ La cantidad de texto no estructurado en la Web seguirá aumentando y el método preferido por los usuarios para recuperar información continuarán siendo las consultas formuladas en lenguajes naturales . Tanto en la publicación como en la consulta será inevitable un uso ambiguo de los distintos idiomas y la presencia de errores tipográficos, ortográficos o gramaticales.” El problema…
    • Tesis (versión resumida)
    • “ Una única técnica sencilla, basada en el uso de vectores de n-gramas de longitud variable, independiente del idioma y aplicable a diversas tareas de tratamiento de lenguaje natural con resultados similares a los de otros métodos ‘ad hoc’ es viable .”
    25%
    • Tesis
    •  Se puede obtener para los distintos n-gramas, g i , de un texto escrito en cualquier idioma una medida de su significatividad, s i , distinta de la frecuencia relativa de aparición de los mismos en el texto, f i , pero calculable a partir de la misma.  Esta métrica de la significatividad intradocumental de los n-gramas permite asociar a cada documento, d i , un único vector, v i , susceptible de comparación con cualquier otro vector obtenido del mismo modo aun cuando sus respectivas longitudes puedan diferir.  Puesto que tales vectores almacenan ciertos aspectos de la semántica subyacente a los textos originales, el mayor o menor grado de similitud entre los mismos constituye un indicador de su nivel de relación conceptual, facilitando  la clasificación  y categorización de documentos,  así como la recuperación de información.  Asimismo, cada vector individual es capaz de transformar el texto original a partir del cual fue obtenido dando lugar a secuencias de palabras clave y resúmenes automáticos.
    27%
    • Soporte para la tesis
    28% Clasificación de (mini) corpora paralelos ¿Conservan dichos vectores aspectos semánticos? Experimentación ¿Clasificación y categorización de documentos? ¿Recuperación de información? ¿Resumen automático? Descripción de la técnica blindLight ¿Significatividad de n -gramas? ¿Comparación de vectores de n -gramas?
    • Descripción de la técnica blindLight
    30% ¿Es posible obtener un “pseudo-ADN” a partir de texto escrito en un lenguaje natural? El ADN de un documento es un conjunto de genes donde cada gen está formado por un n -grama de caracteres y su correspondiente significatividad dentro del documento de origen. No se emplean técnicas de alineación de secuencias para las comparaciones de “genomas” sino que éstos pueden combinarse constituyendo “híbridos” que serán comparados con los originales a fin de determinar la similitud entre los mismos. El “genoma” de un documento puede “actuar” sobre el texto del documento, a modo de “ARN transferente” , transformándolo en resúmenes y frases clave . blindLight , una técnica bio-inspirada
    • Descripción de la técnica blindLight
    31%  Se puede obtener para los distintos n-gramas, g i , de un texto escrito en cualquier idioma una medida de su significatividad, s i , distinta de la frecuencia relativa de aparición de los mismos en el texto, f i , pero calculable a partir de la misma. Un n -grama es una secuencia de n elementos extraídos de un texto de forma no necesariamente correlativa. blindLight utiliza n -gramas formados por n caracteres contiguos que pueden incluir blancos. Des , esc , scr , cri , rip , ipc , pci , ci ó , i ó n , ón_ , n_d , _ de , de _ , e_l , … Cada n -grama tiene asociado un peso que indica cuan o cuan poco significativa resulta su aparición en el documento. Dunning (1993) empleó el likelihood ratio test para detectar terminología y palabras clave . Aplicable únicamente a bigramas (de palabras). likelihood ratio , ratio test , likelihood ratio test Fundamentos teóricos de blindLight
    • Descripción de la técnica blindLight
    33%  Se puede obtener para los distintos n-gramas, g i , de un texto escrito en cualquier idioma una medida de su significatividad, s i , distinta de la frecuencia relativa de aparición de los mismos en el texto, f i , pero calculable a partir de la misma.
    • Ferreira da Silva y Pereira Lopes (1999) desarrollaron un método para generalizar diversos estadísticos para la detección de frases clave de longitud arbitraria .
      • Probabilidad condicional simétrica , información mútua ,  2 , log likelihood , Dice
    • blindLight aplica dichos estadísticos a n -gramas de caracteres para el cálculo de su significatividad y construir así los “genes” del documento.
    Fundamentos teóricos de blindLight
    • (w 1 ..w n ) es un n -grama, p. ej. (igni)
      • (w 1 ..w 1 ) (w 2 ..w 4 )  (i)(gni) 
      • (w 1 ..w 2 ) (w 3 ..w 4 )  (ig)(ni)
      • (w 1 ..w 3 ) (w 4 ..w 4 )  (ign)(i) 
    •  p(w 1 ..w 1 )  i gni , i fic , i vid
    •  p(w 4 ..w 4 )  ign i , nif i , cat i , tiv i
    • Descripción de la técnica blindLight
    34%  Esta métrica de la significatividad intradocumental de los n-gramas permite asociar a cada documento, d i , un único vector, v i , susceptible de comparación con cualquier otro vector obtenido del mismo modo aun cuando sus respectivas longitudes puedan diferir. Los “genomas” documentales pueden combinarse constituyendo “híbridos” que serán comparados con los originales para determinar la similitud entre los mismos. Q y T dos vectores blindLight de dimensiones m y n k ij es el n -grama i -ésimo del documento j y w ij es la significatividad de dicho n -grama empleando alguno de los estadísticos anteriores. La significatividad total para dichos vectores será entonces… (Gayo Avello 2005, pp.63-65) Fundamentos teóricos de blindLight
    • Descripción de la técnica blindLight
    36%  Esta métrica de la significatividad intradocumental de los n-gramas permite asociar a cada documento, d i , un único vector, v i , susceptible de comparación con cualquier otro vector obtenido del mismo modo aun cuando sus respectivas longitudes puedan diferir.
    • Los “genomas” documentales pueden combinarse constituyendo “híbridos” que serán comparados con los originales para determinar la similitud entre los mismos.
    • El operador de intersección (“hibridación”)
    • La significatividad total del vector intersección será…
    • Se definen dos medidas asimétricas
      •  (Pi mayúscula) para comparar Q con T
      •  (Rho mayúscula) para comparar T con Q
    • (Gayo Avello 2005, pp.63-65)
    Fundamentos teóricos de blindLight
    • Descripción de la técnica blindLight
    S Q =97.52 S T =81.92 S Q  T =20.48  = 38%  Esta métrica de la significatividad intradocumental de los n-gramas permite asociar a cada documento, d i , un único vector, v i , susceptible de comparación con cualquier otro vector obtenido del mismo modo aun cuando sus respectivas longitudes puedan diferir. Los “genomas” documentales pueden combinarse constituyendo “híbridos” que serán comparados con los originales para determinar la similitud entre los mismos. (Gayo Avello 2005, pp.63-65) Fundamentos teóricos de blindLight  =20.48/97.52  =20.48/81.92
    • Descripción de la técnica blindLight
    39%  Esta métrica de la significatividad intradocumental de los n-gramas permite asociar a cada documento, d i , un único vector, v i , susceptible de comparación con cualquier otro vector obtenido del mismo modo aun cuando sus respectivas longitudes puedan diferir.
    • Los “genomas” documentales pueden combinarse constituyendo “híbridos” que serán comparados con los originales para determinar la similitud entre los mismos.
    • Combinando  y  pueden construirse distintas medidas de similitud .
    • Posibilidad de utilizar programación genética para obtener nuevas medidas (Fan et al. 2004a y 2004b).
    • Otras medidas de similitud entre ítems de información
      • Algoritmos de compresión (Varré et al. 1999) (Chen et al. 1999) (Li et al. 2004)
      • Earth Mover’s Distance (Rubner et al. 2000)
      • Sequence Nearest Neighbors (Muthukrishnan y Sahinalp 2000)
    • (Gayo Avello 2005, pp.63-65)
    Fundamentos teóricos de blindLight
    • Descripción de la técnica blindLight
    41% “ Se puede obtener para los distintos n-gramas, g i , de un texto escrito en cualquier idioma una medida de su significatividad, s i , distinta de la frecuencia relativa de aparición de los mismos en el texto, f i , pero calculable a partir de la misma. Esta métrica de la significatividad intradocumental de los n-gramas permite asociar a cada documento, d i , un único vector, v i , susceptible de comparación con cualquier otro vector obtenido del mismo modo aun cuando sus respectivas longitudes puedan diferir.” En conclusión…
    • Descripción de la técnica blindLight
    42%
    • Similar al modelo vectorial … No obstante, no emplea operaciones vectoriales para determinar la similitud sino que “hibrida” los distintos vectores y, posteriormente, compara el vector resultante con los originales.
    • Similitudes superficiales con otras técnicas PLN estadísticas basadas en n -gramas de caracteres
      • Acquaintance (Damashek 1995)  Usa frecuencias relativas como pesos, no aplicable a la extracción de resúmenes.
      • Highlights (Cohen 1995)  Extracción de palabras clave (no resúmenes), utiliza un contexto de documentos.
    • Otros autores hablan de “genómas documentales” (Abir et al. 2002) pero, aparentemente, sólo blindLight propone “hibridar” tales genomas o aplicarlos sobre el texto a modo de ARNt. En el caso de blindLight no se trata de una mera metáfora.
    Relación de blindLight con otras técnicas
    • Semántica subyacente en blindLight
    • “ Puesto que tales vectores almacenan ciertos aspectos de la semántica subyacente a los textos originales, el mayor o menor grado de similitud entre los mismos constituye un indicador de su nivel de relación conceptual”
    44%
    • Semántica subyacente en blindLight
    45% Condiciones de uso de MSN (abril 2003) Convención de Viena sobre Compraventa de Mercancías Declaración Universal de los Derechos Humanos Génesis 1:1-3:24 Licencia Creative Commons Licencia GNU-GPL Condiciones de uso de Google (septiembre 2004) Si blindLight conserva la semántica de los documentos entonces clasificaciones de corpora paralelos deberían ser similares con independencia del idioma empleado en cada corpus y plausibles según criterios humanos . Corpus Clasificación de (mini) corpora paralelos Semántica en el sentido de Dumais et al. (1988): “ Damos por supuesto que bajo los datos de uso de palabras existe algún tipo de estructura semántica ‘latente’ parcialmente oculta por la variabilidad en la elección de esas palabras.” ¿Qué semántica?
    • Semántica subyacente en blindLight
    47% Clasificación de (mini)corpora paralelos
    • Semántica subyacente en blindLight
    48%
    • Resultados muy similares en todos los corpora 
    • Divergencias en francés, hebreo y japonés 
      • Traducciones no totalmente literales
      • ¿Problemas trasliteración?
    • A pesar de las divergencias existentes en el caso de francés, hebreo y japonés parece claro que blindLight obtiene clasificaciones muy similares para corpora paralelos con independencia del idioma y la longitud de los documentos .
    • Dichas clasificaciones , además, son plausibles según criterios humanos puesto que tienden a agrupar documentos de contenido semejante y mantener separados textos de temática muy distinta en todos los idiomas.
    Clasificación de (mini)corpora paralelos
    • Semántica subyacente en blindLight
    50% “ Al aplicar blindLight sobre texto natural se obtienen vectores que conservan ciertos aspectos de la semántica latente en los textos originales permitiendo una comparación a un nivel conceptual.” En conclusión…
    • Clasificación de documentos con blindLight
    52%
    • Agrupamiento, clasificación no supervisada o clustering
      • Identificación, dentro de un conjunto de elementos , de grupos con características similares . Puede llevarse a cabo dividiendo de manera iterativa el conjunto original en subconjuntos o comenzar por los elementos aislados e ir agrupando los más próximos (similares). Existe también la posibilidad de operar sobre todo el conjunto simultaneamente o de manera paulativa.
    • Una técnica de clasificación requiere…
      • Un modo de representar los documentos, habitualmente “un vector multidimensional donde cada dimensión corresponde a una única característica” (Duda y Hart 1973)
      • Una medida de similitud entre dichas representaciones.
      • Un algoritmo para construir los grupos en base a la medida anterior.
    El problema de la clasificación
    • Clasificación de documentos con blindLight
    53%
    • Documentos representados como vectores de n -gramas y pesos.
    • Medida de similitud PiRo (Gayo Avello 2005, p.66, ecuación 12).
    • Dos algoritmos de agrupamiento:
      • No incremental. Similar al método shared nearest neighbor clustering (Jarvis y Patrick 1973). Emplea el coeficiente de Bray y Curtis (1957) para determinar qué documentos exhiben un “comportamiento” similar en la colección (Gayo Avello 2005, pp.85-87).
      • Incremental (Gayo Avello 2005, pp. 87-90).
    • Experimentación
      • Clasificación de lenguajes naturales
      • Colecciones TIME y CIA
      • Colección WebACE Project
    Aplicación de blindLight a la clasificación de documentos
    • Clasificación de documentos con blindLight
    55% Clasificación de lenguajes naturales Datos léxicos, Libro del Génesis Indoeuropeos Romances Germánicos Germánicos del norte Germánicos del oeste
    • Clasificación de documentos con blindLight
    56% Los resultados de ambos experimentos son consistentes entre sí y con la clasificación comunmente aceptada. ðə ˈnɔɹθ ˌwɪnd ən ə ˈsʌn wɚ dɪsˈpjutɪŋ ˈwɪtʃ wəz ðə ˈstɹɑŋgɚ, wɛn ə ˈtɹævlɚ kem əˈlɑŋ ˈɹæpt ɪn ə ˈwɔɹm ˈklok… The North Wind and the Sun were disputing which was the stronger, when a traveller came along wrapped in a warm cloak… Clasificación de lenguajes naturales Datos fonéticos, El Viento del Norte y el Sol (IPA 1999)
    • Clasificación de documentos con blindLight
    58% La colección TIME (Salton 1972) consiste en 423 artículos publicados durante 1963 en la sección internacional de dicha revista. Los documentos abarcan diversos temas ( Vietnam , la guerra fría o escándalos políticos). La colección CIA se corresponde con la edición de 1990 de The World Fact Book . Consta de 246 documentos y describe en términos geográficos, sociales, económicos y políticos distintas regiones y países del planeta. Ambas colecciones permitieron comparar los resultados obtenidos por blindLight con los alcanzados mediante Self-Organizing Maps (Merkl y Rauber 1998). Los resultados obtenidos por blindLight son análogos a los alcanzados con Self-Organizing Maps . Colecciones TIME y CIA (blindLight vs. SOM)
    • Clasificación de documentos con blindLight
    59% Colección CIA El primer gráfico muestra el denominado “Norte Rico” que incluye a la URSS, Australia y Nueva Zelanda. El segundo mapa contiene países vinculados a la URSS ideológica, económica, militar y/o geográficamente: el “Telón de Acero”, Irán (fronterizo) o Afganistan (fronterizo y ocupado). El tercer gráfico agrupa la mayor parte de Asia mientras el siguiente divide África en tres grandes grupos, destacando nuevamente la zona de Oriente Próximo. El último mapa coincide con Latinoamérica (nótese la ausencia de la Guyana Francesa) aunque incluye Liberia en un curioso salto transatlántico.
    • Clasificación de documentos con blindLight
    61% Similitud promedio Entropía La colección wap (Han et al. 1998) consta de 1560 páginas web extraídas de Yahoo! y pertenecientes a una categoría única de 20 posibles. Pudo calcularse la similitud promedio y la entropía para la clasificación obtenida por blindLight y compararla con los resultados obtenidos por otras técnicas (Steinbach et al. 2000). Colección wap (WebACE Project)
    • Clasificación de documentos con blindLight
    63% “ Al aplicar blindLight al problema de la clasificación automática de documentos puede concluirse que, al menos en lo que se refiere a las colecciones TIME, CIA y wap, es posible obtener unos resultados semejantes, si no mejores, que los de técnicas específicas como mapas auto-organizativos, métodos particionales y métodos jerárquicos.” En conclusión…
    • Categorización de documentos con blindLight
    64% Algoritmo de Rocchio Método de boosting Support Vector Machines
      • Árboles y reglas de decisión
      • Categorizadores bayesianos
      • Redes neuronales
      • Mapas auto-organizativos
    • La categorización automática permite asignar a un ítem , en función de sus características, una etiqueta tomada de un conjunto predefinido .
    • La categorización automática resulta muy útil para aliviar la sobrecarga de información :
      • Asignar temas a documentos o topic tagging (Cohen 1996) (Maarek y Ben Shaul 1996) (Chekuri et al. 1997) ( Attardi et al. 1999) (Li et al. 1999)
      • Determinar si un documento es o no relevante para un usuario (Schütze et al. 1995)
      • Filtrar correo no deseado o spam (Sahami et al. 1998)
    • Habitualmente se emplean técnicas de aprendizaje automático que se entrenan sobre un conjunto de elementos ya etiquetados .
    Categorización como aprendizaje
    • Categorización de documentos con blindLight
    66% n: número de n-gramas en el vector categoría m: número de n-gramas en el documento desconocido.  =0,5
    • Documentos y categorías deben estar disponibles como vectores de n -gramas .
    • Un vector categoría puede obtenerse a partir de una única muestra o de varios ejemplos :
      • Calcular vector de n -gramas para cada documento de entrenamiento
      • Calcular el centroide de cada categoría
      • Calcular el centroide de todos los documentos de entrenamiento
      • Restar al centroide de cada categoría el centroide del conjunto de entrenamiento
    • Para categorizar un documento desconocido se compara con los distintos vectores categoría y el de mayor similitud indicará la categoría apropiada.
    Categorización con blindLight
    • Categorización de documentos con blindLight
    67% Identificación automática del idioma de un texto El problema de los Federalist Papers Filtrado de correo no deseado ( spam ) Colecciones estándar ( Reuters-21578 y OHSUMED ) Experimentación
    • Categorización de documentos con blindLight
    69%
    • Se llevaron a cabo dos experimentos ( textos muy cortos y con ruido ) y se comparó blindLight con tres sistemas: TEXTCAT (Cavnar y Trenkle 1994), XEROX (Beesley 1988) y (Grefenstette 1995) y Acquaintance (Damashek 1995)
    • Textos muy cortos
      • 4550 documentos muy cortos ( 1 a 100 palabras ) construidos a partir de los temas CLEF de 2003 (alemán, castellano, finés, francés e inglés) y 2004 (también italiano y sueco).
      • blindLight resultó mejor que TEXTCAT ( hasta 20 palabras ) y Acquaintance ( hasta 5 palabras ); análogo a XEROX para textos de más de 6 palabras .
    • Textos con ruido
      • Colección 1500-5LNG . 1500 artículos publicados en soc.culture.basque , catalan , french , galiza y german . Finalmente, se emplearon 1358 artículos escritos en alemán , castellano , catalán , francés , inglés , italiano y vasco , incluyendo las cabeceras.
      • blindLight mejora a TEXTCAT para niveles de ruido superiores al 50% pero XEROX es sustancialmente mejor para un ruido superior al 50% y Acquaintance es sustancialmente mejor para más del 35% de ruido .
    Identificación automática del idioma
    • Categorización de documentos con blindLight
    70% 85 artículos publicados durante 1787 y 1788 en periódicos del estado de Nueva York para convencer a sus votantes sobre la necesidad de ratificar la futura constitución de EE.UU. Aparecieron bajo el pseudónimo de Publius y fueron escritos por Alexander Hamilton , James Madison y John Jay . Se llegó a un consenso sobre la autoría de cada artículo a excepción de 12 , sobre los cuales sólo se estaba de acuerdo en que eran de Hamilton o de Madison . Mosteller y Wallace (1964) concluyeron, por métodos estadísticos, que los doce artículos en disputa eran obra de Madison . Diversas técnicas de categorización se han aplicado a dicho problema con idénticos resultados (redes neuronales, cadenas de Markov, SVMs , …) Aplicando blindLight se alcanzan las mismas conclusiones. El problema de los Federalist Papers (atribución de autoría)
    • Categorización de documentos con blindLight
    72% “ Es necesario investigar técnicas que permitan controlar y filtrar la información que llega a las personas que deban usarla” (Denning 1982) Spam es el correo que recibe un usuario sin haberlo solicitado previamente. El filtrado de spam consiste en asignar una etiqueta de dos posibles a cada mensaje recibido: ham (correo válido) o spam (correo no deseado). Los categorizadores bayesianos (que no son la mejor técnica de categorización posible) son los mejor considerados para filtrar spam (Androutsopoulos et al. 2000). Para evaluar blindLight como técnica de filtrado de spam se han empleado dos colecciones ( ling-spam y spamassassin ) . Como técnica de filtrado de spam (mover o borrar mensajes etiquetados como no deseados) blindLight no resulta adecuada por el momento. En cuanto a simple experimento de categorización (simplemente etiquetar los mensajes) la técnica proporciona unos resultados (precisión y exhaustividad) próximos a los de los categorizadores bayesianos y MBL ( Memory Based Learning). Filtrado de correo no deseado o spam
    • Categorización de documentos con blindLight
    73% Para poder comparar blindLight con otras técnicas se han empleado las colecciones Reuters-21578 (artículos periodísticos) y OHSUMED (artículos médicos). La primera colección asigna a cada documento etiquetas de un conjunto de 135 posibles (p.ej. trade , corn o crude ). La segunda toma las etiquetas de la clasificación MESH - Medical Subject Headings (p.ej. virus diseases , eye diseases o neoplasms ). En el primer caso se empleó una partición de la colección con 9603 documentos de entrenamiento y 3299 de prueba. En el segundo se utilizaron 20000 documentos. Los resultados obtenidos se compararon con los alcanzados por Joachims (1997) y Dumais et al. (1998) comprobándose que blindLight alcanza resultados análogos a los de Rocchio , categorizadores bayesianos o árboles de decisión; próximos a los de k- vecinos y sustancialmente peores que SVMs . Colecciones estándar Reuters-21578 y OHSUMED
    • Categorización de documentos con blindLight
    75% “ La utilización de blindLight como método de categorización de documentos no alcanza los resultados de las SVMs pero es análogo a otras técnicas empleadas con frecuencia y comunmente aceptadas como muy adecuadas (p.ej. clasificadores Bayesianos).” En conclusión…
    • Recuperación de información con blindLight
    78% “ Un sistema de recuperación de información (IR) no informa al usuario acerca del tema de su consulta, es decir, no modifica sus conocimientos; simplemente indica la existencia (o inexistencia) y localización de documentos relativos a dicha consulta.” (Lancaster 1968) Idealmente , un sistema IR debería proporcionar sólo documentos relevantes para las consultas que recibiese. En la práctica se acepta que el objetivo es localizar el mayor número posible de documentos relevantes y el menor de documentos irrelevantes . La relevancia de un documento es subjetiva y cambiante pero, en un marco experimental , es factible determinar, para un conjunto de consultas de prueba , qué documentos de una colección son relevantes . Existen colecciones estándar para la evaluación de sistemas IR . En la actualidad, énfasis en colecciones de gran tamaño y contextos bi- y multilingües . Sistemas de recuperación de información y su evaluación
    • Recuperación de información con blindLight
    80%
    • La aplicación de blindLight como método IR es muy sencilla:
      • Documentos y consultas se representan como vectores de n -gramas y significatividades que pueden combinarse para obtener los valores de  y  .
      • A partir de dichos valores se calcula una medida de similitud que se empleará para ordenar la lista de resultados.
    • El número de n -gramas de consultas y documentos son generalmente muy diferentes y, por tanto, los valores  y  no son directamente comparables; por ello se ha experimentado con diversas medidas de similitud .
    • Además, ya que la importancia de un término es inversamente proporcional al número de documentos que lo contienen (Maron y Kuhns 1960) (Spärck-Jones 1972) se han estudiado diversas formas de ponderar este hecho en blindLight .
    • También se han analizado varios estadísticos para el cálculo de la significatividad de los n -gramas (la información mutua parece uno de los más adecuados ).
    blindLight como técnica IR
    • Recuperación de información con blindLight
    81% Para comparar el rendimiento de blindLight con otras técnicas IR se desarrollaron una serie de experimentos sobre las colecciones CACM y CISI (Fox 1983) y se participó en CLEF 2004 (Peters et al. 2005). El primer experimento proporcionó datos que fueron comparados con resultados recogidos en la literatura. Los resultados obtenidos por blindLight aún son inferiores a los alcanzados por modelos como el vectorial o el probabilístico pero comparables a los proporcionados por técnicas como la semántica latente . La participación en CLEF permitió enfrentar la técnica a un problema de mayor envergadura, obligó al desarrollo de una técnica de pseudo-traducción y proporcionó información sobre la situación de blindLight en relación con los métodos más avanzados disponibles. Comparación con otras técnicas
    • Recuperación de información con blindLight
    83%
    • blindLight participó en CLEF 2004 en dos tareas
      • Recuperación de información monolingüe en ruso
      • Recuperación de información bilingüe consultando en castellano la colección de documentos escritos en inglés
    • Los resultados obtenidos no fueron buenos pero aún no se empleaba ningún método de ponderación interdocumental y el sistema de pseudo-traducción aún estaba (está) en una fase de desarrollo incipiente.
    • Finalizada la campaña se realizaron una serie de pruebas “no oficiales” de recuperación monolingüe en finés , francés y ruso .
    • Los resultados alcanzados con las nuevas modificaciones son mejores pero aún distan de los proporcionadas por técnicas consolidadas. Aún así… alentador .
    Comparación con otras técnicas ( CLEF 2004 )
    • Recuperación de información con blindLight
    84% Comparación con otras técnicas ( CLEF 2004 )
    • Recuperación de información con blindLight
    86%
    • Método de pseudo-traducción de consultas (Gayo Avello et al. 2004) no obtiene texto traducido de la consulta sino un vector de n -gramas que, probablemente, aparecerían en el correspondiente a la consulta traducida .
    • Cierta semejanza con técnicas de Pirkola et al. (2002) y McNamee y Mayfield (2003).
    • La técnica requiere un corpus paralelo (p.ej. EuroParl ) de los idiomas fuente ( F ) y objeto ( O ) alineado a nivel de sentencia y procede del modo siguiente
      • Una consulta escrita en el lenguaje fuente, Q F , se divide en secuencias de palabras de longitud variable. Se explora el corpus F en busca de sentencias que contengan alguna de dichas secuencias.
      • Cada sentencia encontrada en F (máximo k ) es reemplazada por su homóloga en el corpus O .
      • Para cada homóloga en O se obtiene un vector de n -gramas. Todos estos vectores se intersecan.
      • Los vectores obtenidos por intersección se mezclan en un vector consulta pseudo-traducido.
    blindLight como técnica CLIR ( Cross Language IR )
    • Recuperación de información con blindLight
    88%
    • Consulta original
      • Encontrar documentos en los que se habla de las discusiones sobre la reforma de las instituciones financieras y, en particular, del Banco Mundial y del FMI durante la cumbre de los G7 que se celebró en Halifax en 1995.
    • Fragmentos de la consulta a buscar en el corpus F (castellano)
      • instituciones
      • instituciones financieras
    • Sentencias del corpus F que contienen el fragmento anterior
      • (1315) … relaciones con las instituciones financieras internacionales …
      • (5865) …fortalecimiento de las instituciones financieras internacionales…
      • (6145) …transparente para que las instituciones financieras europeas…
    blindLight como técnica CLIR ( Cross Language IR )
    • Recuperación de información con blindLight
    89%
    • Sentencias homólogas en el corpus O (inglés)
      • (1315) … rela tions hips with the in terna tion al financial institutions …
      • (5865) …streng the ning in terna tional financial institutions …
      • (6145) …transparent mechanism so that the European financial institutions …
    • Intersección de los vectores correspondientes a las sentencias homólogas en O
      • {' fi', ' in', 'al ', 'anc', 'cia', 'fin', 'ial', 'ina', 'ins', 'ion', 'itu', 'l i', 'nan', 'nci', 'nst', 'ons', 'sti', 'the', 'tio', 'tit', 'tut', 'uti'}}
    • Vector final correspondiente a la pseudo-traducción de la consulta
      • {'Ban', 'ank', 'Wor', 'ld ', ..., 'd B', 'Hal', 'ali‘, 'ifa', 'fax', ..., 'cum', 'umb', 'mbr', 'bre', ..., 'sio', 'uss', 'ard', 'rds', 'ax ', 'IMF', ..., 'FMI', ..., 'G7 ', 'the', ..., ' th', 'n t'}
    • Solapamiento entre el vector pseudo-traducido y la hipotética traducción
      • Find documents about discussions o n the reform of financial institutions , and in particular the World Bank and the IMF , a t the G7 summi t that took place in Halifax in 1995
    blindLight como técnica CLIR ( Cross Language IR )
    • Recuperación de información con blindLight
    91% “ La utilización de blindLight como técnica de recuperación de información es viable ofreciendo, además, un método de pseudo-traducción de consultas que lo hace muy interesante para entornos multilingües. Los resultados obtenidos por el momento no son tan satisfactorios como los que proporcionan técnicas afianzadas; no obstante, son similares a los de métodos considerados ‘prometedores’ y hay una serie de puntos donde se podrá mejorar la técnica alcanzando rendimientos superiores.” En conclusión…
    • Resumen automático con blindLight
    92% Conjunto de técnicas que producen para un texto de entrada un documento de salida más corto pero que contiene los puntos más relevantes del original . Luhn (1958) y Edmundson (1969) desarrollaron los primeros sistemas de “extracción de resúmenes”. Los sistemas de resumen automático más comunes son los “extractivos” (o de “cortar-y-pegar” ) por oposición a los “abstractivos” que producen un texto nuevo que recoge las mismas ideas que el original sin extraer ninguna sentencia del mismo. DUC ( Document Understanding Conferences ) surgió como un marco para la evaluación y mejora de sistemas de resumen automático . Desde 2004 la evaluación se realiza automáticamente mediante la herramienta ROUGE (Lin 2004). A fin de evaluar blindLight como sistema de extracción de resúmenes se han empleado los productos de DUC 2004 . Resumen automático
    • Resumen automático con blindLight
    94%
    • Inspirado en el proceso de traducción y síntesis de las proteínas .
    • Se emplea tanto el vector de n -gramas como el texto plano del documento.
      • El “ADN documental” está codificado mediante un vector de n -gramas de caracteres, cada uno de los cuales tiene asociado un peso. Cada par (n-grama, significatividad) puede emplearse a modo de ARNt .
      • El texto plano no proporciona información sobre la relevancia de los distintos pasajes pero puede procesarse secuencialmente y el “ARNt documental” puede transferir significatividad a dicho texto .
      • Este proceso no se realiza en una única fase sino en varias pasadas garantizando que la significatividad media por carácter sea creciente . Así, el texto de partida es “troceado” en fragmentos ( chunks ) de máxima significatividad que pueden utilizarse posteriormente para obtener palabras clave o para facilitar la extracción de las sentencias más relevantes .
    blindLight como técnica de resumen extractivo
    • Resumen automático con blindLight
    95% “ Palabras” clave catástrofes catástrofe a Comisión la Comisión el tsunam eficaz medidas equipos la capacida cción blindLight como técnica de resumen extractivo
    • Resumen automático con blindLight
    97%
    • DUC 2004 fue la primera edición de DUC con evaluación automática y susceptible de facilitar pruebas “no oficiales”.
    • Tareas
      • Resúmenes muy cortos, máximo 75 caracteres, a partir de un único documento.
      • Resúmenes cortos, máximo 665 caracteres, a partir de un conjunto de documentos.
    • blindLight como método de extracción de palabras clave sin tratar de construir un “titular” legible ofrece resultados similares a los de la mayor parte de tecnologías disponibles .
    • blindLight, al igual que el resto de técnicas, se encuentra muy lejos de alcanzar los resultados de un sistema tan sencillo como extraer los primeros caracteres de un artículo a la hora de construir una frase resumen de 75 caracteres.
    • En cuanto a resúmenes de mayor longitud pero igualmente cortos (máximo 665 caracteres ) se puede afirmar que blindLight es, cuando menos, apreciablemente mejor que muchas de las tecnologías disponibles .
    Resultados de blindLight en las tareas DUC 2004
    • Resumen automático con blindLight
    98% “ blindLight es una herramienta útil para la extracción de resúmenes automáticos a partir de texto libre escrito en cualquier lenguaje natural. Su aplicación para la obtención de resúmenes muy cortos no parece adecuada pero muy pocas técnicas consiguen superar la eficacia de un método tan sencillo como extraer los primeros caracteres del documento. Por lo que respecta a la extracción de resúmenes cortos su rendimiento es superior a muchas de las técnicas más avanzadas disponibles En cuanto a la invariabilidad de los resultados respecto al idioma a resumir las pruebas preliminares indican que es bastante elevada y parece posible alcanzar buenos resultados en cualquier lenguaje natural.” En conclusión…
    • Conclusiones y trabajo futuro
    99% blindLight es una técnica novedosa para el procesamiento de lenguaje natural por medios puramente estadísticos. Es aplicable a múltiples idiomas ofreciendo resultados consistentes en todos ellos, muestra una adecuada tolerancia al ruido y resulta apta para tareas de clasificación , categorización y extracción de resúmenes . Además, parece potencialmente útil para la recuperación de información en entornos multilingües aunque en este campo aún no se ha progresado lo suficiente.
    • Conclusiones y trabajo futuro
    100% Adaptar el sistema de extracción de resúmenes a entornos multidocumento. Continuar el desarrollo del sistema de pseudo-traducción. Analizar la posible integración de los dos sistemas anteriores. Emplear programación genética para la obtención de nuevas medidas de similitud entre documentos y consultas en el sistema IR . Estudiar la posible integración de medidas basadas en la complejidad de Kolmogorov. Estudiar la utilización de fragmentos de significatividad máxima como términos de indexado en el sistemas IR . El futuro…
  • Gracias por su paciencia…
    • Referencias
    • Abir et al. 2002
    • Abir, E., Klein, S., Miller, D. y Steinbaum, M. 2002, “Fluent Machines’ EliMT System”, en S.D. Richardson (Ed.): AMTA 2002 , LNAI 2499, pp. 216-219.
    • Androutsopoulos et al. 2000
    • Androutsopoulos, I., Koutsias, J., Chandrinos, K.V., Paliouras, G. y Spyropoulos, C.D. 2000a, “An Evaluation of Naive Bayesian Anti-Spam Filtering”, [Online], en Potamias, G., Moustakis, V. y van Someren, M. (Eds.): Proceedings of the Workshop on Machine Learning in the New Information Age , pp. 9-17, disponible en: <http://www.aueb.gr/users/ion/docs/mlnet_paper.pdf> [30 Junio 2005]
    • Attardi et al. 1999
    • Attardi, G., Gullì, A. y Sebastiani, F. 1999, “Theseus: Categorization by context”, en Proceedings of WWW8 , pp. 136-137
    • Balabanovic et al. 1995
    • Balabanovic, M., Shoham, Y. y Yun, Y. 1995, An adaptive agent for automated web browsing, Informe técnico, Stanford University.
    • Balabanovic 1998
    • Balabanovic, M. 1998, “An interface for learning multi-topic user profiles from implicit feedback”, en Proceedings of AAAI Workshop on Recommender Systems , pp. 6-10.
    • Beesley 1988
    • Beesley, K.R. 1988, “Language identifier: A computer program for automatic natural-language identification on on-line text”, en Proceedings of the 29th Annual Conference of the American Translators Association , pp. 47-54.
    • Referencias
    • Berners-Lee 1989
    • Berners-Lee, T. 1989, Information Management: A Proposal , Informe técnico, CERN.
    • Berners-Lee et al. 2001
    • Berners-Lee, T., Hendler, J. y Lassila, O. 2001, “The Semantic Web”, Scientific American , vol. 284, no. 5, pp. 34-43.
    • Bharat y Henzinger 1998
    • Bharat, K., y Henzinger, M. 1998, “Improved Algorithms for Topic Distillation in a Hyperlinked Environment”, en Proceedings of SIGIR-98, 21st ACM International Conference on Research and Development in Information Retrieval , pp. 104-111.
    • Bray y Curtis 1957
    • Bray, J.R. y Curtis, J.T. 1957, “An ordination of the upland forest communities of southern Wisconsin”. Ecological Monographs , 27, pp. 325-349.
    • Brin y Page 1998
    • Brin, S. y Page, L. 1998, “The Anatomy of a Large-Scale Hypertextual Web Search Engine”, Computer Networks and ISDN Systems , vol. 30, no. 1-7, pp. 107-117.
    • Broder 2002
    • Broder, A. 2002, “A taxonomy of web search”, ACM SIGIR Forum , vol. 36, no. 2, pp. 3-10.
    • Referencias
    • Cavnar y Trenkle 1994
    • Cavnar, W.B. y Trenkle, J.M. 1994, “N-Gram-Based Text Categorization”, en Proceedings of SDAIR-94, 3rd Annual Symposium on Document Analysis and Information Retrieval , pp. 161-175.
    • Chekuri et al. 1997
    • Chekuri, C., Goldwasser, M.H., Raghavan, P. y Upfal, E. 1997, “Web Search Using Automatic Classification”, en Sixth International World Wide Web Conference .
    • Chen et al. 1999
    • Chen, X., Kwong, S. y Li, M. 1999, “A Compression Algorithm for DNA Sequences and its Applications in Genome Comparison”, en Proceedings of the 10th Workshop on Genome Informatics (GIW'99) , pp. 51-61.
    • Cohen 1995
    • Cohen, J.D. 1995, “Highlights: Language and Domain-Independent Automatic Indexing Terms for Abstracting”, JASIS , 46(3), pp. 162-174.
    • Cohen 1996
    • Cohen, W. 1996, “Learning rules that classify email”, en Proceedings of the IEEE Spring Symposium on Machine Learning for Information Access .
    • Damashek 1995
    • Damashek, M. 1995, Gauging Similarity via N-Grams: Language-Independent Sorting, Categorization, and Retrieval of Text . Departamento de Defensa, EE.UU.
    • Referencias
    • Denning 1982
    • Denning, P.J. 1982, “Electronic junk”, CACM , vol. 25, no. 3, pp. 163-165.
    • Duda y Hart 1973
    • Duda, R.O. y Hart, P.E. 1973, Pattern Classification and Scene Analysis , John Wiley and Sons, Inc.
    • Dumais et al. 1988
    • Dumais, S.T., Furnas, G.W., Landauer, T.K., Deerwester, S. y Harshman, R. 1988, “Using Latent Semantic Analysis to improve access to textual information”, en Human Factors in Computing Systems, CHI’88 Conference Proceedings, pp. 281-285.
    • Dumais et al. 1998
    • Dumais, S.T., Platt, J., Heckerman, D. y Sahami, M. 1998, “Inductive learning algorithms and representations for text categorization”, en Proceedings of ACM-CIKM98 , pp. 148-155.
    • Dunning 1993
    • Dunning, T. 1993, “Accurate methods for the statistics of surprise and coincidence”, en Computational Linguistics , vol. 19, no. 1, pp. 61-74.
    • Edmundson 1969
    • Edmundson, H.P. 1969, “New methods in automatic abstracting”, Journal of the ACM , vol. 16, no. 2, pp. 264-285.
    • Referencias
    • Fan et al. 2004a
    • Fan, W., Gordon, D. y Pathak, P. 2004a, “A generic ranking function discovery framework by genetic programming for information retrieval”, Information Processing and Management , vol. 40, no. 4, pp. 587-602.
    • Fan et al. 2004b
    • Fan, W., Gordon, D. y Pathak, P. 2004b, “Discovery of context-specific ranking functions for effective information retrieval using genetic programming”, IEEE Transactions on Knowledge and Data Engineering , vol. 16, no. 4, pp. 523-527.
    • Ferreira da Silva y Pereira Lopes 1999
    • Ferreira da Silva, J., Pereira Lopes, G. 1999, “A Local Maxima method and a Fair Dispersion Normalization for extracting multi-word units from corpora”, en Proceedings of MOL6 , pp. 369-381.
    • Flake et al. 2003
    • Flake, G.W., Pennock, D.M. y Fain, D.C. 2003, “The Self-Organized Web: The Yin to the Semantic Web’s Yang”, IEEE Intelligent Systems , vol. 18, no. 4, pp. 75-77.
    • Fox 1983
    • Fox, E. 1983. Characteristics of Two New Experimental Collections in Computer and Information Science Containing Textual and Bibliographic Concepts , Informe técnico, Cornell University.
    • Referencias
    • Furnas et al. 1987
    • Furnas, G.W., Landauer, T.K., Gómez, L.M. y Dumais, S.T. 1987, “The vocabulary problem in humansystem communication”, Communications of the ACM , vol. 30, no. 11, pp. 964-971.
    • Gayo Avello 2002
    • Gayo Avello, D. 2002, Web Cooperativa . Trabajo de investigación.
    • Gayo Avello y Álvarez Gutiérrez 2002
    • Gayo Avello, D. y Álvarez Gutiérrez, D. 2002, “The Cooperative Web: A Complement to the Semantic Web”, en Proceedings of the 26th Annual International Computer Software & Applications Conference (COMPSAC’02) , pp. 179-183.
    • Gayo Avello et al. 2004
    • Gayo Avello, D., Álvarez Gutiérrez, D. y Gayo Avello, J. 2004c, “Application of variable length n -grams to monolingual and bilingual information retrieval”, en Peters, C. y Borri, F. (Eds.): Working Notes for the CLEF 2004 Workshop .
    • Gayo Avello 2005
    • Gayo Avello, D. 2005, blindLight: Una nueva técnica para procesamiento de texto no estructurado mediante vectores de n-gramas de longitud variable con aplicación a diversas tareas de tratamiento de lenguaje natural . Disertación doctoral.
    • Goldberg et al. 1992
    • Goldberg, D., Nichols, D., Oki, B.M. y Terry, D. 1992, “Using Collaborative Filtering to Weave an Information Tapestry”, Communications of the ACM , vol. 35, no. 12, pp. 61-70.
    • Referencias
    • Grefenstette 1995
    • Grefenstette, G. 1995, “Comparing two language identification schemes”, en Proceedings of 3rd International Conference on Statistical Analysis of Textual Data .
    • Han et al. 1998
    • Han, E., Boley, D., Gini, M., Gross, R., Hastings, K., Karypis, G., Kumar, V., Mobasher, B. y Moore, J. 1998, “WebACE: A Web Agent for Document Categorization and Exploration”, en Proceedings of the 2nd International Conference on Autonomous Agents (Agents’98) , pp. 408-415.
    • IPA 1999
    • IPA ( International Phonetic Association ) 1999, Handbook of the International Phonetic Association : A Guide to the Use of the International Phonetic Alphabet , Cambridge University Press, Reino Unido.
    • Jansen et al. 1998
    • Jansen, B.J., Spink, A., Bateman, J. y Saracevic, T. 1998, “Real life information retrieval: A study of user queries on the web”, SIGIR Forum , vol. 32, no. 1, pp. 5-17.
    • Jansen y Spink 2003
    • Jansen, B.J. y Spink, A. 2003, “An Analysis of Web Documents Retrieved and Viewed”, The 4th International Conference on Internet Computing , pp. 65-69.
    • Referencias
    • Jarvis y Patrick 1973
    • Jarvis, R.A. y Patrick, E.A. 1973, “Clustering Using a Similarity Measure Based on Shared Near Neighbors”, IEEE Transactions on Computers , pp. 1025-1034.
    • Joachims 1997
    • Joachims, T. 1997, “A probabilistic analysis of the Rocchio algorithm with TFIDF for text categorization”, en Proceedings of the 14th International Conference on Machine Learning , pp.143-151.
    • Kantor et al. 2000
    • Kantor, P.B., Boros, E., Melamed, B., Menkov, V., Shapira, B. y Neu, D.J. 2000, “Capturing human intelligence in the Net”, Communications of the ACM , vol. 43, no. 8, pp. 112-115.
    • Kleinberg 1998
    • Kleinberg, J.M. 1998, “Authoritative sources in a hyperlinked environment”, en Proceedings of the ninth annual ACM-SIAM symposium on Discrete algorithms , pp. 668-677.
    • Konstan et al. 1997
    • Konstan, J.A., Miller, B.N., Maltz, D., Herlocker, J.L., Gordon, L.R. y Riedl, J. 1997, “GroupLens: Applying Collaborative Filtering to Usenet News”, Communications of the ACM , vol. 40, no. 3, pp. 77-87.
    • Lancaster 1968
    • Lancaster, F.W. 1968, Information Retrieval Systems: Characteristics, Testing and Evaluation , Wiley, EE.UU.
    • Referencias
    • Li et al. 1999
    • Li, W.S., Vu, Q., Chang, E., Agrawal, D., Hara, Y. y Takano, H. 1999, “PowerBookmarks: A System for Personalizable Web Information Organization, Sharing, and Management”, en Proceedings of the Eighth International World-Wide Web Conference .
    • Li et al. 2004
    • Li, M., Chen, X., Li, X., Ma, B. y Vitányi, P. 2004, “The Similarity Metric”, IEEE Transactions on Information Theory , vol. 50, pp. 3250-3264.
    • Lieberman 1995
    • Lieberman, H. 1995, “Letizia: An Agent That Assists Web Browsing”, en Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence , pp. 924-929.
    • Lin 2004
    • Lin, C.Y. 2004, “Rouge: A Package for Automatic Evaluation of Summaries”, en Text Summarization Branches Out: Proceedings of the ACL-04 Workshop , pp. 74-81.
    • Luhn 1958
    • Luhn, H.P. 1958, “The Automatic Creation of Literature Abstracts”, IBM Journal of Research and Development , vol. 2, no. 2, pp. 159-165.
    • Maarek y Ben Shaul 1996
    • Maarek, Y.S. y Ben Shaul, I.Z. 1996, “Automatically Organizing Bookmarks per Contents”, en Proceedings of the 5th International World Wide Web Conference .
    • Referencias
    • Manber 1996
    • Manber, U. 1996, “ Future Directions and Research Problems in the World Wide Web (Abstract)”, en Proceedings of the Fifteenth ACM SIGACT-SIGMOD-SIGART Symposium on Principles of Database Systems , pp. 213-215 .
    • Maron y Kuhns 1960
    • Maron, M.E. y Kuhns, K.L. 1960, “On relevance, probabilistic indexing and information retrieval”, Journal of the ACM , vol. 7, no. 3, pp. 216-244.
    • McNamee y Mayfield 2003
    • McNamee, P. y Mayfield, J. 2003, “JHU/APL Experiments in Tokenization and Non-Word Translation”, Working Notes for the CLEF 2003 Workshop . 21-22 August, Trondheim, Norway.
    • Merkl y Rauber 1998
    • Merkl, D. y Rauber, A. 1998, “CIA’s View of the World and What Neural Networks Learn from It: A Comparison of Geographical Document Space Representation Metaphors”, en Quirchmayr, G. et al. (Eds.): Database and Expert Systems Applications, 9th International Conference , LNCS 1460, pp. 816-825
    • Morita y Shinoda 1994
    • Morita, M. y Shinoda, Y. 1994, “Information filtering based on user behavior analysis and best match text retrieval”, en Proceedings of the 17th Annual International Retrieval , pp. 272-281.
    • Mosteller y Wallace 1964
    • Mosteller, F. y Wallace, D.L. 1964, “Inference and Disputed Authorship: The Federalist Series”, en Behavioral Science: Quantitative Methods .
    • Referencias
    • Muthukrishnan y Sahinalp 2000
    • Muthukrishnan, S. y Sahinalp, S.C. 2000, “Approximate nearest neighbors and sequence comparison with block operations”, en Proceedings of the thirty-second annual ACM symposium on Theory of computing , pp. 416-424.
    • Page et al. 1998
    • Page, L., Brin, S., Motwani, R. y Winograd, T. 1998, The PageRank Citation Ranking: Bringing Order to the Web , [Online], Stanford University, Disponible en: <http://dbpubs.stanford.edu/pub/1999-66> [30 Junio 2005].
    • Peters et al. 2005
    • Peters, C., Clough, P.D., Jones, G.J.F., Gonzalo, J., Kluck, M. y Magnini, B. (Eds.) 2005, Multilingual Information Access for Text, Speech and Images: Results of the 5th CLEF Evaluation Campaign , LNCS 3491.
    • Pirkola et al. 2002
    • Pirkola, A, Keskustalo, Heikki, Leppänen, Erkka, Känsälä, Antti-Pekka and Järvelin, Kalervo, 2002, “Targeted s -gram matching: a novel n -gram matching technique for cross- and monolingual word form variants”, Information Research , vol. 7, no. 2.
    • Prud'hommeaux y Seaborne 2005
    • Prud’hommeaux, E. y Seaborne, A. (Eds.) 2005, SPARQL Query Language for RDF , [Online], Borrador de trabajo, Consorcio W3, Disponible en: <http://www.w3.org/TR/rdf-sparql-query/> [8 Noviembre 2005].
    • Referencias
    • Rubner et al. 2000
    • Rubner, Y., Tomasi, C. y Guibas, L.J. 2000, “The Earth Mover’s Distance as a Metric for Image Retrieval”, International Journal of Computer Vision , vol. 40, no. 2, pp. 99-121.
    • Rucker y Marcos 1997
    • Rucker, J. y Marcos, J.P. 1997, “Siteseer: Personalized Navigation for the Web”, Communications of the ACM , vol. 40, no. 3, pp. 73-75.
    • Sahami et al. 1998
    • Sahami, M., Dumais, S., Heckerman, D. y Horvitz, E. 1998, “A bayesian approach to filtering junk e-mail”, en AAAI-98 Workshop on Learning for Text Categorization .
    • Salton 1972
    • Salton, G. 1972, Automatic processing of current afairs queries , Informe Técnico, Cornell University.
    • Schütze et al. 1995
    • Schütze, H., Hull, D.A. y Pedersen, J.O. 1995, “A comparison of classi.ers and document representations for the routing problem”, en Proceedings of SIGIR-95, 18th ACM International Conference on Research and Development in Information Retrieval , pp. 229-237.
    • Silverstein et al. 1998
    • Silverstein, C., Henzinger, M., Marais, H. y Moricz, M. 1998, Analysis of a Very Large AltaVista Query Log , Informe técnico, Digital Systems Research Center.
    • Referencias
    • Spärck-Jones 1972
    • Spärck-Jones, K. 1972, “A statistical interpretation of term specificity and its application in retrieval”, Journal of Documentation , vol. 28, no. 1, pp. 11-21.
    • Varré et al. 1999
    • Varré, J.S., Delahaye, J.P. y Rivals, É. 1999, “The Transformation Distance: A Dissimilarity Measure Based on Movements of Segments”, Bioinformatics , vol. 15, no. 3, pp 194-202.