• Save
Reflexiones sobre la traducción automática (2005)
Upcoming SlideShare
Loading in...5
×
 

Reflexiones sobre la traducción automática (2005)

on

  • 6,927 views

 

Statistics

Views

Total Views
6,927
Views on SlideShare
6,916
Embed Views
11

Actions

Likes
20
Downloads
0
Comments
0

4 Embeds 11

http://www.slideshare.net 7
https://twitter.com 2
http://aprenderenred.net 1
http://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

CC Attribution-ShareAlike LicenseCC Attribution-ShareAlike License

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Reflexiones sobre la traducción automática (2005) Reflexiones sobre la traducción automática (2005) Presentation Transcript

  • Reflexiones sobre la traducción automática Joseba Abaitua Grupo DELi (Universidad de Deusto) www.deli.deusto.es CUIMPB 2005
  • Contenidos
    • Bibliografía
    • Ejemplos
    • Reseña histórica
    • Alternativas y reflexiones
    • MT vs MCM
    • Evaluación (ISLE, Bleu , NIST )
    • Claves para el éxito: Dimensiones
  • Antes de empezar…
    • ¿Cuántos?
      • Escritores-traductores
      • Filólogos-lingüistas
      • Informáticos
      • Ingenieros
      • Matemáticos
      • (Otros: físicos, filósofos, psicólogos, teólogos...)
  • Bibliografía
    • Distintos niveles:
      • Introducción
        • Artículos divulgativos
        • Cursos
      • Generalista
        • Artículos o tutoriales
      • Especializado
        • Páginas personales de especialistas
        • Actas on-line de congresos
        • Sedes de las asociaciones
  • Bibliografía : Introducción
    • http://es.wikipedia.org/wiki/Traducción automática
    • Pilar Hernández. 2002. En torno a la traducción automática
    • Victoria López. 2002. Posibilidades y realidades de la t raducción a utomática
    • Marsal Gavaldà. 2002. ¡Que viene la traducción automática!
    • Joseba Abaitua. 2001. Introducción a la traducción automática (en 10 horas)
  • Bibliografía : Generalista
    • Eduard Hovy et al. 2001. Multilingual Information Management . http://www-2.cs.cmu.edu/~ref/mlim /
    • J ohn Hutchins: 2002 . Machine translation today and tomorrow . http://ourworld.compuserve.com/homepages/WJHutchins/
    • Raquel Martínez. 2003. Principales problemas de la traducción automática
    • K. Knight, D. Marcu. 2005. Machine Translation in the Year 2004 , Proceedings of ICASSP .
  • Bibliografía : Especializada
    • Enrique Vidal & Francisco Casacuberta . 2004. http://www.iti.upv.es/~fcn/students/tra/tra.html
    • MT Summit IX. 2003. http:// www . amtaweb . org / summit / MTSummit / papers . html
    • EAMT ( 2005 , 2003 , 2001 )
    • AMTA ( 2004 , 2002 , 2000 )
    • AAMT ( 2005 , 1999 )
    • TIM ( 2004 , 2002 , 1997 )
    • HLT-NAACL ( 2003 )
    • Kevin Knight, J ohn Hutchins , Harold Somers, Sergei Nirenburg, Mikel Forcada, etc.
  • Ejemplo: John Hutchins 2003
    • Although the ideal goal of MT systems may be to produce high-quality translation without human intervention at any stage,in practice this is not possible except in highly constrained situations (see below). In particular, if the reason for using an MT system is to produce translations of publishable quality, approximating what might be expected from a human translator,then the output must be revised (or, as it is known in MT circles, postedited).
  • Ejemplo: Systran 2005 ( John Hutchins 2003)
    • Aunque la meta ideal de los sistemas de la TA puede ser producir la traducción de alta calidad sin la intervención humana en cualquier etapa, esto no es en la práctica posible a menos que en situaciones altamente obligadas (véase abajo). En el detalle, si la razón de usar un sistema de la TA es producir traducciones de la calidad publishable, aproximar qué se pudo esperar de un traductor humano,después de la salida debe ser revisada (o, como se sabe en círculos de la TA, dado forma).
  • Evaluación naif (88/25, 72%)
    • Aunque la meta ideal de los sistemas de la TA puede ser producir la traducción de alta calidad sin la intervención humana en cualquier etapa , esto no es en la práctica posible a menos que en situaciones altamente obligadas (véase abajo). En el detalle , si la razón de usar un sistema de la TA es producir traducciones de la calidad publishable , aproximar qué se pudo esperar de un traductor humano, después de la salida debe ser revisada (o, como se sabe en círculos de la TA, dado forma ).
  • Errores: determinantes
    • Aunque la meta ideal de los sistemas de la TA puede ser producir la traducción de alta calidad sin la intervención humana en cualquier etapa , esto no es en la práctica posible a menos que en situaciones altamente obligadas (véase abajo). En el detalle , si la razón de usar un sistema de la TA es producir traducciones de la calidad publishable , aproximar qué se pudo esperar de un traductor humano, después de la salida debe ser revisada (o, como se sabe en círculos de la TA, dado forma ).
    Determinantes inadecuados
  • Evaluación naif (83/20, 76% +4)
    • Aunque la meta ideal de los sistemas de TA puede ser producir traducción de alta calidad sin intervención humana en cualquier etapa , esto no es en la práctica posible a menos que en situaciones altamente obligadas (véase abajo). En el detalle , si la razón de usar un sistema de TA es producir traducciones de calidad publishable , aproximar qué se pudo esperar de un traductor humano, después de la salida debe ser revisada (o, como se sabe en círculos de la TA, dado forma ).
  • Evaluación naif (83/20, 76%)
    • Aunque la meta ideal de los sistemas de TA puede ser producir traducción de alta calidad sin intervención humana en cualquier etapa , esto no es en la práctica posible a menos que en situaciones altamente obligad as (véase abajo). En el detalle , si la razón de usar un sistema de TA es producir traducciones de calidad publishable , aproximar qué se pudo esperar de un traductor humano , después de la salida debe ser revisada (o, como se sabe en círculos de la TA, dad o forma ).
  • Evaluación naif (84/16, 81%)
    • Although the ideal goal of MT systems may be to produce high-quality translation without human intervention at any stage , in practice this is not possible except in highly constrained situations (see below). In particular , if the reason for using an MT system is to produce translations of publishable quality, approximating what might be expected from a human translator , then the output must be revised ( or, as it is known in MT circles, postedited ).
  • Problema: selección léxica
    • Aunque la meta ideal de los sistemas de TA puede ser producir traducción de alta calidad sin intervención humana en cualquier etapa , esto no es en la práctica posible a menos que en situaciones altamente obligadas (véase abajo). En el detalle , si la razón de usar un sistema de TA es producir traducciones de calidad publishable , aproximar qué se pudo esperar de un traductor humano, después de la salida debe ser revisada (o, como se sabe en círculos de la TA, dado forma ).
    Lexías equivocadas
  • Problema: selección léxica
    • At any stage
    • (768.000)
    • Except
    • (137.000.000)
    • Higly constrained situations
    • (62.900/4.260/109)
    • In particular
    • (66.200.00)
    • Then
    • (407.000.000)
    • Post edited
    • (1.610.00/221.000)
    • En cualquier etapa
    • En cualquier momento
    • A menos que
    • Salvo
    • Situaciones alt. obligadas
    • Situaciones límite
    • En el detalle
    • En concreto
    • Después de
    • Entonces
    • Dado forma
    • Posteditado
  • Ejemplo: 74/4 (95% + 19)
    • Aunque la meta ideal de los sistemas de TA puede ser producir traducción de alta calidad sin intervención humana en cualquier momento , esto no es en la práctica posible salvo en situaciones límite (véase abajo). En concreto , si la razón de usar un sistema de TA es producir traducciones de calidad publicable , aproximar qué se pudo esperar de un traductor humano, entonces la salida debe ser revisada (o, como se sabe en círculos de la TA , posteditada ).
  • Ejemplo
    • Aunque la meta ideal de los sistema s de TA sea producir traducci ones de alta calidad sin intervención humana en cualquier momento , esto no es en la práctica posible salvo en situaciones límite (véase abajo). En particular , si la razón de usar un sistema de TA es producir traducciones de calidad publi c able, a proxim ándose a lo qu e se pud e esperar de un traductor humano, entonces la salida debe ser revisada (o, como se sabe en círculos de la TA, posteditada ).
  • Ejemplo
    • Although the ideal goal of MT systems may be to produce high-quality translation without human intervention at any stage, in practice this is not possible except in highly constrained situations (see below). In particular, if the reason for using an MT system is to produce translations of publishable quality, approximating what might be expected from a human translator,then the output must be revised (or, as it is known in MT circles, postedited).
  • Errores sintácticos (?)
    • approximating what might be expected from a human translator
    • aproximar qué se pudo esperar de un traductor humano
    • aproximándose a lo que se pude esperar de un traductor humano
  • Ejemplo inapropiado
    • En una aldea del la Mancha, el nombre de la cual yo no tiene ningún deseo de llamar para importar, no largo allí vivida puesto que uno de esos caballeros que mantienen una lanza el lanza-estante, un viejo buckler, un corte magro, y un galgo para cursar. Un olla de algo más carne de vaca que el cordero, una ensalada en la mayoría de las noches, los desechos el sábado, las lentejas el viernes, y una paloma o tan adicional el domingo, hecho lejos con tres cuartos de su renta.
  • Ejemplo inapropiado
    • En una aldea del la Mancha, el nombre de la cual yo no tiene ningún deseo de llamar para importar, no largo allí vivida puesto que uno de esos caballeros que mantienen una lanza el lanza-estante, un viejo buckler, un corte magro, y un galgo para cursar. Un olla de algo más carne de vaca que el cordero, una ensalada en la mayoría de las noches, los desechos el sábado, las lentejas el viernes, y una paloma o tan adicional el domingo, hecho lejos con tres cuartos de su renta.
    • En un lugar de la Mancha de cuyo nombre no quiero acordarme, no ha mucho tiempo vivía un hidalgo de los de lanza en astillero, adarga antigua, rocín flaco y galgo corredor. Una olla de algo mas de vaca que carnero, salpicón por las noches, duelos y quebrantos los sábados, l en tejas los viernes, algún palomino de añadidura los domingos, consumían las tres partes de su hacienda.
  • Ejemplo inapropiado John Ormsy (1829-1895)
    • In a village of La Mancha, the name of which I have no desire to call to mind, there lived not long since one of those gentlemen that keep a lance in the lance-rack, an old buckler, a lean hack, and a greyhound for coursing. An olla of rather more beef than mutton, a salad on most nights, scraps on Saturdays, lentils on Fridays, and a pigeon or so extra on Sundays, made away with three-quarters of his income.
  • Ejemplo inapropiado Thomas Shelton (1612)
    • THERE lived not long since, in a certain village of the Mancha, the name whereof I purposely omit, a gentleman of their calling that use to pile up in their halls old lances, halberds, morions, and such other armours and weapons. He was, besides, master of an ancient target, a lean stallion, and a swift greyhound. His pot consisted daily of somewhat more beef than mutton: a gallimaufry each night, collops and eggs on Saturdays, lentils on Fridays, and now and then a lean pigeon on Sundays, did consume three parts of his rents .
  • Traducciones de El Quijote
    • 1612/20 - Thomas Shelton
    • 1687 - John Phillips (a nephew of John Milton) - with copper-plate artwork.
    • 1700 - John Stevens - a revision of Shelton, but including his translation of the pseudepigraphous Spanish continuation of 1614.
    • 1700 - Peter Mottreaux - a witty, lively translation reprinted many times.
    • 1742 - Charles Jarvis (sometimes 'Jervas') - a good, scholarly and accurate translation with more than 100 editions, some printed in the USA.
    • 1755 - Tobias Smollett - the 'tabloid' version against Jarvis's more stuffy rendering.
    • 1885 - John Orm sby
  • Cliché vs variantes en la traducción
    • En un lugar de la Mancha, de cuyo nombre no quiero acordarme
    • in a certain village of the Mancha, the name whereof I purposely omit
    • Somewhere in La Mancha, in a place whose name I do not care to remember,
    • I n some village in La Mancha, whose name I do not care to recall
    • In a village of La Mancha the name of which I have no desire to recall
    • In a village of La Mancha, the name of which I have no desire to call to mind
    • * In a place of Mancha , of whose name I do not want to decide to me (Systran)
  • Reseña histórica: 6 décadas
    • 1946, ENIAC, Warren Weave r
    • 1951, MIT, IBM, Bar-Hillel , SYSTRAN, METAL
    • 1964, ALPAC
    • 1976, TAUM, EUROTRA
    • 1991, Danzin, TRADOS
    • 2002, BLEU, NILS
  • Warren Weave r ( Fundación Rockefeller )
    • dio a conocer públicamente la disciplina anticipando posibles métodos científicos para abordarla: el uso de técnicas criptográficas, la aplicación de los teoremas de Shannon y la utilidad de la estadística, así como la posibilidad de aprovechar la lógica subyacente al lenguaje humano y sus aparentes propiedades universales . El mundo salía de una guerra mundial que en el plano científico había incentivado el desarrollo de métodos computacionales para descifrar mensajes en clave.
  • Yehoshua Bar-Hillel 1951 I nstituto de Tecnología de Massachusetts (MIT)
    • Comenzó a trabajar con dedicación exclusiva
    • en TA
    • En 1952 se organizó el primer simposio de la TA,
    • con temas como los lenguajes controlados, los sublenguajes, la necesidad de la sintaxis, o la posibilidad de prescindir de la intervención humana.
    • La primera demostración pública de un traductor automático se llevó a cabo en 1954, en la Universidad de Georgetown, con ayuda de IBM y la participación del investigador Leon Dostert.
    • Se seleccionaron cuidadosamente 49 oraciones en ruso que se tradujeron al inglés con un vocabulario de 250 palabras y 6 reglas gramaticales.
  • Status quaestionis: Opciones
    • Direct Machine Translation
    • Indirect Machine Translation
      • Transfer
      • Interlingua
    • Example based-MT
      • (EBMT)
    • Statistical MT (SMT)
      • Syntax-based statistical MT (SBMT)
    • Rule-based MT (RBMT)
    • Knowledge-based MT
    • (KBMT)
    • Analogy-based MT
  • S tatus quaestionis: Opciones Vauquois triangelua
  • S tatus quaestionis: Opciones: KMBT (interlingua) Shun Ha Sylvia Konecna Wong (2001)
  • Status quaestionis: Opciones SBMT SMT RBMT KBMT EBMT
  • Status quaestionis: Opciones SBMT SMT RBMT KBMT EBMT
    • 1970
    • 1990
    • 2000
    hybrid
  • Reflexiones
      • Lo que han dicho los gurúes :
        • Y orick Wilks, 1976;
        • M artin Kay, 1980;
        • A lan K . Melby, 1995;
        • K evin Knight, 2005 .
  • Reflexiones (1/5) Yorick Wilks (1976)
    • Richard Montague (1930-1971)
    • and
    • Ludwig Wittgenstein (1889-1951)
      • represent views which are diametrically opposed
      • on the key issue of formalization : of whether, and in what ways, formalisms to express the content of natural language (NL) should be constructed. "I shall argue, too, that the influence of Wittgenstein has been largely beneficial while that of Montague has been largely malign."
  • Reflexiones (2/5) Yorick Wilks (1976)
    • Is there a hidden structure to NL?
    • Montague : Yes; clearly he belives there is
    • a simple logic as the hidden structure of NL.
    • Wittgenstein : Yes, but not one to be revealed by simple techniques, like logic. (He refers to "deep grammatical structures", but it is not clear what exactly he ment for them).
  • Reflexiones (3/5) Martin Kay (1980)
    • "...the computer is improperly used [...] when the attempt is made to mechanize the non-mechanical, or something whose mechanistic substructure science has not yet revealed . In other words, it happens when we attempt to use computers to do something we do not really understand. History provides no better example of improper use of compuers than machine translation."
  • Reflexiones (3/5) Martin Kay (1980)
    • "...ordenagailua ez da ondo erabiltzen mekanikoa ez dena edo zientziarentzat oraindik azpiegitura mekaniko ezezaguna duena mekanizatzeko erabiltzen denean. Bestela esanda, ordenagailua gaizki erabiltzen dugu guk geuk ondo ulertzen ez dugun zerbait egiteko erabiltzen dugunean. Ordenagailuaren erabilera desegokietan, historiak ez digu itzulpen automatikoa baino adibide hoberik emango."
  • Reflexiones (3/5) Martin Kay (1980)
    • "No es adecuado encomendar al ordenador que mecanice lo que no es mecánico, o algo cuya subestructura mecánica no ha sido revelada para la ciencia . En otras palabras, el ordenador se usa inadecuadamente cuando intentamos que haga algo que nosotros mismos no comprendemos. La historia no puede ofrecer un ejemplo mejor de uso inapropiado del ordenador que la traducción automática."
  • Reflexiones (4/5) Alan K. Melby (1995)
    • "[By 1978] I had become convinced that
    • what we had been looking for, the universal,
    • language-independent set of sememes,
    • did not exist ".
    • "Words of general vocabulary are more like wild horses. They do not want to remain stable in their meanining".
  • Reflexiones (5/5) Kevin Knight (2005)
    • “ Deep secrets of translation
    • lie buried in these large data sets [parallel corpora] , waiting to be uncovered by automatic analysis”
  • Reflexiones (5/5) Kevin Knight (2005)
    • “ Profundos secretos de la traducción aguardan ocultos en esas grandes colecciones de datos [corpora paralelos] , a la espera de ser descubiertos mediante procesos de análisis automático ”
  • Reflexiones (5/5) Kevin Knight (2005)
    • “ Secretos profundos de la mentira de la traducción enterrados en estos modems grandes, esperando para ser destapado por análisis automático ”
  • Reflexiones (5/5) Kevin Knight (2005)
    • “ Itzulpengintzaren sekretu handiak ezkutatuta daude data multzo erraldoi [corpora paralelo] hauen barruan, analisi automatikoaren bitartez aurkituak izateko zain”
  • Claves de la TA
    • Mecanización (¿métodos simbólicos?)
    • Intuiciones del traductor (corpora + estadística)
    • Creatividad del lenguaje / escritor-traductor
    • Límites - dimensiones
    • Criterios de evaluación
    • Opciones
  • Status quaestionis: Opciones SBMT SMT RBMT KBMT EBMT
    • 1970
    • 1990
    • 2000
    Montague ( ‘ malign ) hybrid KBMT
  • Status quaestionis: Opciones KBMT
    • 1970
    • 2000
    http://www.isi.edu/natural-language/projects/IL-Annot/
    • 2 n
    • n (n-1)
  • S tatus quaestionis: Opciones: KMBT (interlingua) http://www.isi.edu/natural-language/projects/IL-Annot/ IL-Annot Interlingua Annotation Designing an Interlingua -- a neutral representation of text meaning that sits between languages and can be used to facilitate machine translation and other multi-lingual applications -- has been a dream of computational linguists for several decades. Despite progress on several fronts, a number of key phenomena stubbornly resist standardization. They include: case roles (can one list the most basic roles associated with each action, and each object?), aspect (for example, what does the continuous form in English mean?), discourse connectives (what is the general principle underlying "but" and "however", for example?), etc. This project is a collaboration with people from six universities around the country.
  • Status quaestionis: Kevin Knight (2005)
    • 1989
    • 2005
    SMT “ Automatic statistical training has recently made a major impact on MT accuracy” “ the transition from gibberish to understandable output can be attributed to the increased availability of parallel data and progress in modeling, decoding and automatic evaluation”
    • Del galimatías al texto aceptable
    • cada vez hay más corpora paralelo disponible
    • evaluación automática
    • modelos estadísticos
    • nuevos descodificadores
  • Status quaestionis: Kevin Knight (2005)
    • 1989
    • 2005
    SMT
    • Basic elements of (S)MT:
    • Training data:
      • Millions of words of bilingual data exist for dozens of language pairs
        • Parlament proceedings (Hansard)
        • UN transcripts
        • Multilingual newswires
        • etc.
      • Google caches many
  • Alternativas
    • Machine translation?
    • Machine aided translation?
    • Software localisation?
    • Multilingual content management?
  • Contenidos
    • Bibliografía
    • Ejemplos
    • Reseña histórica
    • Alternativas y reflexiones
    • MT vs MCM
    • Evaluación (ISLE, Bleu , NIST )
    • Claves para el éxito: Dimensiones
  • SARE-Bi: functions
    • Retrieving docs.
      • filtering
        • based on metadata
      • searching
        • free text
        • any language
  • SARE-Bi: filter results
    • A row for each document
      • visualisation link modification link
  • SARE-Bi: visualisation
    • Export tool
      • TEI & TMX
    • Complete doc.
      • to retrieve full contents
    • Segmented doc.
      • to see language correspondence
  • SARE-Bi: search results
    • Found segments
      • in all document languages
      • equivalent to translation memory browsing
    • Includes visualisation link
  • SARE-Bi: adding a document (first step)
    • User provides:
      • values for metadata
      • languages of the document (may be just one)
    • User input Metadata management
    • Segmentation and alignment
      • user can verify that these tasks are OK
    • Same page for document modification
    SARE-Bi: adding a document (second step)
  • SARE-Bi: metadata (categorisation of documents)
    • Hierarchical taxonomy of several levels
      • 3 functions, 25 genres, and 256 topics (UD)
      • e.g. a certificate of attendance at a short course has:
        • 1-function informative
        • 2-genre certificate
        • 3-topic attendance
    30000/inquirir 31100/ ficha 31101/ aceptación o renuncia de beca 31102/ boletín de inscripción 31103/ datos de viaje 31104/ modelo de pago 31105/ relación de coordinadores departamentales 31106/ planificación actividad de profesores 31107/ prácticas 31108/ datos estadísticos 31109/ boletín subscripción revista 31200/ impreso 31201/ de solicitud de beca 31202/ de solicitud de expediente 31203/ de solicitud de admisión 31204/ de solicitud de alojamiento 31205/ de programa Sócrates 31206/ de matrícula 31207/ factura 31208/ recibí 31209/ petición de fotocopias
  • Contenidos
    • Bibliografía
    • Ejemplos
    • Reseña histórica
    • Alternativas y reflexiones
    • MT vs MCM
    • Evaluación (ISLE, Bleu , NIST )
    • Claves para el éxito: Dimensiones
  • Sistemas de evaluación de la TA
    • ISLE taxonomy for MT Evaluation
    • http:// www . isi . edu /natural- language / mteval /
    • Modelo BLEU de IBM
    • NIST 2002 Machine Translation Evaluation Plan (MT-02)
    • MTSE2005 Evaluation Measures for MT and/or Summarization ACL 2005 Workshop (W9 )
    • http:// www . isi . edu /~ cyl /MTSE2005/
  • Status quaestionis: Kevin Knight (2005)
    • 1989
    • 2005
    SMT
    • Basic elements of (S)MT:
    • Evaluation methods until 2002
      • Lack of gold standard for a test set
      • High degree of variation in HT
      • Unclear how to measure the distance between MT and HT (because of large scale w/ph mov.)
      • No fast develop/test/evaluate cycle
      • Subjective evaluation processes
      • Complex protocols for counting errors (lexical, syntactic, semantic…)
  • Status quaestionis: Kevin Knight (2005)
    • 1989
    • 2005
    SMT
    • Basic elements of (S)MT:
    • Evaluation methods after 2002
      • Papineni et al 2002: BLEU
      • Translation performance (adequacy and fluency) correlates with the number of n-grams that co-occur between translated and reference documents
      • The higher the overlap, the higher the performance
      • 2004: BLEU is the metric of choice in DARPA’s evaluation at NIST
  • Sistemas de evaluación: ISLE taxonomy for MT Evaluation
    • 1 Evaluation requirements
    • * 1.1 The purpose of evaluation
    • * 1.2 The object of evaluation
    • * 1.3 Characteristics of the translation task
    • o 1.3.1 Assimilation
    • o 1.3.2 Dissemination
    • o 1.3.3 Communication
    • * 1.4 User characteristics
    • o 1.3.1 Machine translation user
    • o 1.3.2 Translation consumer
    • o 1.3.3 Organisational user
    • * 1.5 Input characteristics (author and text)
  • Sistemas de evaluación: ISLE taxonomy for MT Evaluation
    • 2 System characteristics to be evaluated
    • * 2.1 System internal characteristics
    • o 2.1.1 MT system-specific characteristics
    • o 2.1.2 Translation process models
    • o 2.1.3 Linguistic resources and utilities
    • o 2.1.4 Characteristics of process flow
    • * 2.2 System external characteristics
    • o 2.2.1 Functionality
    • o 2.2.2 Reliability
    • o 2.2.3 Usability
    • o 2.2.4 Efficiency
    • o 2.2.5 Maintainability
    • o 2.2.6 Portability
    • o 2.2.7 Cost
  • Sistemas de evaluación: ISLE taxonomy for MT Evaluation
    • * 2.2 System external characteristics
    • o 2.2.1 Functionality
    • + 2.2.1.1 Suitability
    • + 2.2.1.2 Accuracy
            • # 2.2.1.2.1 Fidelity
            • # 2.2.1.2.2 Consistency
            • # 2.2.1.2.3 Terminology
    • + 2.2.1.3 Wellformedness
    • + 2.2.1.4 Interoperability
    • + 2.2.1.5 Compliance
    • + 2.2.1.6 Security
  • ISLE taxonomy for MT Evaluation : Fidelity / correctness / precision
    • Definition
      • Subjective evaluation of the degree to which the information contained in the original text has been reproduced without distortion in the translation (Van Slype).
      • Measurement of the correctness of the information transferred from the source language to the target language (Halliday in Van Slype's Critical Report).
    • Metrics
      • Carroll (in Van Slype's Critical Report): Rating of sentences read out of context on a 9-point scale.
      • Crook and Bishop (in Van Slype's Critical Report): Rating on a 25-point scale.
      • Halliday (in Van Slype's Critical Report): Assessment of the correctness of the information transferred.
      • Leavitt (in Van Slype's Critical Report): Rating of text units read on a 9-point scale.
      • Miller and Beebe-Center (in Van Slype's Critical Report ): Rating of a text on a 100-point scale.
  • ISLE taxonomy for MT Evaluation : Fidelity / correctness / precision
    • Metrics
      • White and O'Connell (in DARPA 94 ): Rating of 'Adequacy' on a 5-point scale.
      • Bleu evaluation tool kit (in Papineni et al. 2001 ): Automatic n-gram comparison of translated sentences with one or more human reference translations.
      • Rank-order evaluation of MT system: correlation of automatically computed semantic and syntactic attributes of the MT output with human scores for adequacy and informativeness, and also fluency. Hartley and Rajman 2001 and 2002 .
      • Automated word-error-rate evaluation (in Och , Tillmann and Ney , 1999 ).
      • Automated metric using head transducers ( Alshawi et al, 2000 ).
  • ISLE taxonomy for MT Evaluation : Fidelity / correctness / precision
    • Notes
      • The fidelity rating has been found to be equal to or lower than the comprehensibility rating, since the unintelligible part of the message is not found in the translation. Any variation between the comprehensibility rating and the fidelity rating is due to additional distortion of the information, which can arise from: loss of information (silence) - example: word not translated
      • interference (noise) - example: word added by the system
      • distortion from a combination of loss and interference - example: word badly translated
      • Detailed analysis of the fidelity of a translation is very difficult to carry out, since each sentence conveys not a single item of information or a series of elementary items of information, but rather a portion of message or a series of complex messages whose relative importance in the sentence is not easy to appreciate.
      • Some automated metrics assume a fidelity evaluation as a human ground truth, or are relevant to fidelity evaluation.
    • View or add comments (179)
  • Sistemas de evaluación: BLEU de IBM
      • Papineni et al 2002: BLEU
      • Translation performance (adequacy and fluency) correlates with the number of n-grams that co-occur between translated and reference documents
      • The higher the overlap, the higher the performance
      • 2004: BLEU is the metric of choice in DARPA’s evaluation at NIST
  • Sistemas de evaluación: BLEU de IBM
  • Sistemas de evaluación: BLEU de IBM
  • Sistemas de evaluación: NIST evaluation since 2003
    • An the winer of the
    • 2005 June competition has been:
    • Google’s SMT system!!!, developed by Franz Och (formerly at ISI)
    • (fuente: Asier Alcázar)
  • Contenidos
    • Bibliografía
    • Ejemplos
    • Reseña histórica
    • Alternativas y reflexiones
    • MT vs MCM
    • Evaluación (ISLE, Bleu , NIST )
    • Claves para el éxito: Dimensiones
  • Dimensiones de la TA: Calidad vs. cobertura Cobertura Calidad CAT MT
  • Dimensiones: Calidad Idoneidad - fluidez Rober C. Berwick 2003
  • Dimensiones de la traducción automática
    • Género / tipología textual (ISLE)
    • Densidad léxica (ISLE)
    • Medio (ISLE)
    • Propósito (ISLE)
    • Desarrollo y recursos (ISLE)
    • Distancia lingüística y cultural
  • Dimensiones : Género
    • Traducciones autoritativas: textos litúrgicos, legales
    • Textos canónicos: Quijote, Alice in Wonderland
    • Chistes lingüísticos, publicidad
    • Artículos de opinión vs partes
    • Anna Trosborg 1997
  • Género: Chistes lingüísticos
    •   Dos locos se escapan de un manicomio disfrazados de caramelos. Los para un policía y les dice:    - ¿Ustedes son dementes?    - No, somos de frese.
    • Why did the banana go to the hospital? Because he wasn't peeling well.
  • Dimensiones : Densidad léxica
    • Densidad vs granularidad
    • Textos legales, litúrgicos, administrativos:
      • Escritura
      • Permiso de construcción
    • Terminología especializada
    • Alan K. Melby 1995, Sara Laviosa 1998
  • Dimensiones: Medio
    • Oral :
      • Vermobile, Janus, EuTrans, TransType
      • 500 000 sentence-pairs that were generated semi-automatically from texts out of tourist guidelines (error 2%)
      • 10 000 sentence-pairs 686 words in Spanish and 513 in English (error 8%)
      • Recepción de un hotel: solicitud de información, realización de reservas, cancelaciones, reclamaciones y cambios en la reserva
      • Retos : a mbientes desfavorables ( vg teléfonos celulares), prosodia y espontaneidad de los locutore
    • Escrito : TA vs TAO
    • Electrónico : localización de software
  • Dimensiones : Propósito
    • Asimilación : traducción de muchos textos con intención de detectar/vigilar grandes volúmenes de información de la manera más rápida posible
    • Diseminación : traducción cuidada de textos señalados para su publicación
    • Comunicación : traducción que tiene como objetivo que dos o más personas que hablan en distintas lenguas puedan entenderse
    • ISLE: Characteristics of the translation task . http://www.isi.edu/natural-language/mteval/
  • Dimensiones : Desarrollo y recursos
    • 6000 lenguas ( 12 000 vs. 35 994 000 )
    • 400 en extinción (vg sami - Laponia)
    • Systran: 50 pares
    • Pakistán: 150 millones/h. - 60 lenguas?
      • Urdu (104, 8%, lingua franca)
      • Panyabí (90), pashto (38), siraiki, sindhi (20), balochi
      • 1980, procesadores de texto (nastaleeq)
      • Unicode 4.0 (abril 2003)
      • NADRA: less than 19 million/h registered
  • Dimensiones: Recursos: Corpora plurilingües
    • Opus (300 kp) cs da de el en es et fi fr ga hu it lt lv mt nl pl pt sk sl sv . http://logos.uio.no/opus
    • Cluvi (12 kp) gl es. http://sli.uvigo.es/CLUVI
    • Crater (5,5 kp) fr es en. http://www.comp.lancs.ac.uk/crater
    • Compara (2,3 kp) pt en. http://www.linguateca.pt/COMPARA
    • BancTrad (2 kp) ca en fr de es. http://mutis.upf.es/bt
    • Grial (2,5 kp) en ca es. http://grial.uab.es
  • Recursos: Linguistic Data Consortium
    • 1994-2004
      • 0-90 kp inglés-francés
    • 1998-2004
      • 0-170 kp inglés-chino
    • 2000-2004
      • 0-100 kp inglés-árabe
      • Kevin Knight (2005)
  • Status quaestionis: Kevin Knight (2005)
    • 1989
    • 2005
    SMT “ Automatic statistical training has recently made a major impact on MT accuracy” “ the transition from gibberish to understandable output can be attributed to the increased availability of parallel data and progress in modeling, decoding and automatic evaluation”
  • Dimensiones: Distancia lingüística y cultural
    • Relaciones de parentesco:
    • es pr / ca
    • es en / de
    • es eu
    • es ja
  • Distancia cultural: Renato Beninatto. 2002. Quick take on Japan. http://www.lisa.org/2003/csa_japan.pdf
    • This is a little bit different
    • You are almost correct
    • You are way off
    • You are entirely mistaken
    • You are only off by a small margin
    • You are wrong
  • Opciones y éxito según distancia
    • Direct Machine Translation
    • Indirect Machine Translation
      • Transfer
      • Interlingua
    • Example based-MT
      • (EBMT)
    • Statistical MT (SMT)
      • Syntax-based statistical MT (SBMT)
    • Rule-based MT (RBMT)
    • Knowledge-based MT
    • (KBMT)
    • Analogy-based MT
  • Sistemas de TA: es - ca - pt
    • Calidad y cobertura; idoneidad y fluidez:
    • InterNostrum http:// www . internostrum . com /
    • AutomaticTrans http:// oesi . cervantes .es/ traduccion . jsp
    • Comprendium http:// www . comprendium .es
    • Salt http://www.cult.gva.es/salt/
    • Fuente: Consorci per a la Normalització Lingüística http://www.cpnl.org/recursos/
  • ¿Calidad por cercanía?
    • Two disguised crazy people escape of manicomio of caramels. For a police and he says to them:
      • You are lunatic?
      • No, we are of mills.
    • ¿Por qué el plátano fue al hospital? Porque él no pelaba bien.
    • Dos bojos s'escapen d'un manicomi disfressats de caramels. Els per a un policia i els diu:
      • - Vostès són dements?
      • - No, som de fresi .
  • More examples
    • Untranslatability ( a deed , Renascence text , poem1 , poem2 , poem3 , linguistic jokes )
    • Literary translation ( Harry Potter , Linguae Vasconum Primitiae , Othelo )
    • Translation of news ( an event , opinion article )
    • Autotranslation ( Bernardo Atxaga , Javi Cillero , Unai Etxebarria)
    • Machine Translation ( conference abstracts , report summary , sport )
    • Comparable news ( economy , sport )
  • Referencias (1/2)
    • E. Charniak, K. Night, K. Yamada. 2003. Syntax-based language models for machine translation. Proceedings of MT Summit IX. http:// www . isi . edu /natural- language / projects / rewrite /mtsummit03. pdf
    • J. Díaz-Labrador, J. Abaitua, G. Araolaza, I. Jacob, F. Quintana. 2003. Metadata for multilingual content management A practical experience with the SARE-Bi system. ASLIB Translating & the Computer 25, pp. 151-170. http:// www . deli . deusto .es/ AboutUs / Publications /TC25_ deli _final. pdf
    • M. Galley, M. Hopkins, K. Night, D. Marcu. 2004. What's in a translation rule? Proceedings of NAALCL-HLT. http:// www . isi . edu /natural- language / projects / rewrite / whatsin . pdf
    • A. Hartley, M. Rajman. 2001. Automatically Predicting MT Systems Rankings Compatible with Fluency, Adequacy or Informativeness Scores. Proceedings of Workshop on MT Evaluation "Who did what to whom?" at MT Summit VIII,pp. 29-34. http:// www . issco . unige . ch / projects / isle /MT- Summit - wsp . html
    • K. Knight, D. Marcu. 2005. Machine Translation in the Year 2004, Proceedings of ICASSP. http:// www . isi . edu /natural- language / mt /icassp05. pdf
    • K. Papineni, S. Roukos, T. Ward, W.J. Zhu. 2002. BLEU: a method for automatic evaluation of machine translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. http:// acl . ldc . upenn . edu /P/P02/P02-1040. pdf
    • J. White. 2003. How to evaluate machine translation. En H.Somers (ed.) Computers and Translation: a translator's guide. J. Benjamins, pp. 211-244.
  • Referencias (2/2)
    • Yorik Wilks. 1976. Philosophy of Language, in Eugene Charniak and Yorik Wilks (eds), pp. 205-233. Computational Semantics: An introduction to Artificial Intelligence and Natural Language Comprehension , North-Holland.
    • Martin Kay. 1997. The Proper Place of Men and Machines in Language Translation. Machine Translation 12:3-23.
    • Melby, Alan K. 1995. The Possibility of Language. A discussion of the nature of language with implications for human and machine translation . John Benjamins
    • K. Knight, D. Marcu. 2005. Machine Translation in the Year 2004, Proceedings of ICASSP .