Download to read offline
计划
- 1.
- 2. • Machine Learning •Automatic Machine Translation Evaluation Basics • Key techniques • State-of-the-art • Goal & Motivation • Study plan
- 3. Machine Learning • Abranch of AI; A scientific discipline concerned with the design and development of algorithms that take as input empirical data, and yield patterns or predictions thought to be features of the underlying mechanism that generated the data
- 4. Machine Learning • InAction
- 5. Machine Learning • Broadcategories – Supervised learning • Classification, Regression – Unsupervised learning • Density estimation, Clustering, Dimensionality reduction – Semi-supervised learning – Active learning – Reinforcement learning – Transfer learning – Many more …
- 6. Supervised Learning • Task: learn a predictive function h: XY Classification 分类 Regression 回归 Discrete Labels Continuous Labels
- 7.
- 8. Classifier? • Non-parametric approach •Parametric approach
- 9. Automatic Machine Translation Basics •What is Machine Translation ( MT )? • What is Machine Translation Evaluation? More art than science: 数学+语言学+计算机科学 信、达、雅？ 结果质量想多了！ 多大程度上，某项任务 系统开发者：体现系统问题，修复完善翻译系统 用户：系统可用性
- 10. Automatic Machine Translation EvaluationBasics • 人工评测 • 准确度高；耗费大量人力物力 • 流利度(fluency)：语法正确性、惯用语选择 • 忠实度(adequacy)：传达原文意思？信息丢失？增加？曲解？ • 分级： • 自动评测 • 针对 • 成本低、 速度快；准确率（与人工评价的相关度）低 • 准确率： • 召回率： 基于机器学习 • 回归模型 • 分类模型 流利度 5 流畅的英语 4 较好的英语 3 非母语的表达 2 不流畅的英语 1 表达不清的英语 _ correct precision output length correct recall reference length
- 11. Automatic Machine Translation Basics •自动评测： • 基于语言学检测点的方法 • 基于字符串相似度计算的方法 – 基于距离的方法 » 句子越容易改写成另一个句子，则两句的相似度越高 » 利用定义的改写操作及其代价计算译文之间的距离 » 错误率的形式 – 基于 ｎ 元语法的方法 » 基于 ｎ 元语法的方法的基本模式是在候选译文和参考译文的 ｎ 元语法集合 上建立匹配， 然后计算匹配得分 – 基于词对齐的方法 • 机器学习方法 – 分类学习 – 回归学习 – 排序学习
- 12. Automatic Machine Translation Basics •机器学习方法 • 分类 – 区分机器译文和参考译文 – 从多个系统中选取最好的译 文 – SVM – 关键点在于分类特征的选取 • 回归 – 训 练 数 据 看 作 （ｘ，ｈ） 的 集 合 （ 其中 ｘ 是特征向量，ｈ 是人工评价）， 通 过 训 练 调 节 不同特征的权值使得特征组合产生的评价尽可能地接近训练数据的人工 评分 – SVM回归模型 • 混合多种评测方法 – 线性组合 – 相关度降序排列， 逐个加到最优集合，直到性能不 提 高 • 综合多个特征 – 除了选择代表译文在词汇、 句法、 语义等层面上的质量的特征， 但是机器学习 还可以使用非 直接评价的特征， 如词的数量 、 句子长度 、 未知词、句法树的性 质、解 析工具的准确度 、 语言模型相关特征 、 实义词和虚词相关特征等 Word-alignment distribution
- 13. State-of-the-art • BLEU系统 (BilingualEvaluation Understudy) • 准确率（precision）与召回率（recall） • N-gram match • METEOR系统 • 在BLEU的基础上增加了词根还原和同义词检测 • 评价标准 System A: Israeli officials responsibility of airport safety Reference: Israeli officials are responsible for airport security System B: airport security Israeli officials are responsible BLEU: A is better METEOR: B is better
- 14. ML MTE EXAMPLE （EnglishJapanese2010） • Classification yet regression model-like, i.e. continuous score Literal translation unnaturalness in MT Reveal unnatural translations by some classification features Classification accuracy + comparison with manual evaluation result
- 15.
- 16. EXAMPLE: • solution： • Classificationfeature: aligned word pairs feature • SVM • Scores? The distance to the hyper-plane • Experiments and test： 流程： 比较各个模型的性能，相关系数
- 17. MT Evaluation KeyTechniques (so far) • including but not limited to: SVM I. popular/successful II. various problem: a) linearly separable : maximal margin hyperlane b) linearly inseparable: soft margin, noise c) nonlinear: 属性变换，或者 kernel III. robust IV. learning problem solved using
- 18. Goal & Motivation •一、实现上述论文中的基于分类器评价系统算法 • 二、实现其他论文中基于回归的评价系统 • 三、混合两种评价系统 Motivation： • 因为本身对语言比较感兴趣，对机器翻译问题好奇。 • 机器学习是以后学习研究的主要工具，这次毕设相当于一次入门和实 践 • Challenge: 评测则是 more art than science , 不好定量。需要多了 解别人的思想
- 19. Study plan • 吴恩达（AndrewNg） 斯坦福公开课 • 参考书籍 • 论文学习与实现 • 平行语料库 • 现有机器翻译系统 • 现有机器翻译自动评价系统
- 20. Preliminary Work • C++和 Matlab • 在使用中学习 • 吴恩达（Andrew Ng） 斯坦福公开课 • 讲解清晰易懂 • Coursera版本 ： 优：新、简洁明了，forum 缺：比较粗略 • 网易公开课版本：优：有公式推导、课堂答疑、详尽 缺：no forum • 目标：巩固数学知识，知道其在机器学习领域的应用，建立基本概念 • 参考书籍与文献 • 介绍机器翻译的基本原理、术语和思考方法 • 《人工智能与机器翻译》《统计机器翻译》等等，后者由德国权威书写，介 绍大量的机器翻译基础知识、核心方法及前沿研究。 • 国际评测大会报告
- 21. Future Work • 论文学习与实现 •Classification-based method:A Machine Learning-Based Evaluation Method for Machine Translation – Classification-based method, SVM, EnglishJapanese （应该在英译中上试验） – Tools: GIZA++(word aligner)，morphological analysis system, TinySVM, BLEU – Spearman rank correlation, Fisher Z-transformation • A Learning approach to improving sentence-level MT evaluation – SVM, ChineseEnglish • Regression-based method: A Paraphrase-Based Approach to Machine Translation Evaluation • 方法的评估 ： 学会使用BLEU、NIST、METEOR打分 • 围绕几篇论文实现一个系统 将分类方法和回归方法做一个混合 ？目前最大疑问？ 如何去评价一个评价系统？
Editor's Notes
- #6 有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。这里，所有的标记（分类）是已知的。因此，训练样本的岐义性低。 无监督学习：对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识。这里，所有的标记（分类）是未知的。因此，训练样本的岐义性高。聚类就是典型的无监督学习
- #10 评价的指标有很多，复杂性与难度：
- #12 机器学习的方法用到了上边“基于距离”、“基于n元语法”等方法来确定分类特征
- #15 Literal translation often makes MTs unnatural. Therefore, a critical issue in MT development is how to deal with literal translation. If a classifier uses classification features that reveal unnatural literal translations, classification results will reveal problematic MTs. Reducing unnatural literal translations would improve MTs
- #17 采用SVM学习得到分类器。以测试实例到超平面的距离为该测试实例得评价分数。
- #18 –SVM is among the most popular/successful classifiers – It provides a principled way to learn a robust classifier (i.e., a decision boundary) – chooses the one with maximum margin principle – has sound theoretical guarantee – extends to nonlinear decision boundary by using kernel trick – learning problem efficiently solved using convex optimization techniques