Machine Learning

1. 机器学习
• 基本知识
• 应用实例
• 学习资源
杨新勇 2012/06/14
Machine Learning seyo816@gmail.com
http://www.lifeba.org

2. 机器学习介绍
• 机器学习概述和定义
• 机器学习发展史
• 机器学习算法分类

3. 机器学习概述和定义
 概述
 机器学习是一门人工智能的科学，是近20多年
兴起的一门多领域交叉学科，涉及概率论、统
计学、算法复杂度理论等多门学科。
 机器学习主要关注于开发一些让计算机可以自
动“学习”的技术，使得计算机具备和人类一
样的学习能力。
 决策、推理、认知、识别等
 容错性，推广能力（举一反三）

4. 机器学习概述和定义
 定义
 Arthur Samuel (1959). Machine
Learning: Field of study that gives
computers the ability to learn without
being explicitly programmed.
 Tom Mitchell (1998) .A computer
program is said to learn from
experience E with respect to some task
T and some performance measure P, if
its performance on T, as measured by P,
improves with experience E.

5. 机器学习发展史
 机器学习的发展史
 发展过程大体上可分为4个时期。
 第一阶段是在50年代中叶到60年代中叶，属于热烈
时期
 第二阶段是在60年代中叶至70年代中叶，被称为机
器学习的冷静时期。
 第三阶段是从70年代中叶至80年代中叶，称为复兴
时期。
 机器学习的最新阶段始于1986年。

6. 机器学习发展史
 机器学习新阶段的重要表现
 相关理论知识逐渐完善。
 机器学习各种基础问题的统一性观点正在形成。
 结合各种学习方法，取长补短的多种形式的集成学
习系统研究正在兴起。
 研究内容渗透到各个领域，在每个领域中都有
重要的表现。
 应用例如搜索引擎、医学诊断、证券市场分析、
DNA序列测序、语音和手写识别、战略游戏和机器
人运用等

7. 机器学习发展史

8. 机器学习发展史
 机器学习新阶段的重要表现
 机器学习研究活跃
 机器学习已成为新的边缘学科并在高校形成一门课
程。
 与机器学习有关的学术活动空前活跃。
 国际上除每年一次的机器学习研讨会外，还有计算机学习
理论会议以及遗传算法会议。
 中国机器学习会议

9. 机器学习发展史
 机器学习未来发展趋势
 发展和完善现有学习方法，同时开展新的学习
方法的研究
 建立实用的学习系统，特别是开展多种学习方
法协同工作的集成化系统的研究
 人类学习机制的研究

10. 机器学习算法分类
 监督学习（Supervised learning）
 对具有概念标记（分类）的训练样本进行学习，
以尽可能对训练样本集外的数据进行标记（分
类）预测。这里，所有的标记（分类）是已知
的。因此，训练样本的岐义性低。

11. 机器学习算法分类
 监督学习（Supervised learning）
 回归（Regression）和分类(Classification)
 监督学习算法的输出如果是连续的，称为回归，如
果是离散的，称为分类。

12. 机器学习算法分类
 无监督学习（Unsupervised learning）
 对没有概念标记（分类）的训练样本进行学习，
以发现训练样本集中的结构性知识。这里，所
有的标记（分类）是未知的。因此，训练样本
的岐义性高。

13. 机器学习算法分类
 无监督学习（Unsupervised learning）
 聚类就是典型的无监督学习

14. 机器学习算法分类
 无监督学习（Unsupervised learning）
 鸡尾酒会效应（COCKTAIL PARTY PROBLEM）
[W,s,v] = svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x');

15. 机器学习算法分类
 半监督学习（Semi-supervised learning）
 利用标注样本和未标注样本进行训练和分类。自动
地对未标记数据加以利用，学习在整个数据分布上
具有强泛化能力的模型。整个学习过程无需人工干
预，完全基于学习系统自身实现对未标记数据的利
用。

16. 机器学习算法分类
 强化学习（Reinforcement learning）
 系统从环境到行为映射的学习，以使奖励信号
(强化信号)函数值最大。即观察后，再采取行
动。每一个动作，都会对环境产生影响，而后
环境以奖励的形式提供反馈以便指导学习算法。

17. 机器学习算法分类
 强化学习（Reinforcement learning）
 在人工智能、机器人领域应用广泛。如：机器
人、自动驾驶、无人飞机等

18. 机器学习算法分类
 其他算法
 转导（Transduction）：在训练集输入，训练
集的输出和测试输入的基础上，试图预测新的
输出
 学会学习（Learning to learn）：学会自己
的根据以往的经验归纳偏置 。
 ……

19. 机器学习算法分类
 具体实现方法
 构造条件概率：回归分析和分类
 支持向量机
 人工神经网络
 决策树(Decision tree)
 高斯过程回归
 线性判别分析
 最近邻居法
 感知器
 放射基函数

20. 机器学习算法分类
 具体实现方法
 通过再生模型构造概率密度函数(Probability
density function)
 最大期望算法(Expectation-maximization
algorithm)
 graphical model：包括贝叶斯网络和Markov随
机域
 Generative Topographic Mapping

21. 机器学习算法分类
 具体实现方法
 近似推断技术
 马尔可夫链(Markov chain) 蒙特卡罗方法
 变分法

22. 应用实例
• 智能分类系统
• 非结构化信息抽取系统

23. 智能分类系统
 支持向量机(Support Vector Machine)
 1995年首先提出的,是一种监督式学习的方法,
它广泛的应用于统计分类以及回归分析中
 支持向量机属于一般化线性分类器
 将向量映射到一个更高维的空间里，在这个空间里
建立有一个最大间隔超平面
 SVM的关键在于核函数
 线性核函数 多项式核 径向基核（RBF）傅里叶核
样条核 Sigmoid核函数
 核参数选择

24. 智能分类系统
 学习的基本模型
 应用过程
特征提取 支持向量机
原始数据 人工分析 训练样本 机器学习 模型
离线过程
在线过程
决定性步骤 新数据
尚无有效的理论指导
结果

25. 智能分类系统
 样本准备
 数据准备
 保证每个分类下的都有样本数据
 样本数据尽可能的能代表该分类的信息
 特征与特征提取
 使用什么样的特征？如何计算？如何进行预处理？
 特征选择、降维
 并非所有特征都对学习有帮助,过多的特征会带来大量噪声
 消除特征之间的相关性，降低特征维数

26. 智能分类系统
 样本选择
 正负样本数可能严重失衡（1:10，1:100）
 大样本数据导致训练时间指数级别增加
 训练算法
 算法选择
 Libsvm
 参数选择
 算法参数的选择直接决定了训练出的模型的优劣

27. 智能分类系统
 算法验证
 文本分类系统常用的评估标准
 查准率(精度)
 判断的文档中与人工分类结果吻合的文档所占的比率，它
体现了系统检索结果的准确程度
 查全率(召回率)
 人工分类结果应有的文档中与分类系统吻合的文档所占的
比率，它体现了系统检索所有相关文档的完备性

28. 智能分类系统
 算法验证
 文本分类系统常用的评估标准
 评估文档样本5千个

29. 智能分类系统
 算法改进
 特征词提取
 主动学习方法，改进样本质量

30. 非结构化信息抽取系统
 隐马尔可夫模型（Hidden Markov Models）
 HMM，是统计模型，它用来描述一个含有隐含
未知参数的马尔可夫过程。
 解决三个基本问题
 评估（Evaluation）
 解码（ Decoding）
 学习（Learning）

31. 非结构化信息抽取系统

32. 非结构化信息抽取系统

33. 学习资源
 学习建议
 感兴趣的方面，选择一种高级算法
 利用Matlab,WEKA工具
 学术资源
 Matlab
 http://www.mathworks.cn/
 Weka
 Data Mining (ML) software in Java
 http://www.cs.waikato.ac.nz/ml/weka/

34. 学习资源
 学术资源
 Libsvm
A Library for Support Vector Machines
 http://www.csie.ntu.edu.tw/~cjlin/libsvm
 Lingpipe
 http://alias-i.com/lingpipe/

35. 学习资源
 学术资源
 AAAI
 http://www.aaai.org/AITopics/html/machine
.html
 MLC++
A library of C++ classes for supervised
machine learning
 http://www.sgi.com/tech/mlc/
 斯坦福大学Machine Learning
 http://v.163.com/special/opencourse/machi
nelearning.html

36. 学习资源
 学术资源
 http://www.support-vector-
machines.org/index.html
 http://archive.ics.uci.edu/ml/
 http://www.kernel-machines.org/
 http://mloss.org/software/
 http://www3.ntu.edu.sg/home/aswduch/
 http://www.chinakdd.com/

37. 学习资源
 思考
 通过机器学习的介绍你能想到实际应用呢?
 机器人能超越人类吗?

38. Thanks