集成学习版本 0.0.1  苑明理  Guokr.comMay 3, 2012              .   .   .   .   .   .
目录.. 生活中的集体决策1.. 集成学习的概念2.. 集成学习的历史3.. 原理性示例4.. 组合规则5.. 集成学习的方法6.. 参考文献7              .   .   .   .   .   .
生活中的集体决策生活中有很多例子都是一个群体参与了一个决策的制定。 • 参考别人的定价来决定自己的定价 • 一篇文章是否被期刊采纳的同行评审 • 议会里投票表决一个议案 • 通过共识来进行决策                      .   ...
集成学习的概念集成学习是一种组合多个学习器来协同解决一个特定计算智能问题的方法。被组合的学习器称为基学习器。 • 不同算法的组合 • 相同算法不同参数的组合 • 相同输入的不同表示的组合(如语音识别中结合语音的音频  信号和嘴唇的视频信号) •...
集成学习的历史• Dasarathy 和 Sheela 在 1979 年的论文 (Dasarathy 1979), 用两个或者多个分类器通过分治的方式将特征空间分解。• Hansen 和 Salamon 在 1990 年的论文 (Hansen ...
原理性示例图片取自 Scholarpedia 的 Ensemble learning 条目                            .   .   .   .   .   .
组合规则• 代数规则:均值、求和、最大、最小、中位值、乘积……• 投票法:多数原则、加权多数原则• 其他                    .   .   .   .   .   .
集成学习的方法• 装袋:Bagging• 提升:Boosting• AdaBoost• 层叠泛化:Stacked Generalization• 专家混合:Mixture of Experts                          ...
装袋方法.   .   .   .   .   .
提升方法.   .   .   .   .   .
AdaBoost 方法  .   .   .   .   .   .
层叠泛化方法 .   .   .   .   .   .
专家混合方法 .   .   .   .   .   .
参考文献• L. I. Kuncheva, Combining Pattern Classifiers, Methods and  Algorithms. New York, NY: Wiley Interscience, 2005• R. P...
Upcoming SlideShare
Loading in …5
×

集成学习

1,090 views

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,090
On SlideShare
0
From Embeds
0
Number of Embeds
12
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

集成学习

  1. 1. 集成学习版本 0.0.1 苑明理 Guokr.comMay 3, 2012 . . . . . .
  2. 2. 目录.. 生活中的集体决策1.. 集成学习的概念2.. 集成学习的历史3.. 原理性示例4.. 组合规则5.. 集成学习的方法6.. 参考文献7 . . . . . .
  3. 3. 生活中的集体决策生活中有很多例子都是一个群体参与了一个决策的制定。 • 参考别人的定价来决定自己的定价 • 一篇文章是否被期刊采纳的同行评审 • 议会里投票表决一个议案 • 通过共识来进行决策 . . . . . .
  4. 4. 集成学习的概念集成学习是一种组合多个学习器来协同解决一个特定计算智能问题的方法。被组合的学习器称为基学习器。 • 不同算法的组合 • 相同算法不同参数的组合 • 相同输入的不同表示的组合(如语音识别中结合语音的音频 信号和嘴唇的视频信号) • 不同训练集的组合 . . . . . .
  5. 5. 集成学习的历史• Dasarathy 和 Sheela 在 1979 年的论文 (Dasarathy 1979), 用两个或者多个分类器通过分治的方式将特征空间分解。• Hansen 和 Salamon 在 1990 年的论文 (Hansen 1990) 揭 示了集成学习的方法可以改善人工神经元网络的结果。• Schapire 在 1990 年的关于 booosting 方法的论文使集成学 习成为了机器学习的重要领域,发展出来的 AdaBoost 算法 族非常受欢迎。• 层叠泛化 (Wolpert 1992)• 分类器融合 (Cho 1995, Kuncheva 2001)• …… . . . . . .
  6. 6. 原理性示例图片取自 Scholarpedia 的 Ensemble learning 条目 . . . . . .
  7. 7. 组合规则• 代数规则:均值、求和、最大、最小、中位值、乘积……• 投票法:多数原则、加权多数原则• 其他 . . . . . .
  8. 8. 集成学习的方法• 装袋:Bagging• 提升:Boosting• AdaBoost• 层叠泛化:Stacked Generalization• 专家混合:Mixture of Experts . . . . . .
  9. 9. 装袋方法. . . . . .
  10. 10. 提升方法. . . . . .
  11. 11. AdaBoost 方法 . . . . . .
  12. 12. 层叠泛化方法 . . . . . .
  13. 13. 专家混合方法 . . . . . .
  14. 14. 参考文献• L. I. Kuncheva, Combining Pattern Classifiers, Methods and Algorithms. New York, NY: Wiley Interscience, 2005• R. Polikar, “Ensemble based systems in decision making,” IEEE Circuits and Systems Magazine, vol. 6, no.3, pp. 21-45, 2006.• R. Polikar, “Bootstrap inspired techniques in computational intelligence: ensemble of classifiers, incremental learning, data fusion and missing features, IEEE Signal Processing Magazine, v. 24, no. 4, pp. 59-72, 2007. . . . . . .

×