集成学习是一种通过组合多个学习器来解决特定计算智能问题的方法，常用于改善决策效果。文档回顾了集成学习的历史、原理示例、组合规则及多种实施方法如装袋和提升。参考文献则提供了进一步的阅读资源。

1. 集成学习
版本 0.0.1
苑明理
Guokr.com
May 3, 2012
. . . . . .

2. 目录
.. 生活中的集体决策
1
.. 集成学习的概念
2
.. 集成学习的历史
3
.. 原理性示例
4
.. 组合规则
5
.. 集成学习的方法
6
.. 参考文献
7
. . . . . .

3. 生活中的集体决策
生活中有很多例子都是一个群体参与了一个决策的制定。
• 参考别人的定价来决定自己的定价
• 一篇文章是否被期刊采纳的同行评审
• 议会里投票表决一个议案
• 通过共识来进行决策
. . . . . .

4. 集成学习的概念
集成学习是一种组合多个学习器来协同解决一个特定计算智能问
题的方法。被组合的学习器称为基学习器。
• 不同算法的组合
• 相同算法不同参数的组合
• 相同输入的不同表示的组合（如语音识别中结合语音的音频
信号和嘴唇的视频信号）
• 不同训练集的组合
. . . . . .

5. 集成学习的历史
• Dasarathy 和 Sheela 在 1979 年的论文 (Dasarathy 1979)，
用两个或者多个分类器通过分治的方式将特征空间分解。
• Hansen 和 Salamon 在 1990 年的论文 (Hansen 1990) 揭
示了集成学习的方法可以改善人工神经元网络的结果。
• Schapire 在 1990 年的关于 booosting 方法的论文使集成学
习成为了机器学习的重要领域，发展出来的 AdaBoost 算法
族非常受欢迎。
• 层叠泛化 (Wolpert 1992)
• 分类器融合 (Cho 1995, Kuncheva 2001)
• ……
. . . . . .

6. 原理性示例
图片取自 Scholarpedia 的 Ensemble learning 条目
. . . . . .

7. 组合规则
• 代数规则：均值、求和、最大、最小、中位值、乘积……
• 投票法：多数原则、加权多数原则
• 其他
. . . . . .

8. 集成学习的方法
• 装袋：Bagging
• 提升：Boosting
• AdaBoost
• 层叠泛化：Stacked Generalization
• 专家混合：Mixture of Experts
. . . . . .

9. 装袋方法
. . . . . .

10. 提升方法
. . . . . .

11. AdaBoost 方法
. . . . . .

12. 层叠泛化方法
. . . . . .

13. 专家混合方法
. . . . . .

14. 参考文献
• L. I. Kuncheva, Combining Pattern Classifiers, Methods and
Algorithms. New York, NY: Wiley Interscience, 2005
• R. Polikar, “Ensemble based systems in decision making,”
IEEE Circuits and Systems Magazine, vol. 6, no.3, pp.
21-45, 2006.
• R. Polikar, “Bootstrap inspired techniques in computational
intelligence: ensemble of classifiers, incremental learning,
data fusion and missing features, IEEE Signal Processing
Magazine, v. 24, no. 4, pp. 59-72, 2007.
. . . . . .