数据挖掘课做的讲课ppt，讲课时间4.12

1. 第十章
预测方法

2. •预测的概念
•常用的预测方法
•神经网络
•历史
•现状
•应用领域
•例子
•趋势

3. • 预测的概念
• 预测是指根据客观事物的发展趋势和变化
规律对特定对象的未来发展趋势或状态做
出科学的推断与判断，即预测就是根据过
去和现在估计未来。
• 预测的基本要素包括：预测者、预测对象、
信息、预测方法和技术以及预测结果

4. 常用的预测方法

5. 神经网络历史
人类神经元结构 M-P神经元结构
• 1943年 诞生
• McCulloch和Pitts将上图的神经元结构用一种简单的模
型进行了表示，构成了一种人工神经元模型，也就是我
们现在经常用到的“M-P神经元模型”

6. • 1958年
• Frank Rosenblatt教授提出感知机模型。是首个可以根
据样例数据来学习特征权重的模型。
• 1959年
• 赫布理论
• 神经科学理论，解释了在学习的过程中脑中的神经元所
发生的变化

7. • 20世纪70年代 停滞
• 反向传播算法有所发展，但是没有得到重视
• 1969年《Perceptrons: An Introduction to
Computational Geometry》
• 证明感知机模型只能解决线性可分问题，更普遍的非线
性问题无法解决。

8. • 20世纪80年代末 成长
• 分布式知识表达
• 加强了模型的表达能能力，使神经网络从宽度走向深度。
• 反向传播算法
• 降低了训练神经网络所需要的时间
• LSTM
• CNN(Yann LeCun)

9. 反向传播算法

10. • 20世纪90年代——21世纪初 让位
• 数据量 少
• 计算能力 弱
SVM！

11. • 2006年 复兴
• 深度学习
• Hinton教授发表《A fast learning algorithm for deep belief
nets 》、《 Reducing the Dimensionality of Data with
Neural Networks》
• LeCun教授发表《 Sparse Representations with an Energy-
Based Model 》
• Yoshua Bengio教授发表《Greedy Layer-Wise Training of
Deep Networks 》

12. • 2010年至今 爆发
• 深度学习
• 云计算（分布式）、GPU（浮点）——计算能力大幅提高
• 大数据——数据量满足神经网络训练需要
SVM

13. GPU vs CPU
• GPU易于数据并行处理，CPU易于指令串行处
理
• GPU处理浮点数据有先天优势
• 相同面积芯片上CPU放置更多的Cache，GPU
放置更多的运算单元
CPU是几个教授一起工作
GPU是一大群中小学生一起工作

18. •应用领域
• 计算机视觉：海康威视、谷歌无人车、adobe、
美图秀秀
• 语音识别：Google Now、Siri、Xbox、
Skype
• 自然语言处理：科大讯飞、ChatBot（小冰、
小娜）
• 人机博弈：深蓝、AlphaGo、绝艺

19. 训练流程

24. 局部连接
全连接 局部连接

25. 卷积操作
卷积核

26. 局部连接+权值共享
大大降低参数数量
增加层数成为可能

30. 趋势：越来越深
3.57
6.7 7.3
16.4
11.7
25.8
28.2
ILSVRC'15 ILSVRC'14 ILSVRC'14 ILSVRC'13 ILSVRC'12 ILSVRC'11 ILSVRC'10
ResNet GoogleNet VGG AlexNet
ImageNet Classification top-5 error (%)
浅层8 层
19 层22 层
152 层
8 层

31. 谢 谢