engineering for denfend

1. http://www.ypppt.com/
面向超参数估计的贝叶斯优化算法研究
答辩人：李亚茹 学 号：221909252062
专 业：应用统计 时 间：2021.12.9
指导老师：张宇来

2. The Relationship Between Cell Phone Use and Academic Performance in Traditional Classroom: the
Mediating Role of Self-control
目 录
3 展望
2 研究内容
1 研究背景及意义
4 研究成果

3. 研究背景及意义
人工智能发展迅速，使得机器学习模型和技术被广泛的应用。超参数对
模型的最终预测效果至关重要。而实践中对模型超参数的选择，常常用
人工的方式寻找最佳值，不仅成本高，而且最终确定的超参数可能不是
最优的。
贝叶斯优化算法的使用使得这个问题得到了缓解。
对面向超参数估计的贝叶斯优化算法研究的意义在于：
1.减少机器学习过程中人力的投入；
2.节约机器学习中计算资源的消耗；
3.提高机器学习模型的最终性能。

4. 研究现状
对算法实施改进的研究
1、停止条件的确定
问题
2、初始化超参数的
选择问题
3、带约束的超参数
空间
对采集函数的研究
1、基于信息熵搜索
的采集函数
2、多采集函数的并
行与集成估计
3、采集函数最优值
的近似估计
对代理模型的研究
1、具有复合函数结
构的代理模型
2、具有线性可加结
构的代理模型
3、具有子空间结构
的代理模型
4、基于自适应代理
模型

5. 研究内容
针对优化采集函数寻找待评估点时，计算
复杂的问题做研究
针对优化整数型超参数时，次优化以及
重复搜索的问题做研究
01
02
03 针对优化算法时间成本高的问题做研究
以往对贝叶斯优
化算法的研究中，
存在计算复杂度
高、次优化等问
题。
本文以降低计算
复杂度，避免次
优化问题为目的，
对贝叶斯优化算
法在超参数优化
领域的应用进行
研究。

6. 01 采集函数优化

7. 问题分析
问题
在现有的贝叶斯优化算法
中，基于梯度下降的方法
涉及到大量矩阵计算，计
算过程复杂且需要大量的
内存资源。
策略
引入粒子群优化算法，提出
BO-PSO算法。
在不同的数据集上，用BO-
PSO方法对三个常用模型的
超参数进行选择，并且与基
于梯度下降的另外两种贝叶
斯优化算法作比较，验证算
法有效性。

8. BO-PSO算法框架

9. 实验对比结果
超参数信息(RF)
Accuracy值比较（10次预测效果平均结果）
模型
训练
超
参
数
预
测
效
果
数据
Digits

10. 实验对比结果
超参数信息(XGBoost)
Accuracy值比较
模型
训练
超
参
数
预
测
效
果
数据
Digits

11. 实验对比结果
超参数信息(AdaBoost)
R2值比较
模型
训练
超
参
数
预
测
效
果
数据
Boston
Housing

12. 02 整数型超参数优化

13. 问题分析
问题
当超参数为整数时，现有的
贝叶斯优化方法可能会造成
采集函数最值点与实际评估
点不匹配，形成次优化问题，
甚至会造成重复评估。
策略
在将变量输入高斯过程协
方差函数前，先做取整变
换，再输入核函数，提出
IBO-PSO算法。
在 深 度 学 习 模 型 上 ， 用
IBO-PSO方法优化模型的整
数型超参数，通过实例验
证算法的可靠性。
开始
随机初始化
输出结果:(x*,y*)
构建代理模型：
对于整数型变量，先做
I(x)变换，再输入核函数
是否初始化
是
否
否
训练
是
是否满足停止条件
最大化采集函数，
获得评估点(x,y)
IBO-PSO流程图

14. IBO-PSO算法
1 2 3 4
0
1 2 3 4
0
GPs
采集函数
(b)
(a)
GPs
采集函数
IBO-PSO效果图
粉色区域为置信区间，黑色实线为目标
值。从图（a）可以看出，在相同的输入
区间，目标函数值是一个常数，并且不
确定性也是相同的。
从图（a）到图（b）的变化可以看出，
在每个区间做一次搜索后，该区间的函
数不确定性趋于0，之后不会再在该区域
重复无效的寻优。

15. 实验数据处理
华东某地区一年的电力负荷时间序列数据集作为实验数据。
数据趋势图 数据自相关图

16. 实验数据处理
数据差分后趋势图
白噪声检验

17. 实验对比结果
NMSE值和NMDSE值对比（RNN）
R2值对比（RNN）

18. 实验对比结果
NMSE值和NMDSE值对比（LSTM）
R2值对比（LSTM）

19. 实验对比结果
RNN模型拟合效果 LSTM模型拟合效果

20. 03 算法并行

21. 问题分析
问题
在优化过程中，目标函数的每次评
估都需要训练模型，模型的训练可
能需要数天，甚至数周的时间，深
度学习训练过程更为复杂，训练很
耗时。
策略
利用当前计算机多核处理的特性，
通过对超参数搜索空间进行切分的
方式，改进IBO-PSO算法。
在深度学习模型上，利用并行的
IBO-PSO方法对模型的超参数进行优
化。通过对比算法运行的时间和最
终优化结果，验证算法的效率。

22. 算法并行框架

23. 1
4
3
2
5
8
7
6
C1
C2
C3
C4
子区域1
子区域2
子区域k
...
代理模型1
...
代理模型2
代理模型k
采集函数2
采集函数k
采集函数1
...
目标函数
后验概率
更新
同步并行示意图
算法并行
IBO-PSO算法并行结构

24. 实验对比结果
运行时间对比（LSTM模型） NMSE值对比（LSTM模型）

25. 展望
贝叶斯优化算法依旧还面临众多挑战，包括高维度扩展、多任务
扩展、并行化扩展等等。对于这些问题，计划在之后的工作中进
行探索研究。

26. 研究成果
1. 李亚茹,张宇来,王佳晨.面向超参数估计的贝叶斯优化方法综述.计算机科
学 。（中文核心）------与论文第一章内容相关
2. Yaru Li, Yulai Zhang, Gongxue Zhou and Yifei Gong, “Bayesian Optimization
with Particle Swarm,” 2021 International Joint Conference on Neural
Networks (IJCNN), 2021.(CCF-C)------与论文第三章内容相关
3. Yaru Li, Yulai Zhang and Yongping Cai. “A New Hyper-Parameter
Optimization Method for Power Load Forecast Based on Recurrent Neural
Networks.” Algorithms ,2021.(EI) ------与论文第四章内容相关
4. Zhou G X, Ma W F, Gong Y F, Wang L D, Li Y R, Zhang Y L. “Nested Causality
Extraction on Traffic Accident Texts as Question Answering”,NLPCC
2021.(CCF-C)

27. 感 谢 老 师 的 指 导