服务外包赛讲解用ppt

1. 基于深度卷积对抗神经网络的
货运司机身份证照片修复技术
第五届江西省大学生服务外包创新创业大赛总决赛

2. 1. Intro
• 学术意义：如何将非监督式学习应用到监督式学习问题中
，解决样本不均衡的问题
• 工程意义：如何使用高大上的技术解决一些接底气的问题
顺便赚取一定报酬

3. 1.1 目标问题
为了核对上岗司机是否为本人，避免出现司机代驾的问题，某大型货
运公司希望能将公安部网站上带有防伪纹的身份证证件照去除防伪纹
(r)，和驾驶司机本人进行比对，以此来判断上岗司机是否为本人，以
减少代驾等事件的发生。（目前本项目已经投入实际生产应用）
图1. 带有防伪纹

4. 1.2 相关研究
证件照去除防伪纹属于图像去噪技术，目前业界对图像去噪有着广泛的
研究，有使用滤波去除高低频噪声，利用模式识别去除固定模式噪声。
随着深度学习的发展，利用神经网络学习带噪声图像与原图间的映射也
取得了良好的成果。但是通过对目标问题的研究，我们发现目标样本噪
声具有以下独特的特点而导致无法直接应用现在技术：
1. 防伪纹不具有固定模式，不同图片上线条粗细样式颜色都有变化
2. 部分防伪纹过于密集，对原图干扰特别严重
3. 深度学习去噪是一个监督式学习的问题，但是没有公开的带防伪纹
图片 x 与不带防伪纹图片 y 的数据集

5. 1.3 提出方法
• 利用深度卷积对抗神经网络，学习随机噪声到无网纹证件照的映射关系
• 待处理的证件照通过Restful Api到达模型，利用形态学处理得到不带网纹的
残缺图像xerror
• 输入随机噪声 z 到训练好的模型中，得到随机证件照 Yrandom利用形态学处
理带网纹照片获得不带网纹的残缺图像 xerror，计算 Y 与 xerror 之间的均方
误差l1，并且将噪声 z 作为参数输入到Adam算法收敛l1
• 将收敛得到的随机证件照 Yrandom 与残缺图像 xerror 做异或处理得到修复
图像 Y

6. 1.4 项目创新
1.卷积神经网络学习过程的优化：在训练模型的过程中，使用动量梯
度下降算法替代朴素梯度下降算法。
动量梯度下降算法可以解决朴素梯度下降算法遇到的驻点问题，从而
使神经网络训练后得到的模型更优，以提高照片清晰度优化的效果。
2.与传统的图片去噪点的机器学习方法相比：将监督学习的方法改为
了非监督学习。非监督学习比之监督学习，只需要更少量的数据集
（样本照片）就可以达到相同甚至更佳的效果。而监督学习需要大量
带有标签的数据集，成本更高。

7. 2.1 训练对抗卷积神经网络
• 由甲方出钱在合法途径下购买了4万张蓝底身份证证件照作为数据集
• 通过对颜色的阈值分割和人物主题的前景分割获得白底证件照
• 使用随机平移，缩放，翻转获得20万数据集
图3. 白底证件照
图2. 蓝底证件照

8. 2.1 训练对抗卷积神经网络
• 代码参考 carpedm20 在Github上开源的 DCGAN in Tensorflow
• 训练了三天三夜获得了比较良好的完全由网络想象得到的人脸（颜值
普遍偏低）
图3. 第25 epoch 时的训练结果 不存在数据集的人脸

9. 2.2 网纹剥离
图4. 带噪声图像 图5. 灰度变化去背景 + 形态学处理剥离网纹

10. 2.4 拟合噪声与破碎图像
图6. 使用 Adam 算法循环 2000次后收敛

11. 2.5 算法
• 利用深度卷积对抗神经网络，学习随机噪声到无网纹证件照的映射关系
• 输入随机噪声 z 到训练好的模型中，得到随机证件照 Yrandom利用形
态学处理带网纹照片获得不带网纹的残缺图像 xerror
• 计算 Y 与 xerror 之间的均方误差l1，并且将噪声 z 作为参数输入到
Adam算法收敛l1
• 将收敛得到的随机证件照 Yrandom 与残缺图像 xerror 做异或处理得到
修复图像 Y

12. 3. 团队协作
• 整个项目采用 算法内核 + 工程体系 同步推进
• 由团队负责算法同学使用 Tensorflow 做核心算法研究，并且
包装成可以被外部调用的接口
• 负责工程体系的同学按照业务需求使用Flask构建基于 Restul
Api的外部接口，并且作为系统服务运行在GPU服务器上
• 项目团队负责人负责了整个项目对外交涉，需求划分，价格
洽谈的工作