2020年7月15日 日本ディープラーニング協会主催 CVPR2020技術報告会 前田舜太 Navier株式会社 リサーチャ CVPR2020_oral 発表唯一の単独日本人著者 https://jdla.connpass.com/event/177973/

1. Navier Inc.

2. ⑤ 会社概要
Navier株式会社
- 2018年創業
- DLベースの画像処理
info@navier.co.jp

3. ⑤ 会社概要
・CVPR 2020
Oral Presentationに
採択されました！
・日本の企業としては唯一
・採択論文の内容を
（著者の代わりに）ご紹介

4. 高解像度化
鮮明化
・印刷
・カメラ関係
・EC
...etc
サンプル ユースケース
⑤ 会社概要

5. ⑤ 前提の共有
Christian Ledig, Lucas Theis, Ferenc Huszar, Jose Caballero, Andrew Cunningham, ´ Alejandro Acosta, Andrew Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, and Wenzhe Shi. Twitter.
"Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network" (2017)
深層学習で飛躍的に高い精度が出るようになった
単純な拡大(bicubic) DL (SRGAN) 元画像
Results for Set14 using bicubic interpolation and SRGAN. [4x upscaling]

6. ⑤ 手法の分類
教師なし
あ 概要 あ 精度制約
- 高解像画像と低解像の画像を
ペアで学習
- 高解像データセットの作成が必要
ペア
非ペア
- GANなどを使って
ペアでないデータから学習
- 学習が不安定になりやすい
- 1枚の画像の中の情報のみから
解像度を上げる
- 処理時間が長い
高
低
手法
高
低

7. ⑤ 非ペア手法の分類
- 欠点：
画素レベルの損失関数が利用できない。
非ペア
- 欠点：
生成器が出力した低解像画像と
真の低解像画像の分布のずれが生じる。
直接拡大法 間接拡大法
今回の提案手法はこれらの欠点をいずれも解消

8. ⑤ 提案手法
- 本手法の要点：
ネットワーク全体を非ペア学習の補正ネットワーク（図中左）
疑似ペア学習の超解像ネットワーク（図中右）に分離した。

9. ⑤ 提案手法
① 補正ネットワーク：
・サイクル構造で画像のドメイン変換を行う。
・高解像画像を縮小し（y↓）を真の低解像画像xのドメインにマッピング。
・その後再度y↓のドメインに引き戻すことにより、擬似的なy↓を生成。
② 超解像ネットワーク：
・その擬似的なy↓から元のHR画像を再構成するようにペアで学習。
①補正ネットワーク ②超解像ネットワーク

10. ⑤ 提案手法: 補正ネットワーク
- 補正ネットワークは、ネットワークが生成した低解像画像だけでなく
サイクル構造を介して真の低解像画像（LR Source）も学習に使っている
生成された低解像画像の分布と真の低解像画像の分布の違いが性能を低下させない。
間接拡大法の欠点を克服！

11. - 超解像ネットワークはペアで学習ができるように補正ネットワークから分離
超解像ネットワークと画素レベルの損失関数を使用することが可能
直接拡大法の欠点を克服！
⑤ 提案手法: 超解像ネットワーク

12. ⑤ 出力結果
既存手法との比較
元画像 今回の結果

13. ありがとうございました！＆ 仲間募集中です！
・リサーチエンジニア
超解像関連の機械学習技術の研究と実装
・アルゴリズムエンジニア
深層学習モデルのWebクライアント・モバイル実装
詳細はこちらをご覧ください！
https://www.navier.co/careers/
Contact: Navier 採用担当
info@navier.co.jp