Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

190117 gdlc tanaka

968 views

Published on

Tanaka-sama of Japan Meteorological Agency

Published in: Technology
  • Be the first to comment

190117 gdlc tanaka

  1. 1. GDLC#10 Deep Learningによるダウンスケーリング Deep Learningによる 降⽔量ダウンスケーリング GPU Deep Learning Community 第10回:LT 2019年1⽉17⽇(⼩寒)
  2. 2. GDLC#10 Deep Learningによるダウンスケーリング Who are you?
  3. 3. GDLC#10 Deep Learningによるダウンスケーリング 気象庁 予報部 数値予報課 アプリケーション班 ⽥中 基裕
  4. 4. GDLC#10 Deep Learningによるダウンスケーリング 気象庁 予報部 数値予報課 アプリケーション班 ⽥中 基裕
  5. 5. GDLC#10 Deep Learningによるダウンスケーリング 数値予報 ユーザー 応⽤処理 予報担当者 天気予報の流れ 観測データ 収集
  6. 6. GDLC#10 Deep Learningによるダウンスケーリング 数値予報 ユーザー 応⽤処理 予報担当者 天気予報の流れ アプリケーション
  7. 7. GDLC#10 Deep Learningによるダウンスケーリング Motivation
  8. 8. GDLC#10 Deep Learningによるダウンスケーリング 予報担当者数値予報 応⽤処理 天気予報の流れ(再掲)
  9. 9. GDLC#10 Deep Learningによるダウンスケーリング 予報担当者 様々な数値予報モデル 数値予報B 数値予報A 数値予報C 応⽤処理B 応⽤処理A 応⽤処理C
  10. 10. GDLC#10 Deep Learningによるダウンスケーリング ⽔平解像度が異なる数値予報 20km 5km 2km 数値予報B 数値予報A 数値予報C
  11. 11. GDLC#10 Deep Learningによるダウンスケーリング 数値予報B 応⽤処理B 統合 プロダクト 統合プロダクトの開発計画 数値予報A 応⽤処理A 数値予報C 応⽤処理C 予報担当者 アンサンブル
  12. 12. GDLC#10 Deep Learningによるダウンスケーリング 数値予報B 応⽤処理B 統合 プロダクト 数値予報A 応⽤処理A 数値予報C 応⽤処理C 同じ⽔平スケールに統⼀
  13. 13. GDLC#10 Deep Learningによるダウンスケーリング Deep Learning による超解像⼿法を ⽤いて降⽔量をダウンスケーリング https://github.com/openimages/dataset
  14. 14. GDLC#10 Deep Learningによるダウンスケーリング 防災利⽤では、出現頻度の 少ない⼤⾬を適切に表現したい
  15. 15. GDLC#10 Deep Learningによるダウンスケーリング Setting
  16. 16. GDLC#10 Deep Learningによるダウンスケーリング 開発環境 n CentOS 6.6 n GPU: NVIDIA Tesla K40c n CUDA9.0 n TensorFlow 1.9.0 n Keras 2.1.6
  17. 17. GDLC#10 Deep Learningによるダウンスケーリング データ n 3時間積算の観測値 n  20km格⼦の降⽔量を⼊⼒ n  5km格⼦の降⽔量を⽬的変数 n 学習データ: 2006年4⽉ 〜 2013年7⽉         7年分×8つのサブパッチ n 検証データ: 2013年8⽉ 〜 2015年7⽉         2年分×8つのサブパッチ n テストデータ:2015年8⽉ 〜 2018年7⽉        3年分の全領域 20km→5kmに ダウンスケーリング https://www.jma.go.jp/jma/kishou/know/kurashi/kaiseki.html
  18. 18. GDLC#10 Deep Learningによるダウンスケーリング FCN(Fully Convolutional Network) 全結合層のない ネットワーク ⼊⼒の画像サイズ に依存しない パラメータの 数が少ない ※Dong et al(2016)
  19. 19. GDLC#10 Deep Learningによるダウンスケーリング 8つのサブパッチ
  20. 20. GDLC#10 Deep Learningによるダウンスケーリング 学習 モデル
  21. 21. GDLC#10 Deep Learningによるダウンスケーリング 推論 モデル
  22. 22. GDLC#10 Deep Learningによるダウンスケーリング 実験設定 n 学習データの平均・標準偏差から  ⼊⼒データを標準化 n バッチサイズは32 n オプティマイザーは ADAM n 学習率はスケジューリング n 損失・評価関数は MSE n ネットワークはEDSR17
  23. 23. GDLC#10 Deep Learningによるダウンスケーリング EDSR17 Lim et al(2017)
  24. 24. GDLC#10 Deep Learningによるダウンスケーリング 6つの ResBlock ResBlockの中
  25. 25. GDLC#10 Deep Learningによるダウンスケーリング 4倍にアップサ ンプリング 2倍のアップサン プリングを2回
  26. 26. GDLC#10 Deep Learningによるダウンスケーリング Experiment
  27. 27. GDLC#10 Deep Learningによるダウンスケーリング バイキュービック内挿 https://en.wikipedia.org/wiki/Bicubic_interpolation 既存の⼿法がないため バイキュービックと⽐較を⾏う
  28. 28. GDLC#10 Deep Learningによるダウンスケーリング 2018/7/30 の事例
  29. 29. GDLC#10 Deep Learningによるダウンスケーリング 2018/7/30 の事例 ⼊⼒ 観測 Test ⽐較
  30. 30. GDLC#10 Deep Learningによるダウンスケーリング 128 13495 20km Test 5km (単位:mm/3h)2018/7/30 の事例 Bicubic 102
  31. 31. GDLC#10 Deep Learningによるダウンスケーリング 20km Test 5km 2018/7/30 の事例 Bicubic 地形性降⽔ ライン状の 降⽔域
  32. 32. GDLC#10 Deep Learningによるダウンスケーリング 2018/7/27 の事例 20km Test 5km Bicubic
  33. 33. GDLC#10 Deep Learningによるダウンスケーリング ⼆次元ヒストグラム Bicubic Test ü 出現頻度の少ない⼤⾬も適切に表現 Observation Observation
  34. 34. GDLC#10 Deep Learningによるダウンスケーリング Problem
  35. 35. GDLC#10 Deep Learningによるダウンスケーリング GPUを利⽤した計算が突然停⽌ n Deep Learningの学習中に突然停⽌する n エラーを出⼒しない
  36. 36. GDLC#10 Deep Learningによるダウンスケーリング 試したこと ✖︎ CentOS7.3(Dockerイメージ)で実装 ✖︎ CUDA10.0に更新 ✖︎ NIVIDIAドライバーの更新 ✖︎ Tensor Flowの様々なバーションでの実装 ✖︎ GPUの熱暴⾛でないか確認 △1エポック毎にGPUのメモリを開放 1エポック毎にGPUメモリを開放する ことでフリーズ頻度は減ったが未解決
  37. 37. GDLC#10 Deep Learningによるダウンスケーリング Help me
  38. 38. GDLC#10 Deep Learningによるダウンスケーリング Reference n  B. Lim, S. Son, H. Kim, S. Nah, and K. M. Lee. Enhanced deep residual networks for single image super-resolution. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, July 2017. n  C. Dong, C. C. Loy, K. He, and X. Tang. Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(2):295–307, 2016. n  W. Shi, J. Caballero, F. Huszar, J. Totz, A. P. Aitken, R. Bishop, D. Rueckert, and Z. Wang. Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 1874–1883, 2016.
  39. 39. GDLC#10 Deep Learningによるダウンスケーリング Enjoy!

×