Yoshiro Suzuki, profile picture
Uploaded byYoshiro Suzuki
PPTX, PDF2,287 views

Multiscale analysis using convolutional neural network

畳み込みニューラルネットワーク（CNN）の成熟に伴い，人間を上回るほど高精度の画像認識が実現されました．本研究では，CNNを用いて物理現象を解析するシミュレーション手法を提案します．本手法は，不均一な物性分布（熱伝導率分布）をもつ物体の温度分布を効率的に算出するものです．まず，熱伝導率分布を画像と見たててCNNに入力し，物体の伝熱特性（熱伝導の高い経路など）を認識します．その認識結果と境界条件に基づいて温度を算出します．また，知識の蒸留を利用して，小規模なCNNであっても高精度の温度分布を算出可能とする工夫も施しました．

Engineering◦
Related topics:
Deep Learning•

Embed presentation

Download to read offline
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 東京工業大学 西田 猛哲 鈴木 良郎 ディープラーニングを用いた 数値シミュレーション
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 1  ディープラーニング(DL) ➡多層ニューラルネットワークを用いた機械学習の1手法  畳み込みニューラルネットワーク(CNN)  2012年 Google：画像認識するCNNを開発， 猫の顔と判定される確率を最大化する 画像の抽出に成功※1 ➡CNNが入力画像の視覚的特徴を 抽出可能であることが示唆  DLの数値シミュレーションへの活用例 は少ない 研究背景 ディープラーニングの躍進 ※1 Quoc V. Le, et al. Building High-level Features Using Large Scale Unsupervised Learning. Appearing in Proceedings of the 29 th International Conference on Machine Learning. Edinburgh, Scotland, UK. 2012.
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 2 研究目的  新マルチスケール解析手法「CNN-based DDM」を提案  領域分割法(DDM)とCNNを融合  有限要素法(FEM)や差分法(FDM) ではなく， CNNを利用して数値解析を実行 提案手法  提案手法を定常熱伝導解析に適用，解析精度・解析時間を 検証 研究目的
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 3 CNN-based DDM CNNを用いる意義 CNN 犬の画像 判定結果 犬 熱伝導率を画像の 輝度値として入力 熱伝導率分布の 特徴が反映 入力画像の 特徴を抽出 画像認識提案手法による熱伝導解析 熱伝導率分布 熱 伝 導 率 低 高 温 度 低 高 温度分布
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 4 1. グローバル領域を複数のローカル領域に分割 2. 各微小格子の中心に格子点を配置 CNN-based DDMの解析手順 ローカル解析 1 解析領域全体 （グローバル領域） 1 分割 ローカル領域 熱伝導率 低 高
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 5 3. 〇の温度から〇の温度を求めるための行列𝑨Lの算出 4. 〇の温度から〇の温度を求めるための行列𝒂Lの算出 CNN-based DDMの解析手順 ローカル解析 1 CNN 𝑨L 入力 出力 変形 𝒂L ローカル領域の 熱伝導率分布
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 6 1. 解析領域全体を〇のみで離散化 2. ローカル解析で得た行列𝒂Lを基に 連立方程式を構築，〇の温度を算出 3. ローカル解析で得た行列𝑨L を用いて 〇以外の温度を補間 CNN-based DDMの解析手順 グローバル解析 1 グローバル領域 温度 低 高
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 7  各格子の熱伝導率：0.01-1.00の一様分布からランダムに設定  境界条件：4隅の温度を線形補間した温度境界条件  10個の例題を解析 数値実験 解析モデル 0℃ 0.5℃ 0.75℃ 1℃ 362セル 1 362セル 熱 伝 導 率 0.01 1.00
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 8  訓練データ数：18,000 数値実験 CNNの教師データ CNNの構成  CNN 1：畳み込み層6層＋全結合層1層の標準的なCNN  CNN 2：畳み込み層17層＋全結合層1層のResNet 1 20セル 20セル 〇の温度から 〇の温度を求める ための行列𝑨L FDM解析 入力データ 出力データ
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 9 ローカル解析に用いたCNNの構成 CNN 1：畳み込み層6層＋全結合層1層の標準的なCNN  [𝑥, 𝑦], 𝑧の表記  [𝑥, 𝑦]：畳み込みフィルタのサイズ  𝑧：出力チャネル数 畳み込み層[3,3],16 9 9 ローカル領域の 熱伝導率分布 𝑨L ReLU 畳み込み層[3,3],32 ReLU 畳み込み層[3,3],64 ReLU 畳み込み層[3,3],128 ReLU 畳み込み層[3,3],256 ReLU 畳み込み層[3,3],256 ReLU ReLU 全結合層 id
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 10 ローカル解析に用いたCNNの構成 CNN 2：畳み込み層17層のResNet 畳み込み層 [3, 3], 𝑧 バッチ正規化 畳み込み層 [3, 3], 𝑧 ReLU バッチ正規化 + Basic Block ReLU 畳み込み層 [3, 3], 𝑧 バッチ正規化 ReLU Basic Block, 𝒛 = 𝟔𝟒 Basic Block, 𝒛 = 𝟏𝟐𝟖 Basic Block, 𝒛 = 𝟐𝟓𝟔 Basic Block, 𝒛 = 𝟓𝟏𝟐 平均プーリング 全結合層 id 出力 入力  𝑧：出力チャネル数
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 11 数値実験の結果：精度 FDM 提案手法 CNN-based DDM CNN 1 CNN 2 温度分布 FDMとの 平均絶対誤差率※ - 5.3% 0.45% 1.0 0.8 0.6 0.4 0.2 0.0 [℃]  FDM解析による温度分布を参照解として温度誤差を算出 提案手法(CNN 2)はFDM解析とほぼ同精度 ※10題の平均値
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 12  知識の蒸留により CNN2（大規模なCNN）の性能をCNN1（小規模なCNN）に 引き継げないか？ 数値実験の結果：解析時間 ※10題の平均値 ローカル解析 [秒] グローバル解析 [秒] 全解析時間 [秒] FDM - 258 258 DDM 13.5 130 144 CNN-based DDM CNN 1 CNN 2 4.0 112 127 104 131 216 CNN2は高精度だが高コストCNN1は低精度だが低コスト
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 13 知識の蒸留 「知識の蒸留」の考え方 教師モデル (大規模，CNN2) 生徒モデル (小規模, CNN1) 知識 抽出 継承 未知データに対しても高精度 ➡「入力データのどこに注目すればよいか」 という知識を獲得しているはず  蒸留により，小規模ながら教師モデルに匹敵する精度の モデルが得られる可能性がある
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 14  A. Romeroらが2014年に提案した手法  生徒モデルと教師モデルの中間層の出力をマッチング 知識の蒸留 Hint Learning 教師モデル(CNN2) 生徒モデル(CNN1) 追加のパラメータ マッチング
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 15 FDM 提案手法 CNN-based DDM 生徒モデル CNN 1 教師モデル CNN 2 温度分布 FDMとの 平均絶対誤差率※ - 0.38% 0.47% 1.0 0.8 0.6 0.4 0.2 0.0 [℃] 生徒モデルの精度は教師モデルを上回った  FDM解析による温度分布を参照解として温度誤差を算出 蒸留の結果：精度 ※10題の平均値
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 16 蒸留の結果：解析時間 ※10題の平均値 生徒モデルは高精度かつ低コスト 通常のDDMのローカル解析時間を72%削減 同精度の解を算出 → 上手く知識を蒸留できた ローカル解析 [秒] グローバル解析 [秒] 全解析時間 [秒] FDM - 258 258 DDM 13.5 130 144 CNN-based DDM 生徒 教師 3.8 107 99.7 93.4 103 200
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 17  ディープラーニングの一技術であるCNNを用いた 新マルチスケール解析手法「CNN-based DDM」を提案， 定常熱伝導解析に適用  通常のDDM解析と比べ，下記の結果が得られた．  CNN2の知識を蒸留したCNN1は 通常のDDM解析と同精度かつ低コスト (ローカル解析時間を72%削減) 結言  小規模なCNNを用いた提案手法 (CNN1) 低精度だが低コスト  大規模なResNetを用いた提案手法 (CNN2) 同精度だが高コスト
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 18
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） CNN 1 CNN 2 温度の 絶対誤差率 の分布 平均絶対誤差率※ 5.3% 0.45% 最大絶対誤差率※ 13% 11.6% 19 数値実験結果：知識の蒸留なし [%] 0 2 4 6 8 10 12 14 ※10題の平均値
Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 生徒モデル CNN 1 教師モデル CNN 2 温度の 絶対誤差率 の分布 平均絶対誤差率※ 0.38% 0.47% 最大絶対誤差率※ 5.7% 6.5% 20 [%] 0 1 2 3 4 5 6 数値実験結果：知識の蒸留あり ※10題の平均値

More Related Content

PPTX
【DL輪読会】An Image is Worth One Word: Personalizing Text-to-Image Generation usi...
byDeep Learning JP
 
PDF
SSII2022 [OS3-04] Human-in-the-Loop 機械学習
bySSII
 
PDF
画像生成・生成モデル メタサーベイ
bycvpaper. challenge
 
PDF
一般向けのDeep Learning
byPreferred Networks
 
PDF
全力解説！Transformer
byArithmer Inc.
 
PDF
Rethinking and Beyond ImageNet
bycvpaper. challenge
 
PDF
自己教師学習（Self-Supervised Learning）
bycvpaper. challenge
 
PDF
ディープラーニングのフレームワークと特許戦争
byYosuke Shinya
 
【DL輪読会】An Image is Worth One Word: Personalizing Text-to-Image Generation usi...
byDeep Learning JP
 
SSII2022 [OS3-04] Human-in-the-Loop 機械学習
bySSII
 
画像生成・生成モデル メタサーベイ
bycvpaper. challenge
 
一般向けのDeep Learning
byPreferred Networks
 
全力解説！Transformer
byArithmer Inc.
 
Rethinking and Beyond ImageNet
bycvpaper. challenge
 
自己教師学習（Self-Supervised Learning）
bycvpaper. challenge
 
ディープラーニングのフレームワークと特許戦争
byYosuke Shinya
 

What's hot

PDF
【DL輪読会】Segment Anything
byDeep Learning JP
 
PPTX
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
byDeep Learning JP
 
PDF
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
bySSII
 
PPTX
Devil is in the Edges: Learning Semantic Boundaries from Noisy Annotations
byKazuyuki Miyazawa
 
PPTX
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
byKazuyuki Miyazawa
 
PDF
Active Learning の基礎と最近の研究
byFumihiko Takahashi
 
PDF
Pythonによる黒魔術入門
by大樹 小倉
 
PDF
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
bySSII
 
PPTX
[DL輪読会]Model-Based Reinforcement Learning via Meta-Policy Optimization
byDeep Learning JP
 
PDF
論文紹介 Pixel Recurrent Neural Networks
bySeiya Tokui
 
PDF
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
byARISE analytics
 
PDF
【メタサーベイ】Transformerから基盤モデルまでの流れ / From Transformer to Foundation Models
bycvpaper. challenge
 
PPTX
畳み込みニューラルネットワークの高精度化と高速化
byYusuke Uchida
 
PDF
SSII2022 [OS2-01] イメージング最前線
bySSII
 
PPTX
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
byDeep Learning JP
 
PPTX
CEDEC2021 Android iOS 実機上での自動テストをより楽に有意義にする為に ～端末管理・イメージ転送・動画記録等の周辺情報のノウハウ共有～
bySEGADevTech
 
PDF
どうする計画駆動型スクラム（スクラムフェス大阪2023 発表資料）
byNTT DATA Technology & Innovation
 
PDF
semantic segmentation サーベイ
byyohei okawa
 
PPTX
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
byTokoroten Nakayama
 
PDF
数値解析と物理学
byすずしめ
 
【DL輪読会】Segment Anything
byDeep Learning JP
 
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
byDeep Learning JP
 
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
bySSII
 
Devil is in the Edges: Learning Semantic Boundaries from Noisy Annotations
byKazuyuki Miyazawa
 
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unk...
byKazuyuki Miyazawa
 
Active Learning の基礎と最近の研究
byFumihiko Takahashi
 
Pythonによる黒魔術入門
by大樹 小倉
 
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
bySSII
 
[DL輪読会]Model-Based Reinforcement Learning via Meta-Policy Optimization
byDeep Learning JP
 
論文紹介 Pixel Recurrent Neural Networks
bySeiya Tokui
 
【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
byARISE analytics
 
【メタサーベイ】Transformerから基盤モデルまでの流れ / From Transformer to Foundation Models
bycvpaper. challenge
 
畳み込みニューラルネットワークの高精度化と高速化
byYusuke Uchida
 
SSII2022 [OS2-01] イメージング最前線
bySSII
 
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
byDeep Learning JP
 
CEDEC2021 Android iOS 実機上での自動テストをより楽に有意義にする為に ～端末管理・イメージ転送・動画記録等の周辺情報のノウハウ共有～
bySEGADevTech
 
どうする計画駆動型スクラム（スクラムフェス大阪2023 発表資料）
byNTT DATA Technology & Innovation
 
semantic segmentation サーベイ
byyohei okawa
 
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
byTokoroten Nakayama
 
数値解析と物理学
byすずしめ
 

Similar to Multiscale analysis using convolutional neural network

PDF
画像認識のための深層学習
bySaya Katafuchi
 
PDF
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化
byRCCSRENKEI
 
PPTX
深層学習の数理
byTaiji Suzuki
 
PDF
Building High-level Features Using Large Scale Unsupervised Learning
byTakuya Minagawa
 
PDF
ディープラーニング入門 ～ 画像処理・自然言語処理について ～
byKensuke Otsuki
 
PPTX
令和元年度 実践セミナー - Deep Learning 概論 -
byYutaka KATAYAMA
 
PPTX
深層学習とTensorFlow入門
bytak9029
 
PDF
Tutorial-DeepLearning-PCSJ-IMPS2016
byTakayoshi Yamashita
 
PPTX
Image net classification　with Deep Convolutional Neural Networks
byShingo Horiuchi
 
PPTX
The review of 'Explaining nonlinear classification decisions with deep Taylor...
bytetsuo ishigaki
 
PDF
Deep Learningの基礎と応用
bySeiya Tokui
 
PPTX
Deep learning ultrasonic
byYoshiro Suzuki
 
PDF
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
byPreferred Networks
 
PDF
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
byPreferred Networks
 
PDF
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
bySSII
 
PDF
（2021年8月版）深層学習によるImage Classificaitonの発展
byTakumi Ohkuma
 
PPTX
深層学習の数理：カーネル法, スパース推定との接点
byTaiji Suzuki
 
PPT
Deep Learningの技術と未来
bySeiya Tokui
 
PDF
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
byTakahiro Kubo
 
PPTX
Deep learning basics described
byNaoki Watanabe
 
画像認識のための深層学習
bySaya Katafuchi
 
DEEP LEARNING、トレーニング・インファレンスのGPUによる高速化
byRCCSRENKEI
 
深層学習の数理
byTaiji Suzuki
 
Building High-level Features Using Large Scale Unsupervised Learning
byTakuya Minagawa
 
ディープラーニング入門 ～ 画像処理・自然言語処理について ～
byKensuke Otsuki
 
令和元年度 実践セミナー - Deep Learning 概論 -
byYutaka KATAYAMA
 
深層学習とTensorFlow入門
bytak9029
 
Tutorial-DeepLearning-PCSJ-IMPS2016
byTakayoshi Yamashita
 
Image net classification　with Deep Convolutional Neural Networks
byShingo Horiuchi
 
The review of 'Explaining nonlinear classification decisions with deep Taylor...
bytetsuo ishigaki
 
Deep Learningの基礎と応用
bySeiya Tokui
 
Deep learning ultrasonic
byYoshiro Suzuki
 
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
byPreferred Networks
 
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
byPreferred Networks
 
SSII2022 [TS3] コンテンツ制作を支援する機械学習技術​〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜​
bySSII
 
（2021年8月版）深層学習によるImage Classificaitonの発展
byTakumi Ohkuma
 
深層学習の数理：カーネル法, スパース推定との接点
byTaiji Suzuki
 
Deep Learningの技術と未来
bySeiya Tokui
 
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
byTakahiro Kubo
 
Deep learning basics described
byNaoki Watanabe
 

More from Yoshiro Suzuki

PPTX
Collision monitoring of foreign object on cfrp laminate utilizing electrostat...
byYoshiro Suzuki
 
PPTX
Smart lightning protection skin for realtime load monitoring of composite air...
byYoshiro Suzuki
 
PPTX
抵抗加熱利用の電気抵抗変化法による複合材製航空機の全域損傷モニタリング
byYoshiro Suzuki
 
PPTX
Japanese nonlinear multiscale analysis 20181207
byYoshiro Suzuki
 
PPTX
English nonlinear multiscale analysis 20181207
byYoshiro Suzuki
 
PPTX
Topology optimization using convolutional neural network
byYoshiro Suzuki
 
Collision monitoring of foreign object on cfrp laminate utilizing electrostat...
byYoshiro Suzuki
 
Smart lightning protection skin for realtime load monitoring of composite air...
byYoshiro Suzuki
 
抵抗加熱利用の電気抵抗変化法による複合材製航空機の全域損傷モニタリング
byYoshiro Suzuki
 
Japanese nonlinear multiscale analysis 20181207
byYoshiro Suzuki
 
English nonlinear multiscale analysis 20181207
byYoshiro Suzuki
 
Topology optimization using convolutional neural network
byYoshiro Suzuki
 

Multiscale analysis using convolutional neural network

  • 1.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 東京工業大学 西田 猛哲 鈴木 良郎 ディープラーニングを用いた 数値シミュレーション
  • 2.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 1  ディープラーニング(DL) ➡多層ニューラルネットワークを用いた機械学習の1手法  畳み込みニューラルネットワーク(CNN)  2012年 Google：画像認識するCNNを開発， 猫の顔と判定される確率を最大化する 画像の抽出に成功※1 ➡CNNが入力画像の視覚的特徴を 抽出可能であることが示唆  DLの数値シミュレーションへの活用例 は少ない 研究背景 ディープラーニングの躍進 ※1 Quoc V. Le, et al. Building High-level Features Using Large Scale Unsupervised Learning. Appearing in Proceedings of the 29 th International Conference on Machine Learning. Edinburgh, Scotland, UK. 2012.
  • 3.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 2 研究目的  新マルチスケール解析手法「CNN-based DDM」を提案  領域分割法(DDM)とCNNを融合  有限要素法(FEM)や差分法(FDM) ではなく， CNNを利用して数値解析を実行 提案手法  提案手法を定常熱伝導解析に適用，解析精度・解析時間を 検証 研究目的
  • 4.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 3 CNN-based DDM CNNを用いる意義 CNN 犬の画像 判定結果 犬 熱伝導率を画像の 輝度値として入力 熱伝導率分布の 特徴が反映 入力画像の 特徴を抽出 画像認識提案手法による熱伝導解析 熱伝導率分布 熱 伝 導 率 低 高 温 度 低 高 温度分布
  • 5.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 4 1. グローバル領域を複数のローカル領域に分割 2. 各微小格子の中心に格子点を配置 CNN-based DDMの解析手順 ローカル解析 1 解析領域全体 （グローバル領域） 1 分割 ローカル領域 熱伝導率 低 高
  • 6.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 5 3. 〇の温度から〇の温度を求めるための行列𝑨Lの算出 4. 〇の温度から〇の温度を求めるための行列𝒂Lの算出 CNN-based DDMの解析手順 ローカル解析 1 CNN 𝑨L 入力 出力 変形 𝒂L ローカル領域の 熱伝導率分布
  • 7.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 6 1. 解析領域全体を〇のみで離散化 2. ローカル解析で得た行列𝒂Lを基に 連立方程式を構築，〇の温度を算出 3. ローカル解析で得た行列𝑨L を用いて 〇以外の温度を補間 CNN-based DDMの解析手順 グローバル解析 1 グローバル領域 温度 低 高
  • 8.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 7  各格子の熱伝導率：0.01-1.00の一様分布からランダムに設定  境界条件：4隅の温度を線形補間した温度境界条件  10個の例題を解析 数値実験 解析モデル 0℃ 0.5℃ 0.75℃ 1℃ 362セル 1 362セル 熱 伝 導 率 0.01 1.00
  • 9.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 8  訓練データ数：18,000 数値実験 CNNの教師データ CNNの構成  CNN 1：畳み込み層6層＋全結合層1層の標準的なCNN  CNN 2：畳み込み層17層＋全結合層1層のResNet 1 20セル 20セル 〇の温度から 〇の温度を求める ための行列𝑨L FDM解析 入力データ 出力データ
  • 10.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 9 ローカル解析に用いたCNNの構成 CNN 1：畳み込み層6層＋全結合層1層の標準的なCNN  [𝑥, 𝑦], 𝑧の表記  [𝑥, 𝑦]：畳み込みフィルタのサイズ  𝑧：出力チャネル数 畳み込み層[3,3],16 9 9 ローカル領域の 熱伝導率分布 𝑨L ReLU 畳み込み層[3,3],32 ReLU 畳み込み層[3,3],64 ReLU 畳み込み層[3,3],128 ReLU 畳み込み層[3,3],256 ReLU 畳み込み層[3,3],256 ReLU ReLU 全結合層 id
  • 11.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 10 ローカル解析に用いたCNNの構成 CNN 2：畳み込み層17層のResNet 畳み込み層 [3, 3], 𝑧 バッチ正規化 畳み込み層 [3, 3], 𝑧 ReLU バッチ正規化 + Basic Block ReLU 畳み込み層 [3, 3], 𝑧 バッチ正規化 ReLU Basic Block, 𝒛 = 𝟔𝟒 Basic Block, 𝒛 = 𝟏𝟐𝟖 Basic Block, 𝒛 = 𝟐𝟓𝟔 Basic Block, 𝒛 = 𝟓𝟏𝟐 平均プーリング 全結合層 id 出力 入力  𝑧：出力チャネル数
  • 12.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 11 数値実験の結果：精度 FDM 提案手法 CNN-based DDM CNN 1 CNN 2 温度分布 FDMとの 平均絶対誤差率※ - 5.3% 0.45% 1.0 0.8 0.6 0.4 0.2 0.0 [℃]  FDM解析による温度分布を参照解として温度誤差を算出 提案手法(CNN 2)はFDM解析とほぼ同精度 ※10題の平均値
  • 13.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 12  知識の蒸留により CNN2（大規模なCNN）の性能をCNN1（小規模なCNN）に 引き継げないか？ 数値実験の結果：解析時間 ※10題の平均値 ローカル解析 [秒] グローバル解析 [秒] 全解析時間 [秒] FDM - 258 258 DDM 13.5 130 144 CNN-based DDM CNN 1 CNN 2 4.0 112 127 104 131 216 CNN2は高精度だが高コストCNN1は低精度だが低コスト
  • 14.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 13 知識の蒸留 「知識の蒸留」の考え方 教師モデル (大規模，CNN2) 生徒モデル (小規模, CNN1) 知識 抽出 継承 未知データに対しても高精度 ➡「入力データのどこに注目すればよいか」 という知識を獲得しているはず  蒸留により，小規模ながら教師モデルに匹敵する精度の モデルが得られる可能性がある
  • 15.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 14  A. Romeroらが2014年に提案した手法  生徒モデルと教師モデルの中間層の出力をマッチング 知識の蒸留 Hint Learning 教師モデル(CNN2) 生徒モデル(CNN1) 追加のパラメータ マッチング
  • 16.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 15 FDM 提案手法 CNN-based DDM 生徒モデル CNN 1 教師モデル CNN 2 温度分布 FDMとの 平均絶対誤差率※ - 0.38% 0.47% 1.0 0.8 0.6 0.4 0.2 0.0 [℃] 生徒モデルの精度は教師モデルを上回った  FDM解析による温度分布を参照解として温度誤差を算出 蒸留の結果：精度 ※10題の平均値
  • 17.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 16 蒸留の結果：解析時間 ※10題の平均値 生徒モデルは高精度かつ低コスト 通常のDDMのローカル解析時間を72%削減 同精度の解を算出 → 上手く知識を蒸留できた ローカル解析 [秒] グローバル解析 [秒] 全解析時間 [秒] FDM - 258 258 DDM 13.5 130 144 CNN-based DDM 生徒 教師 3.8 107 99.7 93.4 103 200
  • 18.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 17  ディープラーニングの一技術であるCNNを用いた 新マルチスケール解析手法「CNN-based DDM」を提案， 定常熱伝導解析に適用  通常のDDM解析と比べ，下記の結果が得られた．  CNN2の知識を蒸留したCNN1は 通常のDDM解析と同精度かつ低コスト (ローカル解析時間を72%削減) 結言  小規模なCNNを用いた提案手法 (CNN1) 低精度だが低コスト  大規模なResNetを用いた提案手法 (CNN2) 同精度だが高コスト
  • 19.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 18
  • 20.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） CNN 1 CNN 2 温度の 絶対誤差率 の分布 平均絶対誤差率※ 5.3% 0.45% 最大絶対誤差率※ 13% 11.6% 19 数値実験結果：知識の蒸留なし [%] 0 2 4 6 8 10 12 14 ※10題の平均値
  • 21.
    Tokyo Institute ofTechnology 2018/12/06 西田猛哲，鈴木良郎（東工大） 生徒モデル CNN 1 教師モデル CNN 2 温度の 絶対誤差率 の分布 平均絶対誤差率※ 0.38% 0.47% 最大絶対誤差率※ 5.7% 6.5% 20 [%] 0 1 2 3 4 5 6 数値実験結果：知識の蒸留あり ※10題の平均値

Editor's Notes

  • #3 ディープラーニングとは多層ニューラルネットワークを用いた機械学習の一手法です． 特に，多層ニューラルネットワークの一種である畳み込みニューラルネットワーク(CNN)を用いたディープラーニングは画像認識などの分野で大きな成果を上げています． 2012 年，Googleは画像内の猫や人間を認識するCNN を開発し，更に猫や人間と判定される確率を最大化する画像を抽出することに成功しました． この成果により，CNN が猫や人間の視覚的な特徴を抽出できることが示唆されました． このようにCNNを用いたディープラーニングは画像認識能力に優れていますが，ディープラーニングを数値シミュレーションに応用した例はまだ多くありません．
  • #4 そこで，ディープラーニングを数値シミュレーションに適用した手法として，新マルチスケール解析手法「CNN-based DDM」を提案します． 本手法は，マルチスケール解析手法の一種である領域分割法(DDM)とCNNを融合した解析手法です． 本手法は，有限要素法や差分法といった既存の解析手法ではなく，CNNを利用して解析を実行します． 本研究では，提案手法を定常熱伝導解析に適用し，解析精度および解析時間を検証することを目的とします．
  • #5 提案手法にCNNを用いる意義を，画像認識の例を用いて説明いたします． 画像認識では，CNNに犬の画像を入力すると，CNNが入力画像の特徴を抽出することで，入力画像が犬であると判定します． 提案手法では，非一様な熱伝導率分布を画像の輝度値としてCNNに入力します．すると，画像認識の場合と同様に，CNNが入力された熱伝導率分布の特徴を抽出します．それを利用することで，熱伝導率分布が反映された温度分布を算出することができるのではないかと期待できます．
  • #6 提案手法の解析手順について詳しく説明いたします．提案手法は「ローカル解析」と「グローバル解析」の2種類の解析を行います． ローカル解析は，まず解析領域全体を，複数の小領域に分割します．これらの小領域をローカル領域と呼びます． 次に，ローカル領域の各微小格子の中心に格子点を配置します．
  • #7 ローカル解析では，ローカル領域の境界部に位置する青色の格子点から，領域内部に位置する緑色の格子点の温度を求めるための行列 𝑨 L を算出する必要があります． 既存のDDMでは，この行列をFEMやFDM解析により算出していましたが，提案手法ではデータを学習したCNNにより算出します． ローカル領域の熱伝導率分布をCNNに入力することによって算出します． 次に，行列 𝑨 L を変形することにより，青色の格子点から赤色の格子点の温度を求めるための行列 𝒂 L を算出します．
  • #8 グローバル解析では，図のように，各ローカル領域の外側2周分の格子点のみで，解析領域全体を離散化します． 次に，ローカル解析で得た行列 𝒂 L を基に，図の全格子点の温度に関する連立方程式を構築します． この連立方程式を境界条件を課して解くことで，格子点の温度を算出します． 格子点が配置されていない部分の温度は，ローカル解析で得た行列 𝑨 L を用いて補間します． 以上により，解析領域全体の温度分布が算出できます．
  • #9 提案手法の解析精度および解析時間を検証するために，数値実験を実施しました． 解析モデルは，縦横ともに362個の微小格子が並んだ正方領域とします．各格子の熱伝導率は，0.01-1.00の一様分布からランダムに設定します． 境界条件は，図の4隅の温度を線形に結んだ温度境界条件とします． 本実験は，熱伝導率分布の異なる10個の例題を解析しました．
  • #10 ローカル解析に使用するCNNの構築手法を説明します． 入力データとして，各格子の熱伝導率を0.01-1.00の一様分布からランダムに設定した，サイズ20×20の熱伝導率分布， 出力データとして，入力データをFDM解析することにより算出した，ローカル領域の境界部に位置する青色の格子点から，領域内部に位置する緑色の格子点の温度を求めるための行列 𝑨 L を作成し，CNNに教師あり学習させます．これにより，ローカル解析を行うCNNを構築することができます． 学習に使用したデータ数は18000個です． また今回の実験では，畳み込み層6層＋全結合層1層を持った標準的なCNN1と，畳み込み層17層＋全結合層1層を持ったResNetであるCNN2の2種類のCNNをそれぞれ提案手法に用いて，解析を実行しました．
  • #13 数値実験の結果を示します． 提案手法の解析精度は，解析領域全体をFDM解析することにより算出した温度分布を参照解とし，提案手法による温度分布との平均絶対誤差率により評価します． FDM解析および提案手法による温度分布の一例をこちらに示します． 小さなモデルであるCNN1を使用した場合の解析誤差は5.3%，大きなモデルであるCNN2を使用した場合は0.45%となっています． CNN2を使用した場合，提案手法はFDM解析とほぼ同等の温度分布を算出可能であると言えます．
  • #14 解析時間については，提案手法とDDMのローカル解析の時間を比較することにより検証します． DDMのローカル解析の時間は13.5秒であるのに対し，CNN1を使用した場合の提案手法は4秒で，DDMの約0.3倍，CNN2を使用した場合の提案手法は112秒で，DDMの約8倍となっています． このことから，小さなモデルであるCNN1を用いた場合，提案手法はローカル解析の計算コストで既存のDDMより優位に立てると言えます． また解析精度の良いCNN2を用いた提案手法は解析時間が大幅に長くなっていることから，提案手法の解析時間と解析精度はトレードオフの関係にあると言えます．
  • #17 数値実験の結果を示します． 提案手法の解析精度は，解析領域全体をFDM解析することにより算出した温度分布を参照解とし，提案手法による温度分布との平均絶対誤差率により評価します． FDM解析および提案手法による温度分布の一例をこちらに示します． 小さなモデルであるCNN1を使用した場合の解析誤差は5.3%，大きなモデルであるCNN2を使用した場合は0.45%となっています． CNN2を使用した場合，提案手法はFDM解析とほぼ同等の温度分布を算出可能であると言えます．
  • #18 解析時間については，提案手法とDDMのローカル解析の時間を比較することにより検証します． DDMのローカル解析の時間は13.5秒であるのに対し，CNN1を使用した場合の提案手法は4秒で，DDMの約0.3倍，CNN2を使用した場合の提案手法は112秒で，DDMの約8倍となっています． このことから，小さなモデルであるCNN1を用いた場合，提案手法はローカル解析の計算コストで既存のDDMより優位に立てると言えます． また解析精度の良いCNN2を用いた提案手法は解析時間が大幅に長くなっていることから，提案手法の解析時間と解析精度はトレードオフの関係にあると言えます．
  • #19 結言です． ディープラーニングの1技術であるCNNを用いた新マルチスケール解析手法「CNN-based DDM」を提案し，定常熱伝導解析に適用しました． CNN2を使用した提案手法は，FDM解析とほぼ同等の温度分布を算出できました． CNN1を使用した提案手法は，ローカル解析の計算コストの面で既存のDDMより優位に立てることが示唆されました． 今後の課題として，高い解析精度を保ちつつ，解析時間が短くなるような小規模なCNNの構築が挙げられます．