Multiscale analysis using convolutional neural network
•Download as PPTX, PDF•
1 like•2,232 views
畳み込みニューラルネットワーク（CNN）の成熟に伴い，人間を上回るほど高精度の画像認識が実現されました．本研究では，CNNを用いて物理現象を解析するシミュレーション手法を提案します．本手法は，不均一な物性分布（熱伝導率分布）をもつ物体の温度分布を効率的に算出するものです．まず，熱伝導率分布を画像と見たててCNNに入力し，物体の伝熱特性（熱伝導の高い経路など）を認識します．その認識結果と境界条件に基づいて温度を算出します．また，知識の蒸留を利用して，小規模なCNNであっても高精度の温度分布を算出可能とする工夫も施しました．
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Multiscale analysis using convolutional neural network
Similar to Multiscale analysis using convolutional neural network (20)
More from Yoshiro Suzuki
More from Yoshiro Suzuki (7)
Multiscale analysis using convolutional neural network
- 1. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 東京工業大学 西田 猛哲 鈴木 良郎 ディープラーニングを用いた 数値シミュレーション
- 2. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 1 ディープラーニング(DL) ➡多層ニューラルネットワークを用いた機械学習の1手法 畳み込みニューラルネットワーク(CNN) 2012年 Google：画像認識するCNNを開発， 猫の顔と判定される確率を最大化する 画像の抽出に成功※1 ➡CNNが入力画像の視覚的特徴を 抽出可能であることが示唆 DLの数値シミュレーションへの活用例 は少ない 研究背景 ディープラーニングの躍進 ※1 Quoc V. Le, et al. Building High-level Features Using Large Scale Unsupervised Learning. Appearing in Proceedings of the 29 th International Conference on Machine Learning. Edinburgh, Scotland, UK. 2012.
- 3. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 2 研究目的 新マルチスケール解析手法「CNN-based DDM」を提案 領域分割法(DDM)とCNNを融合 有限要素法(FEM)や差分法(FDM) ではなく， CNNを利用して数値解析を実行 提案手法 提案手法を定常熱伝導解析に適用，解析精度・解析時間を 検証 研究目的
- 4. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 3 CNN-based DDM CNNを用いる意義 CNN 犬の画像 判定結果 犬 熱伝導率を画像の 輝度値として入力 熱伝導率分布の 特徴が反映 入力画像の 特徴を抽出 画像認識提案手法による熱伝導解析 熱伝導率分布 熱 伝 導 率 低 高 温 度 低 高 温度分布
- 5. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 4 1. グローバル領域を複数のローカル領域に分割 2. 各微小格子の中心に格子点を配置 CNN-based DDMの解析手順 ローカル解析 1 解析領域全体 （グローバル領域） 1 分割 ローカル領域 熱伝導率 低 高
- 6. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 5 3. 〇の温度から〇の温度を求めるための行列𝑨Lの算出 4. 〇の温度から〇の温度を求めるための行列𝒂Lの算出 CNN-based DDMの解析手順 ローカル解析 1 CNN 𝑨L 入力 出力 変形 𝒂L ローカル領域の 熱伝導率分布
- 7. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 6 1. 解析領域全体を〇のみで離散化 2. ローカル解析で得た行列𝒂Lを基に 連立方程式を構築，〇の温度を算出 3. ローカル解析で得た行列𝑨L を用いて 〇以外の温度を補間 CNN-based DDMの解析手順 グローバル解析 1 グローバル領域 温度 低 高
- 8. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 7 各格子の熱伝導率：0.01-1.00の一様分布からランダムに設定 境界条件：4隅の温度を線形補間した温度境界条件 10個の例題を解析 数値実験 解析モデル 0℃ 0.5℃ 0.75℃ 1℃ 362セル 1 362セル 熱 伝 導 率 0.01 1.00
- 9. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 8 訓練データ数：18,000 数値実験 CNNの教師データ CNNの構成 CNN 1：畳み込み層6層＋全結合層1層の標準的なCNN CNN 2：畳み込み層17層＋全結合層1層のResNet 1 20セル 20セル 〇の温度から 〇の温度を求める ための行列𝑨L FDM解析 入力データ 出力データ
- 10. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 9 ローカル解析に用いたCNNの構成 CNN 1：畳み込み層6層＋全結合層1層の標準的なCNN [𝑥, 𝑦], 𝑧の表記 [𝑥, 𝑦]：畳み込みフィルタのサイズ 𝑧：出力チャネル数 畳み込み層[3,3],16 9 9 ローカル領域の 熱伝導率分布 𝑨L ReLU 畳み込み層[3,3],32 ReLU 畳み込み層[3,3],64 ReLU 畳み込み層[3,3],128 ReLU 畳み込み層[3,3],256 ReLU 畳み込み層[3,3],256 ReLU ReLU 全結合層 id
- 11. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 10 ローカル解析に用いたCNNの構成 CNN 2：畳み込み層17層のResNet 畳み込み層 [3, 3], 𝑧 バッチ正規化 畳み込み層 [3, 3], 𝑧 ReLU バッチ正規化 + Basic Block ReLU 畳み込み層 [3, 3], 𝑧 バッチ正規化 ReLU Basic Block, 𝒛 = 𝟔𝟒 Basic Block, 𝒛 = 𝟏𝟐𝟖 Basic Block, 𝒛 = 𝟐𝟓𝟔 Basic Block, 𝒛 = 𝟓𝟏𝟐 平均プーリング 全結合層 id 出力 入力 𝑧：出力チャネル数
- 12. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 11 数値実験の結果：精度 FDM 提案手法 CNN-based DDM CNN 1 CNN 2 温度分布 FDMとの 平均絶対誤差率※ - 5.3% 0.45% 1.0 0.8 0.6 0.4 0.2 0.0 [℃] FDM解析による温度分布を参照解として温度誤差を算出 提案手法(CNN 2)はFDM解析とほぼ同精度 ※10題の平均値
- 13. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 12 知識の蒸留により CNN2（大規模なCNN）の性能をCNN1（小規模なCNN）に 引き継げないか？ 数値実験の結果：解析時間 ※10題の平均値 ローカル解析 [秒] グローバル解析 [秒] 全解析時間 [秒] FDM - 258 258 DDM 13.5 130 144 CNN-based DDM CNN 1 CNN 2 4.0 112 127 104 131 216 CNN2は高精度だが高コストCNN1は低精度だが低コスト
- 14. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 13 知識の蒸留 「知識の蒸留」の考え方 教師モデル (大規模，CNN2) 生徒モデル (小規模, CNN1) 知識 抽出 継承 未知データに対しても高精度 ➡「入力データのどこに注目すればよいか」 という知識を獲得しているはず 蒸留により，小規模ながら教師モデルに匹敵する精度の モデルが得られる可能性がある
- 15. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 14 A. Romeroらが2014年に提案した手法 生徒モデルと教師モデルの中間層の出力をマッチング 知識の蒸留 Hint Learning 教師モデル(CNN2) 生徒モデル(CNN1) 追加のパラメータ マッチング
- 16. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 15 FDM 提案手法 CNN-based DDM 生徒モデル CNN 1 教師モデル CNN 2 温度分布 FDMとの 平均絶対誤差率※ - 0.38% 0.47% 1.0 0.8 0.6 0.4 0.2 0.0 [℃] 生徒モデルの精度は教師モデルを上回った FDM解析による温度分布を参照解として温度誤差を算出 蒸留の結果：精度 ※10題の平均値
- 17. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 16 蒸留の結果：解析時間 ※10題の平均値 生徒モデルは高精度かつ低コスト 通常のDDMのローカル解析時間を72%削減 同精度の解を算出 → 上手く知識を蒸留できた ローカル解析 [秒] グローバル解析 [秒] 全解析時間 [秒] FDM - 258 258 DDM 13.5 130 144 CNN-based DDM 生徒 教師 3.8 107 99.7 93.4 103 200
- 18. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 17 ディープラーニングの一技術であるCNNを用いた 新マルチスケール解析手法「CNN-based DDM」を提案， 定常熱伝導解析に適用 通常のDDM解析と比べ，下記の結果が得られた． CNN2の知識を蒸留したCNN1は 通常のDDM解析と同精度かつ低コスト (ローカル解析時間を72%削減) 結言 小規模なCNNを用いた提案手法 (CNN1) 低精度だが低コスト 大規模なResNetを用いた提案手法 (CNN2) 同精度だが高コスト
- 19. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 18
- 20. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） CNN 1 CNN 2 温度の 絶対誤差率 の分布 平均絶対誤差率※ 5.3% 0.45% 最大絶対誤差率※ 13% 11.6% 19 数値実験結果：知識の蒸留なし [%] 0 2 4 6 8 10 12 14 ※10題の平均値
- 21. Tokyo Institute of Technology 2018/12/06 西田猛哲，鈴木良郎（東工大） 生徒モデル CNN 1 教師モデル CNN 2 温度の 絶対誤差率 の分布 平均絶対誤差率※ 0.38% 0.47% 最大絶対誤差率※ 5.7% 6.5% 20 [%] 0 1 2 3 4 5 6 数値実験結果：知識の蒸留あり ※10題の平均値
Editor's Notes
- ディープラーニングとは多層ニューラルネットワークを用いた機械学習の一手法です． 特に，多層ニューラルネットワークの一種である畳み込みニューラルネットワーク(CNN)を用いたディープラーニングは画像認識などの分野で大きな成果を上げています． 2012 年，Googleは画像内の猫や人間を認識するCNN を開発し，更に猫や人間と判定される確率を最大化する画像を抽出することに成功しました． この成果により，CNN が猫や人間の視覚的な特徴を抽出できることが示唆されました． このようにCNNを用いたディープラーニングは画像認識能力に優れていますが，ディープラーニングを数値シミュレーションに応用した例はまだ多くありません．
- そこで，ディープラーニングを数値シミュレーションに適用した手法として，新マルチスケール解析手法「CNN-based DDM」を提案します． 本手法は，マルチスケール解析手法の一種である領域分割法(DDM)とCNNを融合した解析手法です． 本手法は，有限要素法や差分法といった既存の解析手法ではなく，CNNを利用して解析を実行します． 本研究では，提案手法を定常熱伝導解析に適用し，解析精度および解析時間を検証することを目的とします．
- 提案手法にCNNを用いる意義を，画像認識の例を用いて説明いたします． 画像認識では，CNNに犬の画像を入力すると，CNNが入力画像の特徴を抽出することで，入力画像が犬であると判定します． 提案手法では，非一様な熱伝導率分布を画像の輝度値としてCNNに入力します．すると，画像認識の場合と同様に，CNNが入力された熱伝導率分布の特徴を抽出します．それを利用することで，熱伝導率分布が反映された温度分布を算出することができるのではないかと期待できます．
- 提案手法の解析手順について詳しく説明いたします．提案手法は「ローカル解析」と「グローバル解析」の2種類の解析を行います． ローカル解析は，まず解析領域全体を，複数の小領域に分割します．これらの小領域をローカル領域と呼びます． 次に，ローカル領域の各微小格子の中心に格子点を配置します．
- ローカル解析では，ローカル領域の境界部に位置する青色の格子点から，領域内部に位置する緑色の格子点の温度を求めるための行列 𝑨 L を算出する必要があります． 既存のDDMでは，この行列をFEMやFDM解析により算出していましたが，提案手法ではデータを学習したCNNにより算出します． ローカル領域の熱伝導率分布をCNNに入力することによって算出します． 次に，行列 𝑨 L を変形することにより，青色の格子点から赤色の格子点の温度を求めるための行列 𝒂 L を算出します．
- グローバル解析では，図のように，各ローカル領域の外側2周分の格子点のみで，解析領域全体を離散化します． 次に，ローカル解析で得た行列 𝒂 L を基に，図の全格子点の温度に関する連立方程式を構築します． この連立方程式を境界条件を課して解くことで，格子点の温度を算出します． 格子点が配置されていない部分の温度は，ローカル解析で得た行列 𝑨 L を用いて補間します． 以上により，解析領域全体の温度分布が算出できます．
- 提案手法の解析精度および解析時間を検証するために，数値実験を実施しました． 解析モデルは，縦横ともに362個の微小格子が並んだ正方領域とします．各格子の熱伝導率は，0.01-1.00の一様分布からランダムに設定します． 境界条件は，図の4隅の温度を線形に結んだ温度境界条件とします． 本実験は，熱伝導率分布の異なる10個の例題を解析しました．
- ローカル解析に使用するCNNの構築手法を説明します． 入力データとして，各格子の熱伝導率を0.01-1.00の一様分布からランダムに設定した，サイズ20×20の熱伝導率分布， 出力データとして，入力データをFDM解析することにより算出した，ローカル領域の境界部に位置する青色の格子点から，領域内部に位置する緑色の格子点の温度を求めるための行列 𝑨 L を作成し，CNNに教師あり学習させます．これにより，ローカル解析を行うCNNを構築することができます． 学習に使用したデータ数は18000個です． また今回の実験では，畳み込み層6層＋全結合層1層を持った標準的なCNN1と，畳み込み層17層＋全結合層1層を持ったResNetであるCNN2の2種類のCNNをそれぞれ提案手法に用いて，解析を実行しました．
- 数値実験の結果を示します． 提案手法の解析精度は，解析領域全体をFDM解析することにより算出した温度分布を参照解とし，提案手法による温度分布との平均絶対誤差率により評価します． FDM解析および提案手法による温度分布の一例をこちらに示します． 小さなモデルであるCNN1を使用した場合の解析誤差は5.3%，大きなモデルであるCNN2を使用した場合は0.45%となっています． CNN2を使用した場合，提案手法はFDM解析とほぼ同等の温度分布を算出可能であると言えます．
- 解析時間については，提案手法とDDMのローカル解析の時間を比較することにより検証します． DDMのローカル解析の時間は13.5秒であるのに対し，CNN1を使用した場合の提案手法は4秒で，DDMの約0.3倍，CNN2を使用した場合の提案手法は112秒で，DDMの約8倍となっています． このことから，小さなモデルであるCNN1を用いた場合，提案手法はローカル解析の計算コストで既存のDDMより優位に立てると言えます． また解析精度の良いCNN2を用いた提案手法は解析時間が大幅に長くなっていることから，提案手法の解析時間と解析精度はトレードオフの関係にあると言えます．
- 数値実験の結果を示します． 提案手法の解析精度は，解析領域全体をFDM解析することにより算出した温度分布を参照解とし，提案手法による温度分布との平均絶対誤差率により評価します． FDM解析および提案手法による温度分布の一例をこちらに示します． 小さなモデルであるCNN1を使用した場合の解析誤差は5.3%，大きなモデルであるCNN2を使用した場合は0.45%となっています． CNN2を使用した場合，提案手法はFDM解析とほぼ同等の温度分布を算出可能であると言えます．
- 解析時間については，提案手法とDDMのローカル解析の時間を比較することにより検証します． DDMのローカル解析の時間は13.5秒であるのに対し，CNN1を使用した場合の提案手法は4秒で，DDMの約0.3倍，CNN2を使用した場合の提案手法は112秒で，DDMの約8倍となっています． このことから，小さなモデルであるCNN1を用いた場合，提案手法はローカル解析の計算コストで既存のDDMより優位に立てると言えます． また解析精度の良いCNN2を用いた提案手法は解析時間が大幅に長くなっていることから，提案手法の解析時間と解析精度はトレードオフの関係にあると言えます．
- 結言です． ディープラーニングの1技術であるCNNを用いた新マルチスケール解析手法「CNN-based DDM」を提案し，定常熱伝導解析に適用しました． CNN2を使用した提案手法は，FDM解析とほぼ同等の温度分布を算出できました． CNN1を使用した提案手法は，ローカル解析の計算コストの面で既存のDDMより優位に立てることが示唆されました． 今後の課題として，高い解析精度を保ちつつ，解析時間が短くなるような小規模なCNNの構築が挙げられます．