PFP：材料探索のための汎用Neural Network Potential - 2021/10/4 QCMSR + DLAP共催

1. 中郷孝祐 Preferred Networks, Inc. PFP：材料探索のための汎用Neural Network Potential

2. 自己紹介 • 名前：中郷孝祐 (@corochann) • 早稲田大学応用物理学科卒業 • 東京大学院理学系研究科物理学専攻村尾研究室 – 量子コンピュータの理論研究(断熱量子計算) • Sony EMCS Malaysia – テレビのソフトウェア開発 • Preferred Networks, Inc (PFN) – Deep Learning の様々な応用に関わる – Chainer Chemistryの開発 • 趣味でKaggle（データサイエンスのコンペ）参加 – Kaggle Competitions Master – Kaggle Notebooks Grandmaster 2 物理コンピュータソフトウェア

3. 本セミナーの話題 3 • “PFP: Universal Neural Network Potential for Material Discovery” • Matlantisとして、SaaSでサービス提供開始 https://arxiv.org/pdf/2106.14583.pdf https://matlantis.com/ja/

4. 本セミナーの話題新物質開発や材料探索を加速する “汎用原子レベルシミュレータ” 4 NEB Co+V触媒上での、C-O解離反応 MD Cu(111)上でのチオール挙動 Opt Fentanylの構造緩和

5. 本セミナーの話題 “PFP: Universal Neural Network Potential for Material Discovery” を理解する 5

6. 本セミナーの話題 “PFP: Universal Neural Network Potential for Material Discovery” を理解する 6 前半はNNPについて、先行研究・歴史を紹介

7. 本セミナーの話題 “PFP: Universal Neural Network Potential for Material Discovery” を理解する 7 後半はPFPについて、どのように “汎用性” のあるNNP開発に取り組んだか紹介

8. 目次 • 前半 – NNPとは – Behler Parinello type MLP – Graph Neural Network – Open Catalyst 2020 • 後半 – PFP • PFP architecture • PFPデータ収集 – PFPを用いた計算事例 8

9. 前半パート：NNPとは 9

10. Neural Network Potential (NNP) とは E 𝐹! = − 𝜕E 𝜕𝒓! O H H 𝒓! = (𝑥", 𝑦!, 𝑧!) 𝒓# = (𝑥#, 𝑦#, 𝑧#) 𝒓$ = (𝑥$, 𝑦$, 𝑧$) Neural Network ゴール：原子座標が決まった状態の分子のエネルギーをNNで予測 → NNは微分可能なので、エネルギーが予測できれば力など様々な物理量も計算可能 10

11. Neural Network Potential (NNP) とは A. 通常の教師あり学習は最終物性値をそのまま予測 B. NNPはシミュレーションに必要な内部計算を学習 → NNPを学習後、他の物性値を計算する用途にも使える！物性値ごとのデータベースは不要 11 O H H 𝒓! = (𝑥", 𝑦!, 𝑧!) 𝒓# = (𝑥#, 𝑦#, 𝑧#) 𝒓$ = (𝑥$, 𝑦$, 𝑧$) Schrodinger 方程式・エネルギー・力物性値・弾性率・粘性 etc A B

12. Neural Network Potential (NNP) vs 量子計算 ? メリット：高速 • 量子計算手法(DFT)と比べ圧倒的に高速デメリット： • 精度面ー精度の評価は難しい • データ取得が必要 – 学習するためのデータ収集として、結局量子計算が必要 – 取得したデータから大きく離れるデータの予測精度は要検証 from https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract 12

13. NNPへの入力形式ー記述子について座標値をそのまま入力？ → NG! 物理的に要請される以下の性質が満たされない。などなど、、、・並進移動対称性・回転対称性・原子の順序入れ替えに対する対称性 E O H H 𝒓! = (𝑥", 𝑦!, 𝑧!) 𝒓# = (𝑥#, 𝑦#, 𝑧#) 𝒓$ = (𝑥$, 𝑦$, 𝑧$) Neural Network 𝑓(𝑥", 𝑦", … , 𝑧#) 13

14. NNPへの入力形式ー記述子について座標の生値ではなく、記述子 (Descriptor) という形式に変換して、 Neural Network への入力値とする。ではどのような記述子を作ればよいか？例：2原子間の距離 r は、並進移動・回転移動に対して不変 E O H H 𝒓! = (𝑥", 𝑦!, 𝑧!) 𝒓# = (𝑥#, 𝑦#, 𝑧#) 𝒓$ = (𝑥$, 𝑦$, 𝑧$) Neural Network 𝑓(𝑮", 𝑮$, 𝑮#) 𝑮", 𝑮$, 𝑮# Descriptor 14

15. NNP研究の流れ (2018年まで) chem/phys field NNP Tutorial review Constructing high-dimensional neural network potentials: A tutorial review ANI-1 ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost ANI-1 Dataset A data set of 20 million calculated off-equilibrium conformations for organic molecules ANI-1x Less is more: sampling chemical space with active learning ANI-1ccx Outsmarting Quantum Chemistry Through Transfer Learning TensorMol 0.1 The TensorMol-0.1 Model Chemistry: a Neural Network Augmented with Long-Range Physics MetaDynamics for NNMC Metadynamics for Training Neural Network Model Chemistries: a Competitive Assessment SchNet SchNet: A continuous-filter convolutional neural network for modeling quantum interactions DTNN Quantum-Chemical Insights from Deep Tensor Neural Networks 2017 2015 2018 computer science field 15

16. NNP研究の流れ (2018年まで) chem/phys field NNP Tutorial review Constructing high-dimensional neural network potentials: A tutorial review ANI-1 ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost ANI-1 Dataset A data set of 20 million calculated off-equilibrium conformations for organic molecules ANI-1x Less is more: sampling chemical space with active learning ANI-1ccx Outsmarting Quantum Chemistry Through Transfer Learning TensorMol 0.1 The TensorMol-0.1 Model Chemistry: a Neural Network Augmented with Long-Range Physics MetaDynamics for NNMC Metadynamics for Training Neural Network Model Chemistries: a Competitive Assessment SchNet SchNet: A continuous-filter convolutional neural network for modeling quantum interactions DTNN Quantum-Chemical Insights from Deep Tensor Neural Networks 2017 2015 2018 computer science field 著者：Behler 最新研究はこの理論をもとに構築されている 16

17. NNP Tutorial review：Behler-Parrinello Symmetry function “Constructing high-dimensional neural network potentials: A tutorial review” https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890 AEV: Atomic Environment Vector 対象とする原子の周辺環境を数値化・ベクトル化 Rc：カットオフ半径 1. radial symmetry functions 2体関係(距離)の表現中心原子 i から半径 Rc 周辺までにどのくらいの数の原子が存在するか 17

18. NNP Tutorial review：Behler-Parrinello Symmetry function “Constructing high-dimensional neural network potentials: A tutorial review” https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890 2. angular symmetry functions 3体関係(角度)の表現 AEV: Atomic Environment Vector 対象とする原子の周辺環境を数値化・ベクトル化 Rc：カットオフ半径中心原子 i から半径 Rc 周辺までにどういった位置関係(角度)で原子 j, kが存在しているか 18

19. NNP Tutorial review：Neural Networkの工夫問題点：・原子数固定ー 0 埋めが必要ー学習時のサイズを超える予測ができない・原子の順番の入れ替えに対する不変性がない “Constructing high-dimensional neural network potentials: A tutorial review” https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890 工夫：・１原子ごとに別々にAtomic Energyを予測し、合計値を最終エネルギー Es とする・原子種 (O, H) ごとに別のNNを訓練 19

20. NNP研究の流れ (2018年まで) chem/phys field NNP Tutorial review Constructing high-dimensional neural network potentials: A tutorial review ANI-1 ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost ANI-1 Dataset A data set of 20 million calculated off-equilibrium conformations for organic molecules ANI-1x Less is more: sampling chemical space with active learning ANI-1ccx Outsmarting Quantum Chemistry Through Transfer Learning TensorMol 0.1 The TensorMol-0.1 Model Chemistry: a Neural Network Augmented with Long-Range Physics MetaDynamics for NNMC Metadynamics for Training Neural Network Model Chemistries: a Competitive Assessment SchNet SchNet: A continuous-filter convolutional neural network for modeling quantum interactions DTNN Quantum-Chemical Insights from Deep Tensor Neural Networks 2017 2015 2018 computer science field 著者：Justin S. Smith, Olexandr Isayev Univ of Florida, North Carolina などUSAの機関 ANI-1xからLos Alamos Lab が入ってきてプロジェクトが大きくなっている模様実装コードが公開されている (MIT license) ー https://github.com/isayev/ASE_ANI ー https://github.com/aiqm/torchani (pytorch base) 20

21. ANI-1 & ANI-1 Dataset • ANI-1 以前の研究 – “一つの系で複数の座標” or “複数の系で最安定な座標”だけにしか適用できない • ANI-1 – H, C, N, Oの元素からなる様々な分子の様々な座標でエネルギーを予測できる NNPモデル、ANI-1を構築 • ANI-1 Dataset – ANI-1 の訓練に使われたデータの計算方法・収集方法。 21

22. O NNPのためのデータ取得 • 様々な座標値の分子に対するエネルギーを計算したい →ランダムに原子を座標配置してエネルギーを計算すればよい？ → ✖ • 現実で分子がとりうる座標はほぼ低エネルギーな状態のみ →現実で起こりうる領域に対して、精度よくエネルギーを計算したい。 H H Low energy Likely to occur High energy (Almost) never occur O H H O H H O H H O H H O H H 22 exp(−𝐸/𝑘&𝑇) Boltzmann分布

23. ANI-1 Dataset：データ取得方法 “ANI-1, A data set of 20 million calculated off-equilibrium conformations for organic molecules” https://www.nature.com/articles/sdata2017193 • GDB-11データベース(最大11個のC, N, O, Fが含まれる分子を列挙) のSubsetを使用 – C, N, Oのみに制限 – Heavy Atom は最大8個 • Normal Mode Sampling (NMS)で一つの分子から多数の座標 conformationを生成 rdkitの MMFF94 Gaussian09の default method 23

24. ANI-1 Dataset：データ取得結果 “ANI-1, A data set of 20 million calculated off-equilibrium conformations for organic molecules” https://www.nature.com/articles/sdata2017193 • 計算方法： – ωB97x density functional – 6–31 G(d) basis set – Gaussian 09 使用 • 取得されたデータ数 – 2200万データ！！ – 公開されてます https://doi.org/10.6084/m9.figshare.c.3846712 24

25. ANI-1：Network構成 “ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost” https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract • Neural Network自体は既存研究と同じ – AtomごとにNNPを構成 – 原子種ごとに違うNNを用いる • H, C, N, O – Total EnergyはAtomic Energyの和 • ANI-1のMLP構成： – 768, 128, 128, 64, 1 dim layer – Gaussian activation function 25

26. ANI-1：既存研究との差異・工夫した点 “ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost” https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract • AEV (Atomic Environment Vector) の計算方法 – 原子種 (H, C, O, N)ごとに違うAEVを計算 → 原子種の違いが区別できる • Radial：N種類 • Angular：N * (N+1)/2 種類 – ANI-1では (N=4) • Radial: 4 * 32通りのRs • Angular: 10 * 8通りのRs * 8 通りの θs → 合計 768 次元のAEV、 G が構成される。 26

27. ANI-1：結果 “ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost” https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract • DFTB, PM9, AM1といった計算手法と比べてDFTとの結果一致度が高い • 訓練データに含まれていない大きさの原子に対してもきちんと予測できている (ANI-1 Dataset は重原子8個まで) GDB-11から10個の重原子を持つ分子を134個サンプルそれぞれの複数conformation間での ΔE の予測を比較 27

28. ANI-1：結果 “ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost” https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract • Conformationを変えた場合のエネルギー変化の予測 – ANI-1は他の手法と比べても DFTに近い予測ができている。 one-dimensional potential surface scan 28

29. ANI-1 & ANI-1 Dataset：まとめ “ANI-1: an extensible neural network potential with DFT accuracy at force field computational cost” https://pubs.rsc.org/en/content/articlelanding/2017/sc/c6sc05720a#!divAbstract • H, C, N, O からなる小分子に関しては、様々な分子・構造に対してDFTに似たエネルギーが計算できるNNPが構成できた。 – 2000万という大量の計算を行いデータセットを作成課題 • ほかの原子 (FやSなど) を追加すること – 原子ごとに別のNNを訓練する必要がある – 入力次元が N^2 に比例して増える。 – 取得すべきデータの組み合わせもそれに比例するはず 29

30. GNNとは • Graph Neural Network：グラフを入力でき、データの “つながり” の情報を学習 • グラフとは：頂点 v と辺 e で構成 – Social Network（SNSの結びつきグラフ）、Citation Network（論文の引用を示すグラフ） – 商品Network（同時購入された商品を結ぶグラフ） – Protein-Protein Association Network – 有機分子 etc… 30 𝒗𝟎 𝒗𝟏 𝒗𝟐 𝒗𝟒 𝒗𝟑 𝑒&' 𝑒'( 𝑒() 𝑒*) 𝑒(* 応用例が広い！

31. GNNとは • 画像の畳み込みに似た “グラフ畳み込み” à Graph Convolution を考えることで実現 • Graph Convolution Network, Message Passing Neural Network とも 31 画像分類 class label 物性値 Chemical property CNN: Image Convolution GNN: Graph Convolution

32. GNNの構成 • CNN同様、Graph Convolutionを積み重ねてDeep なNeural Networkを構成 32 Graph Conv Graph Conv Graph Conv Graph Conv Sum グラフのまま特徴量をアップデート原子ごとの予測値(エネルギー)を出力分子をグラフとして入力分子の予測値(エネルギー)を出力

33. C N O 1.0 0.0 0.0 6.0 1.0 atom type 0.0 1.0 0.0 7.0 1.0 0.0 0.0 1.0 8.0 1.0 charge chirality 原子ごとに特徴量作成 Molecular Graph Convolutions: Moving Beyond Fingerprints Steven Kearnes, Kevin McCloskey, Marc Berndl, Vijay Pande, Patrick Riley arXiv:1603.00856 ノード(原子)の特徴量作成

34. GNNの適用：分子データ・結晶データ • 分子データにも応用可能 →様々な種類のGNNが提案され分子データに対するDeep Learning 研究が加速 – NFP, GGNN, MPNN, GWM etc… • 近年は座標データや結晶分子データにも応用されてきている – SchNet, CGCNN, MEGNet, Cormorant, DimeNet, PhysNet, EGNN, TeaNet etc… 34 NFP: “Convolutional Networks on Graph for Learning Molecular Fingerprints” https://arxiv.org/abs/1509.09292 GWM: “Graph Warp Module: an Auxiliary Module for Boosting the Power of Graph Neural Networks in Molecular Graph Analysis” https://arxiv.org/pdf/1902.01020.pdf CGCNN: “Crystal Graph Convolutional Neural Networks for an Accurate and Interpretable Prediction of Material Properties” https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.120.145301

35. SchNet：概要 • 原子間距離 r に対して連続的に変化するContinuous filter convolution (cfconv)を提案し原子位置 r の変化に対応できるNeural Networkを構成 “SchNet: A continuous-filter convolutional neural network for modeling quantum interactions” https://arxiv.org/abs/1706.08566 RBF kernel 35

36. 周期境界条件のある系へのGNN活用 • CGCNNで、周期境界条件のある系に対するグラフ構築方法が提案された • MEGNetでは、孤立系（分子）・周期境界条件（固体）双方へのGNN適用を報告 36 CGCNN: “Crystal Graph Convolutional Neural Networks for an Accurate and Interpretable Prediction of Material Properties” https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.120.145301 MEGNet: “Graph Networks as a Universal Machine Learning Framework for Molecules and Crystals” https://pubs.acs.org/doi/10.1021/acs.chemmater.9b01294

37. まとめ: GNN approach Neural Network側に工夫を入れることで以下のようなメリットが得られる可能性がある • Descriptorの作りこみが不要 – Atomic Environment Vectorなどの複雑なハイパラ調整が不要になる可能性 • 原子種への汎化 – 原子種を増やしても入力次元は増えない→組み合わせ爆発しなくなる – 未知・小数データしかない原子種への汎化？ • 精度の向上・学習の効率化 – Networkの表現能力が向上することにより、精度向上の可能性 – 適切な制約がNetwork側に入ることで、学習効率があがる 37

38. Deep learning 領域全体でのトレンド • 2012年、画像認識コンペILSVRCでAlexNetの登場 (GPUを有効活用した) • 以降GPUの発展とともに、年々ネットワークが深く、巨大になっていった 38 GoogleNet “Going deeper with convolutions”: https://arxiv.org/pdf/1409.4842.pdf ResNet “Deep Residual Learning for Image Recognition”: https://arxiv.org/pdf/1512.03385.pdf 年 CNN 深さ Parameter数 2012 AlexNet 8層 62.0M 2014 GoogleNet 22層 6.4M 2015 ResNet 110層 (Max1202層!) 60.3M https://towardsdatascience.com/the-w3h-of-alexnet-vggnet-resnet-and-inception-7baaaecccc96

39. Deep learning 領域全体でのトレンド • 画像分野のデータセット量 – 指数関数的にデータセット規模も大きくなり、人間１人では扱えない、全体の集合知を学習するように。。。 – 事前学習→特定タスク用にFine tuningする流れデータセット名データ数クラス数 MNIST 6万枚 10 CIFAR-100 6万枚 100 ImageNet 130万枚 1,000 ImageNet-21k 1400万枚 21,000 JFT-300M 3億枚 (Google非公開) 18,000

40. Deep learning 領域全体でのトレンド • 自然言語分野でも同様のトレンド： – Networkの大規模化 – データセットの大規模化 • BERT, OpenAI GPT 3 といったNetworkが開発されてきた – GPT3 の学習には、355 GPU年・$4.6M の計算資源を要している年モデル Parameter数 2018 BERT=Large 355M 2019 GPT2 1.5B 2019 T5 11B 2020 GPT-3 175B https://lambdalabs.com/blog/demystifying-gpt-3/

41. “汎用” Neural Network Potential？ • これまでの先行研究の流れを追うと、見えてくる可能性 NNPの定式化と構造汎化に対する実証 ↓ ANI系列元素種増加への対応 ↓ GNNのNode embedding 周期系への拡張 ↓ 周期系でのグラフ構築大規模データを学習 ↓ 画像・自然言語分野での成功、 DLトレンドに →多数の元素種、孤立系・周期系、様々な構造全てに対応した汎用NNPの開発へ！

42. 後半パートに行く前に、、、OC20の紹介 42

43. Open Catalyst 2020の話 • 再生エネルギーの貯蔵に使うための触媒開発を目的として提案 • Overview Paper: – 地球温暖化を解決するために、ソーラー発電・風力発電のエネルギーを貯蔵する – なぜ水力発電や電池の充電だけでは足りないか • エネルギー貯蔵量がスケールしない 43 https://arxiv.org/pdf/2010.09435.pdf

44. Open Catalyst 2020の話 • 再生エネルギーの貯蔵に使うための触媒開発を目的として提案 • Overview Paper: – 地球温暖化を解決するために、ソーラー発電・風力発電のエネルギーを貯蔵する – 水素やメタンなどの反応プロセス効率を上げることが再生エネルギーの貯蔵の鍵 44 https://arxiv.org/pdf/2010.09435.pdf

45. Open Catalyst 2020の話 • 触媒とは：特定の反応を促進させる物質。自身は変化しない。 • Dataset Paper: 技術的なデータセット収集方法の詳細 45 下に広がっているのが金属表面＝触媒上に乗っかっている分子が反応対象となるもの https://arxiv.org/pdf/2010.09435.pdf https://opencatalystproject.org/

46. Open Catalyst 2020の話 • いろいろな金属・いろいろな分子の組み合わせ生成方法を提案 • 再生エネルギー関連の主要な反応をカバーできるように • データ数1.3億件！ 46 https://arxiv.org/pdf/2010.09435.pdf

47. 後半パート：PFPの紹介 47

48. PFPとは • ＥＮＥＯＳ株式会社様とPFNで共同研究を行い開発された “Universal” Neural Network Potential • PreFerred Potential から PFPと命名 • Matlantis とは – PFPを含め、物性値計算機能などいろいろな機能を SaaSにパッケージングした製品 48

49. PFPの話 • Architecture • データセット • 学習結果NNP＝PFP を用いた事例 49

50. PFP Architecture • NNPが備えていると望ましい帰納バイアス(Inductive bias) – １．回転対称性 – ２．並進対称性 – ３．鏡像反転対称性 – ４．原子の置換に対する対称性 – ５．一定の局所性： • 基本的には近傍原子の環境が、その原子の周りの電子状態やエネルギーに主要な影響を与える(静電相互作用など例外もあり) – ６．示量性である：2つの原子が独立してあればエネルギーも２倍。 – ７． PESは連続関数である。 50

51. PFP Architecture • NNPが備えていると望ましい帰納バイアス(Inductive bias) – １．回転対称性 – ２．並進対称性 – ３．鏡像反転対称性 – ４．原子の置換に対する対称性 – ５．一定の局所性： • 基本的には近傍原子の環境が、その原子の周りの電子状態やエネルギーに主要な影響を与える(静電相互作用など例外もあり) – ６．示量性である：2つの原子が独立してあればエネルギーも２倍。 – ７． PESは連続関数である。 51 GNNは自然に満たす原子ごとにエネルギーを計算連続な活性化関数、カットオフの工夫

52. • NNPが備えていると望ましい帰納バイアス(Inductive bias) – １．回転対称性 – ２．並進対称性 – ３．鏡像反転対称性 – ４．原子の置換に対する対称性 – ５．一定の局所性： • 基本的には近傍原子の環境が、その原子の周りの電子状態やエネルギーに主要な影響を与える(静電相互作用など例外もあり) – ６．示量性である：2つの原子が独立してあればエネルギーも２倍。 – ７． PESは連続関数である。 PFP Architecture 52 SO(3)対称性

53. PFP Architecture • NNPが備えていると望ましい帰納バイアス(Inductive bias) – １．回転対称性 – ２．並進対称性 – ３．鏡像反転対称性 – ４．原子の置換に対する対称性 – ５．一定の局所性： • 基本的には近傍原子の環境が、その原子の周りの電子状態やエネルギーに主要な影響を与える(静電相互作用など例外もあり) – ６．示量性である：2つの原子が独立してあればエネルギーも２倍。 – ７． PESは連続関数である。 53 SE(3)対称性

54. PFP Architecture • NNPが備えていると望ましい帰納バイアス(Inductive bias) – １．回転対称性 – ２．並進対称性 – ３．鏡像反転対称性 – ４．原子の置換に対する対称性 – ５．一定の局所性： • 基本的には近傍原子の環境が、その原子の周りの電子状態やエネルギーに主要な影響を与える(静電相互作用など例外もあり) – ６．示量性である：2つの原子が独立してあればエネルギーも２倍。 – ７． PESは連続関数である。 54 E(3)対称性

55. PFPについて • PFPは E(3) equivariant な特徴量を用いるNeural Networkを使用 • “vector”, “tensor” の特徴量とは？ 55 https://arxiv.org/pdf/2106.14583.pdf

56. 回転不変/同変 • 回転不変 (Invariant) – ノルムなど • 回転同変 (Equivariant) – 線形結合など à 一般化 – テンソル積 56 𝑓 𝒓 = 𝒓 ⊗ 𝒓 𝑓 R𝒓 = R𝑓(𝒓) 𝑓 R𝒓 = 𝑓(𝒓) 𝑓 𝒓 = 𝒓 𝟐 = 𝒓 ⋅ 𝒓 𝑓 𝒓 = c𝒓 𝑓 R𝒓 = 𝜌(R)𝑓(𝒓) 𝑓 R𝒓 = (R ⊗ R)𝑓(𝒓) 𝑓 𝒓 = c𝒓 + 𝒃 は回転同変ではない！ ※

57. 回転同変具体例 • 回転同変 – 線形結合 • 回転同変でない例 – ベクトルのxyz成分をそのまま独立に特徴量とする場合 57 𝑓 R𝒓 = R𝑓(𝒓) 𝑓 𝒓 = W𝒓 𝑓 R𝒓𝟏, R𝒓𝟐, ⋯ , R𝒓𝒏 = ∑𝑤!R𝒓! = R ∑𝑤!𝒓! = R𝑓 𝒓𝟏, 𝒓𝟐, ⋯ , 𝒓𝒏 𝑓 R𝒓 = WR𝒓 ≠ RW𝐫 = Rf(𝒓) 𝑓 𝒓𝟏, 𝒓𝟐, ⋯ , 𝒓𝒏 = ∑𝑤!𝒓!

58. １．回転不変な特徴量 • 距離 r • 角度 θ • Behler-Parrinello 記述子、、、 58 𝑓 𝒓 = 𝒓 𝟐 = 𝒓 ⋅ 𝒓 𝑓 𝒓!*, 𝒓*+ = 𝜃!*+ 𝒓 Rotation invariant feats Neural Network 𝑠 𝐺 Vector information is suppressed 2 1 3 𝑟(* 𝑟'( 𝜃'(*

59. ２．回転同変な特徴量 • 回転不変な特徴量を作る – 内積 • 回転同変 – 線形結合 w_i : learnable parameters – テンソル積 59 𝑓 𝒓𝟏, 𝒓𝟐 = 𝒓𝟏 ⋅ 𝒓𝟐 𝑓 𝒓𝟏, 𝒓𝟐, ⋯ , 𝒓𝒏 = ∑𝑤!𝒓! 𝑓 𝒓𝟏, 𝒓𝟐 = 𝒓𝟏 ⊗ 𝒓𝟐 𝑓 𝒓𝟏 ⊗ 𝒓𝟐, 𝒓𝟑 = 𝒓𝟏 ⊗ 𝒓𝟐 ⋅ (𝒓𝟑 ⊗ 𝑰) Scalar Vector Tensor Tensor product Dot product Dot product Rotation covariant Neural Network 𝒓 𝑠 ※相対ベクトル 𝒓+, = 𝒓+- 𝒓, を用いると、並進対象性も満たされる 𝒓 𝑠

60. TeaNet • TeaNetは内部で、スカラー・ベクトル・テンソルそれぞれの特徴量を更新しながら計算を進めていくGNN • PFPではTeaNetの畳み込みの考え方をベースに開発 60 https://arxiv.org/pdf/1912.01398.pdf

61. TeaNet • テンソルを用いる物理的意味：テンソルは古典ポテンシャルであるTersoff potential と関連がある特徴量 61 https://arxiv.org/pdf/1912.01398.pdf ・・・ Tersoff potential

62. PFPについて • TeaNet をベースにして、２年間の研究開発のなかでいろいろと拡張をしたものです • GNNの辺を張る際のCutoff は6A • 全体で20A 以上の受容野は確保 – 現状、GNN部分はO(N)になるように設計されている • エネルギー局面がなめらか（無限回微分可能）になるように設計 62

63. PFP architectureについて • PFPの性能を検証 • 実験結果：OC20 データセットで比較 – ※使用データセットが同じではなく厳密な比較ではない 63 https://arxiv.org/pdf/2106.14583.pdf

64. PFP Datasetについて • 汎用性を実現するため、多様な構造のデータセットを収集した – Molecule – Bulk – Slab – Cluster – Adsorption (Slab+Molecule) – Disordered 64 https://arxiv.org/pdf/2106.14583.pdf

65. TeaNet: Disordered structure • 周期境界条件下での乱れた構造のデータセット • Classical MDや学習中のNNPを利用したMDで作成 65 https://arxiv.org/pdf/2106.14583.pdf TeaNet 論文で取られた構造の例：

66. PFP Datasetについて • PFNの計算資源を積極的に活用 66 MN-Clusterを活用しデータ収集製品版(PFP v1.0)は100,000GPU days分の計算資源使用

67. PFP Datasetについて • 製品版(PFP v1.0)では55元素をサポート 67

68. PFP Datasetについて • 汎用性を実現するため、多様な構造のデータセットを収集した 68 https://arxiv.org/pdf/2106.14583.pdf

69. PFP Datasetについて • MOLECULE, CRYSTAL Datasetの計算条件表 • PFPは以下３つのデータセットを同時に学習させた。 69 データセット名 PFP MOLECULE PFP CRYSTAL OC20 ソフトウェア Gaussian VASP VASP 汎関数/基底 ωB97xd/6-31G(d) GGA-PBE GGA-RPBE その他Option Unrestricted DFT PAW型擬ポテンシャルカットオフエネルギー520 eV Uパラメータありスピン分極あり PAW型擬ポテンシャルカットオフエネルギー350 eV Uパラメータなしスピン分極なし

70. 適用事例1: Liイオン電池 • LiFeSO4Fの各方向におけるLi拡散活性化エネルギー計算 – 様々な元素が混じる系 – おおむねDFTを再現 70 [111], [101], [100] 方向への拡散経路

71. 適用事例2: MOF • Metal Organic Framework MOF-74で、水分子の結合エネルギーを計算 – 有機分子に金属元素が混じるような系 – DFTD3 補正を使用することで精度が向上(後述) 71

72. 適用事例3: 再エネ合成燃料触媒 • FT触媒でC-O解離反応を促進する＝反応障壁(Ea)を下げる元素を探索 • Coに対し、Vを添加すると解離反応が進みやすいことがVirtual screeningできた 72 Co+V触媒上でのC-O解離反応 H2,COからの燃料（C5+）の合成反応 Co触媒の一部元素置換による活性化エネルギー変化（Coのみの基準を1.0）

73. 適用事例4: Nano Particle • “Calculations of Real-System Nanoparticles Using Universal Neural Network Potential PFP” https://arxiv.org/abs/2107.00963 • 様々な金属元素が入り混じる、多元系合金ナノ粒子でも計算が可能 • DFTでは系を大きくすることが難しく、古典Potentialでは多元系への対応が難しい 73

74. Advanced Topics ：DFTより再現性を上げる試み • ３つのアプローチを紹介 74 アプローチ方法表現能力＝過学習の危険性内容 Transfer Learning 高いより高精度な計算でデータ収集して既存NNPからFine tuningをする Delta Learning 中間差分だけを自由度の低いモデルでFittingする（Polynomial fittingなど）物理式補正低い差分を物理式で補正 Dispersion補正など

75. １Transfer learning • より高精度な計算でデータ収集して既存NNPからFine tuningをするアプローチ • NNを学習するので、表現力は高い。 • 逆に表現力が高すぎて過学習してしまう懸念もあり。 • ANI1-ccx – Golden Standardと呼ばれる CCSD(T)でデータセットを収集 75 “Outsmarting Quantum Chemistry Through Transfer Learning” https://chemrxiv.org/articles/Outsmarting_Quantum_Chemistry_Through_Transfer_Learning/6744440

76. ANI-1ccx 結果 • 精度比較：CCSD(T)/CBSとの差 – 赤：Post-SCF – 緑：DFT – 青：MM – 黄：Neural Network “Outsmarting Quantum Chemistry Through Transfer Learning” https://chemrxiv.org/articles/Outsmarting_Quantum_Chemistry_Through_Transfer_Learning/6744440 ANI-1x ：元となる、DFTデータを教師として学習したNNP ANI-1ccx ：元のANI-1x よりもCCSD(T)/CBSに対する精度が向上した ANI-1ccx-R：ANI-1xをpretrained model として使わなかった場合、精度はANI-1ccxよりも劣る 76

77. ２Delta learning • Low levelな予測器があるときに High levelなデータとの差分のみを自由度の低いモデルで学習する • 例：DFTやMP2のデータセットでLLの予測器をNNPで作成、差分はデルタラーニングで。 77 “Breaking the CCSD(T) Barrier for Machine Learned Potentials of Large Molecules: Demonstration for Acetylacetone” https://arxiv.org/abs/2103.12333 𝑉!!→## = 𝑉!! + Δ𝑉##$!! DFT レベル：NNPで作成 CCSD(T)レベルとの差分：Polynomial Fittingなど、自由度の低いモデルで作成

78. ３物理式補正 • DFT計算で足りない物理効果を物理式で表現 • 例：分散力補正（DFT Dispersion） – 著名なのはDFTD3 (最近はDFTD4も提案されている) DFTD3の場合、差分モデルは先行研究を使い回すことができ追加学習不要 – “A consistent and accurate ab initio parametrization of density functional dispersion correction (DFT-D) for the 94 elements H-Pu” 78 𝐸%&'$%( = 𝐸%&' + 𝐸)*+, DFT レベル：NNPで作成分散力補正は物理式で 𝐸)*+, = − 1 2 ) -./ ) 012,4 𝑠0 𝐶0 -/ 𝑟 -/ 0 ※直感的には配位数に基づいて係数Cを変えて 2体相互作用を計算

79. ３物理式補正 79 • [宣伝] DFTD3 のpytorch 実装を torch-dftdとして公開 • Blog: “DFT Dispersion pytorch 実装のOSSを公開します” • Github: https://github.com/pfnet-research/torch-dftd – GPUを使用した高速化 – PyTorchを用いており、 NNP研究との相性が良い

80. まとめ • NNPを用いることで量子計算の代わりにエネルギーなどの各種物理量を高速計算 • よいモデルの学習には、質の高いデータの取得が必須 – 使用する量子計算手法の質・精度 – データの多様性 • PFPは、様々なデータ入力に対応する “汎用” NNP • 応用例 – エネルギー予測、力の予測 – 構造緩和 – 反応エネルギーの予測、反応経路 – Molecular Dynamics – IRスペクトル算出 80 https://matlantis.com/ja/product/

81. Links • PFP関連論文 – “PFP: Universal Neural Network Potential for Material Discovery”: https://arxiv.org/abs/2106.14583 – “Calculations of Real-System Nanoparticles Using Universal Neural Network Potential PFP” https://arxiv.org/abs/2107.00963 • Matlantis関連 – 公式サイト： https://matlantis.com/ – Twitter： https://twitter.com/matlantis_pfcc – YouTube： https://www.youtube.com/c/Matlantis • その他の発表資料 – IIBMP2019 講演資料「オープンソースで始める深層学習」 – Deep learningの発展と化学反応への応用 - 日本化学会第101春季大会(2021) 81

82. Appendix 82

83. NNP Tutorial review：Neural Network入門１ “Constructing high-dimensional neural network potentials: A tutorial review” https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890 層ごとに線形変換 → 非線形変換を重ねていくことで、多様な関数系を表現する。 𝑬 = 𝑓(𝑮", 𝑮$, 𝑮#) 83

84. NNP Tutorial review：Neural Network入門２ “Constructing high-dimensional neural network potentials: A tutorial review” https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890 データの数が増えれば増えるほど正確な関数系を学べるデータ数が少ないと予測にブレがあり、信頼できない。データの数が多いと予測のブレ (variance)が減る 84

85. NNP Tutorial review：Neural Network入門３ “Constructing high-dimensional neural network potentials: A tutorial review” https://onlinelibrary.wiley.com/doi/full/10.1002/qua.24890 訓練データだけにあてはまったモデルになっていないか、適切な評価が重要。 Underfit：NNの表現力が弱く、真の関数系を表現できない Overfit：NNの表現力が強すぎ、訓練データには合っているが、それ以外の点で合っていない 85

86. GNNの構成 (一般) • CNN同様、Graph Convolutionを積み重ねてDeep なNeural Networkを構成 86 Graph Conv Graph Conv Graph Conv Graph Conv Graph Readout Linear Linear Graphのまま特徴量をアップデート Graph→ベクトルベクトル情報をアップデート分子をグラフとして入力予測値を出力

87. 計算されたノード特徴量を集めて、グラフ全体の特徴量とする Han Altae-Tran, Bharath Ramsundar, Aneesh S. Pappu, & Vijay Pande (2017). Low Data Drug Discovery with One-Shot Learning. ACS Cent. Sci., 3 (4) Graph Readout: グラフ全体(分子) の特徴量の算出

88. 88

PFP：材料探索のための汎用Neural Network Potential - 2021/10/4 QCMSR + DLAP共催

You are reading a preview.

Check these out next

PFP：材料探索のための汎用Neural Network Potential - 2021/10/4 QCMSR + DLAP共催

More Related Content

Slideshows for you (20)

Similar to PFP：材料探索のための汎用Neural Network Potential - 2021/10/4 QCMSR + DLAP共催 (20)

More from Preferred Networks (20)

Recently uploaded (20)