020/02/14 Deep Learning JP: http://deeplearning.jp/seminar-2/2

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Inverse Design of Solid-State Materials via a Continuous
Representation”
Kensuke Wakasugi, Panasonic Corporation.

2. タイトル：
Inverse Design of Solid-State Materials via a Continuous Representation [1]
（Cellに属するMatterというジャーナル、昨年できたらしい）
著者：
Juhwan Noh 1, Jaehoon Kim 2, Helge S. Stein 3, Benjamin Sanchez-Lengeling 4,
John M. Gregoire 3, Alan Aspuru-Guzik 567, Yousung Jung 128,
選書理由：
計算科学の分野における構造生成に興味があったため．
※特に断りがない限り，図・表・式は上記論文より引用したものです．
書誌情報
Wakasugi, Panasonic Corp.
2
1 Department of Chemical and Biomolecular Engineering,KoreaAdvancedInstituteofScience and Technology (KAIST), 291 Daehakro, Daejeon 34141, Korea
2 Graduate School of EEWS, Korea Advanced Institute of Science and Technology (KAIST), 291 Daehakro, Daejeon 34141, Korea
3 Joint Center for Artificial Photosynthesis, California Institute of Technology, Pasadena, CA 91125, USA
4 DepartmentofChemistry and ChemicalBiology, Harvard University, 12 Oxford Street, Cambridge, MA 02138, USA
5 Department of Chemistry and Department of Computer Science, University of Toronto, Toronto, ON M5S 3H6, Canada
6 Vector Institute for Artificial Intelligence, Toronto, ON M5S 1M1, Canada
7 Canadian Institute for Advanced Research (CIFAR) Senior Fellow, Toronto, ON M5S 1M1, Canada
[1] Noh, J., Kim, J., Stein, H. S., Sanchez-Lengeling, B., Gregoire, J. M., Aspuru-Guzik, A., & Jung, Y. (2019). Inverse Design of Solid-
State Materials via a Continuous Representation. Matter, 1(5), 1370-1384.

3. 背景
Wakasugi, Panasonic Corp.
3
無機材料の未知の構造を発見したい
 新たな材料を研究開発するにあたり、
これまでになかった構造を持つ材料を考えたい
 従来は、材料研究者の経験や勘から、一つ一つ設計
 生成モデルを使い、新規の構造を持つ材料を探す

4. 関連研究
• データ科学系
– 構造からエネルギーを予測する予測器を学習 → 既知構造に元素置換 → 安定な元素割当てを抽出
といった研究はある．デメリットはDBにない構造を対象にできないこと
※ Crystal Structure Prediction via Deep Learning(2018)
– 構造そのものを生成するモデルも提案されつつあるが、多くはない．
※Generative adversarial networks (GAN) based efficient sampling of chemical space for inverse design of inorganic materials(2019)
– 有機系であれば，1次元で表現される+データが比較的多い、という理由から、生成モデルの適用が進んでいる様子
• 計算科学系
– CALYPSOやUSPEXと呼ばれるアプリケーションが知られている．
遺伝的アルゴリズムとDFT（密度汎関数法）が組み合わせて用いられる．
→大規模系だと計算コストが高い
• 材料科学系
– 研究者が手で設計
– 設計用のソフトウェアが論文にもなっている
※3DStructGen: an interactive web-based 3D structure generation for non-periodic molecule and crystal(2020)
Wakasugi, Panasonic Corp.
4
材料開発において構造生成は重要だが、関連研究は乏しい印象
深層学習の生成モデルを構築する上での課題は、可逆性

5. 研究概要
Wakasugi, Panasonic Corp.
5
離散表現される構造を可逆変換で連続空間に写像し、新規構造を生成可能に
 材料系特有のネットワーク構造はあるものの、
基本的にはVAEを使った構造生成
連続空間のサンプリングから、
グラフ表現される構造を生成する方法がポイント

6. 事前知識
Wakasugi, Panasonic Corp.
6
結晶構造は、三次元空間の周期の単位ベクトルの単位構造中の原子配置で指定
単位構造
 構造を一意に表現するには、単位ベクトル３つと原子座標
を指定する必要がある
 単位ベクトルは単位構造の各辺に対応

7. 提案手法
Wakasugi, Panasonic Corp.
7
単位ベクトルと原子配置に分けて考え、各々を画像で表現
 二枚の画像を指定すれば、一つの構造に対応
 可逆変換が可能

8. 提案手法
Wakasugi, Panasonic Corp.
8
立方体を基準に、単位構造のひずみを3次元の分散としてとらえる
 単位構造をvoxelに分割した際、
特定のi,j,kの座標が余弦定理から
算出できる
→可逆変換

9. 提案手法
Wakasugi, Panasonic Corp.
9
構造を再構成するAEと、AEの潜在変数を元にしたVAEの２Stepで構成
 安定構造をサンプルしたいので、
Conditional を追加している

10. 提案手法
Wakasugi, Panasonic Corp.
10
予測時は 潜在空間でサンプル → VAE Decoder → AE Decoder

11. 性能評価
Wakasugi, Panasonic Corp.
11
AEの再構成の性能は十分
 Voxelサイズの制限を考慮すれば、
十分に再構成できている
→imageへの変換と圧縮がうまくできている

12. 性能評価
Wakasugi, Panasonic Corp.
12
Stableからのサンプルができている．既知構造31件中26件を再発見
 Stableからのサンプルができている
 既知構造31件を除いてモデルを構築
→既知構造31件中25件が生成モデルから
サンプルできた

13. 新規構造生成
Wakasugi, Panasonic Corp.
13
既知構造31件を加えて学習し、新規構造を探索
 既知構造の補間サンプルとランダムサンプ
ルを採用

14. 性能評価
Wakasugi, Panasonic Corp.
14
学習データに含まれない、かつ、安定な構造を多数生成
 安定性はDFT計算を実施して検証

15. 新規構造生成
Wakasugi, Panasonic Corp.
15
多様な構造を生成可能
 長い周期性で欠損を含む構造も生成されたと
のこと

16. ネットワーク構造
Wakasugi, Panasonic Corp.
16
特殊な構造ではないが、AE（Cell,Basis）,VAEごとに異なるサイズを使用
 少なからず、最適なサイズの調整が行われたと
予想される
※AEはL2-Loss

17. 潜在空間での構造の多様性
Wakasugi, Panasonic Corp.
17
潜在空間での構造の分布を可視化
 安定性による分布の傾向に合わせて，
場所ごとに多様性が異なる

18. まとめ
Wakasugi, Panasonic Corp.
18
無機結晶の構造を連続空間で表現し，VAEによる新規構造生成を可能にした
 無機結晶の構造を単位ベクトルと原子配置で表現し、
さらに画像で表現
 AEとVAEを組合せ、安定構造のサンプリングを実現

19. 関連研究
Wakasugi, Panasonic Corp.
19
Crystal Structure Prediction via Deep Learning(2018) [2]
[2]より引用
[2] Ryan, K., Lengyel, J., & Shatruk, M. (2018). Crystal structure prediction via deep learning. Journal of the American Chemical
Society, 140(32), 10158-10168.
[1]より引用
 単位構造中の原子周りの他の原子の配置（距離）について
窓関数をかけたうえで，回転方向で積算
 三次元情報の欠落を防ぐため，摂動を加え（Multiple）12個のPerspectiveを生成
 12個のPerspectiveを画像としてVAEに入力

20. 関連研究
Wakasugi, Panasonic Corp.
20
Crystal Structure Prediction via Deep Learning(2018) [2]
[2] Ryan, K., Lengyel, J., & Shatruk, M. (2018). Crystal structure prediction via deep learning. Journal of the American Chemical
Society, 140(32), 10158-10168.
 単位構造の原子一つに対し，再構成を試みる
→全原子についての確率の積が構造のもっと
もらしさ
 既存の構造に対し，新たな元素配置を検討し
新規構造発見に用いる
[2]より引用

21. 関連研究
Wakasugi, Panasonic Corp.
21
Deep-learning approach to the structure of amorphous silicon(2019) [3]
[3] Comin, M., & Lewis, L. J. (2019). Deep-learning approach to the structure of amorphous silicon. Physical Review B, 100(9), 094107.
 大きめの単位構造を考え（原子216個）、
原子座標に対する生成モデルを構築
 エネルギー的に安定なランダムな配置を学習．
 低コストでSiのシミュレーションを実現できる
[3]より引用

22. 関連研究
Wakasugi, Panasonic Corp.
22
Deep-learning approach to the structure of amorphous silicon(2019) [3]
[3] Comin, M., & Lewis, L. J. (2019). Deep-learning approach to the structure of amorphous silicon. Physical Review B, 100(9), 094107.
 学習曲線と、生成例
 エネルギー的に安定な原子配置を生成する
[3]より引用

23. 生成対象の比較
[1] Noh, J., Kim, J., Stein, H. S., Sanchez-Lengeling, B., Gregoire, J. M., Aspuru-Guzik, A., & Jung, Y. (2019).
Inverse Design of Solid-State Materials via a Continuous Representation. Matter, 1(5), 1370-1384.
→構造を連続空間で定義し，構造を生成
[2] Ryan, K., Lengyel, J., & Shatruk, M. (2018). Crystal structure prediction via deep learning. Journal of the
American Chemical Society, 140(32), 10158-10168.
→原子座標の生成は行わず，既存の構造をDBとして新規の原子配置を生成
[3] Comin, M., & Lewis, L. J. (2019). Deep-learning approach to the structure of amorphous silicon.
Physical Review B, 100(9), 094107.
→対象の系を限定したうえで，DFTまたはMD計算を機械学習で代替し，原子座標を生成
Wakasugi, Panasonic Corp.
23

24. 雑感
[1]について
 単位ベクトルの変換方法がきれいで面白い
 他の問題への適用可能性は高いと思われるものの，材料依存の癖があるため、
他の材料系にも適用しつつ汎用的手法として確立されていくか
全体として
 この分野のレビュー論文([4],[5])でも言及されるが，ベンチマークが不在のため比較が困難．
 特に構造の特徴量化がポイントになると思うが，
対象の系が異なると特徴抽出すべき点が異なる（はず）なので，他の系に有効化はわからない
Wakasugi, Panasonic Corp.
24

25. 文献情報
[1] Noh, J., Kim, J., Stein, H. S., Sanchez-Lengeling, B., Gregoire, J. M., Aspuru-Guzik, A., & Jung, Y. (2019).
Inverse Design of Solid-State Materials via a Continuous Representation. Matter, 1(5), 1370-1384.
[2] Ryan, K., Lengyel, J., & Shatruk, M. (2018). Crystal structure prediction via deep learning. Journal of the
American Chemical Society, 140(32), 10158-10168.
[3] Comin, M., & Lewis, L. J. (2019). Deep-learning approach to the structure of amorphous silicon.
Physical Review B, 100(9), 094107.
[4] Agrawal, A., & Choudhary, A. (2019). Deep materials informatics: Applications of deep learning in
materials science. MRS Communications, 9(3), 779-792.
[5] Schmidt, J., Marques, M. R., Botti, S., & Marques, M. A. (2019). Recent advances and applications of
machine learning in solid-state materials science. npj Computational Materials, 5(1), 1-36
Wakasugi, Panasonic Corp.
25