Download as PDF, PPTX
![Preferred Networks, Inc.
中郷孝祐
2021年3月21日
日本化学会第101春季大会(2021)
[S04-3pm-01] T1C. インフォマティクスで変わる化学合成
Deep learningの発展と
化学反応への応用](https://image.slidesharecdn.com/20210321synthesiscsjv7-210319030548/75/Deep-learning-101-2021-1-2048.jpg)
C(=O)O
- C[C@H](N)C(=O)O
- C[C@@H](C(=O)O)N
- OC(=O)[C@H](C)N](https://image.slidesharecdn.com/20210321synthesiscsjv7-210319030548/75/Deep-learning-101-2021-39-2048.jpg)
Uploaded byPreferred Networks
Deep learningの発展と化学反応への応用 - 日本化学会第101春季大会(2021)
日本化学会第101春季大会(2021) [S04-3pm-01] T1C. インフォマティクスで変わる化学合成でのPFNエンジニア中郷孝祐の講演資料です。 Deep learning分野でのさまざまなNeural Netoworkの発展と、これらのNeural Networkがどのように化学反応の分野へ応用されているかを紹介しています。
More Related Content
![SSII2022 [OS3-02] Federated Learningの基礎と応用](https://cdn.slidesharecdn.com/ss_thumbnails/ssii2022-os3-02-220607020834-2b5f93ff-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision](https://cdn.slidesharecdn.com/ss_thumbnails/dlkobayashi0115-210115012308-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]ドメイン転移と不変表現に関するサーベイ](https://cdn.slidesharecdn.com/ss_thumbnails/20190614iwasawa-190614005939-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Focal Loss for Dense Object Detection](https://cdn.slidesharecdn.com/ss_thumbnails/focalloss-180208092846-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Deep learningの発展と化学反応への応用 - 日本化学会第101春季大会(2021)
![[DL輪読会]Graph Convolutional Policy Network for Goal-Directed Molecular Graph G...](https://cdn.slidesharecdn.com/ss_thumbnails/graphconvolutionalpolicynetworkforgoal-directedmoleculargraphgeneration-181102004011-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Learning to Simulate Complex Physics with Graph Networks](https://cdn.slidesharecdn.com/ss_thumbnails/learningtosimulatecomplexphysicswithgraphnetworks-200508054213-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Relational inductive biases, deep learning, and graph networks](https://cdn.slidesharecdn.com/ss_thumbnails/180629dlseminarrelationalinductivebias-180706003755-thumbnail.jpg?width=640&height=640&fit=bounds)
Deep learningの発展と化学反応への応用 - 日本化学会第101春季大会(2021)
- 1. Preferred Networks, Inc. 中郷孝祐 2021年3月21日 日本化学会第101春季大会(2021) [S04-3pm-01]T1C. インフォマティクスで変わる化学合成 Deep learningの発展と 化学反応への応用
- 2. 自己紹介 • 名前：中郷孝祐 (@corochann) •早稲田大学 応用物理学科 卒業 • 東京大学院 理学系研究科物理学科 村尾研究室 – 量子コンピュータの理論研究 • Sony EMCS Malaysia – テレビのソフトウェア開発 • Preferred Networks, Inc (PFN) – Deep Learning の様々な応用に関わる – Chainer Chemistryの開発 • 趣味でKaggle（データサイエンスのコンペ）参加 – Kaggle Competitions Master – Kaggle Notebooks Grandmaster 2 物理 コンピュータ ソフトウェア 化学、、？
- 3. 目次 • 機械学習とは • Deeplearningの発展 – テーブルデータ：MLP – 画像 ：CNN – 自然言語 ：RNN → Transformer – グラフ ：GNN • 化学反応への応用 – 順合成・逆合成予測 – その他の例 － 収率予測・Atom-to-Atom Mappingの学習など – サービス事例 3
- 4.
- 5. 機械学習とは • 教師あり学習：関数 y= f(x) を学習する。入力 → f → 出力 – これまでの経験をもとに予測を行うことで、実作業（実験）を効率化できる 5 物質 x 物性値 y 化合物A 1.8 化合物B 8.8 化合物C 3.2 ・・・ 候補化合物D ？ 候補化合物E ？ 候補化合物F ？ 繰 り 返 し 実 験 物質 x 予測値f(x) 候補化合物D 4.4 候補化合物E 6.3 候補化合物F 10.5 物質 x 物性値 y 化合物A 1.8 化合物B 8.8 化合物C 3.2 推論 学習 実験 物質 x 実験値 y 候補化合物F 10.7
- 6. 機械学習 例：回帰問題 • 例：線形回帰𝑓 𝑥 = 𝑊 ∗ 𝑥, 𝑥が入力、𝑊が学習するパラメータ 6 𝑥: 入力(分子量など) 𝑓 𝑥 予測線 (W=0.1) A C B 物質 分子量 x 物性値 y 化合物A 17 1.8 化合物B 90 8.8 化合物C 35 3.2 物質 物性値 y 予測線 (W=0.2) 予測線 (W=0.03)
- 7. 機械学習 例：回帰問題 • 例：線形回帰𝑓 𝑥 = 𝑊 ∗ 𝑥, 𝑥が入力、𝑊が学習するパラメータ – 関数系を仮決めして、パラメータを合わせることで現象を表現する 7 物質 分子量 x 予測値f(x) 候補化合物D 44 4.4 候補化合物E 63 6.3 候補化合物F 105 10.5 物質 分子量 x 物性値 y 化合物A 17 1.8 化合物B 90 8.8 化合物C 35 3.2 物質 分子量 x 実験値 y 候補化合物F 105 10.7 𝑥: 入力(分子量など) 𝑓 𝑥 予測線 (W=0.1) A C B F E F D 物質 物性値 y
- 8. 機械学習 例：分類問題 • あらかじめ決められたクラスのうち、どれに属するかを当てる問題 •ヒト・犬・猫の画像分類の例 8 f (x) 0.9 0.1 0.0 ヒト 犬 猫 Images from pexels.com 出力：ラベルの確率値 入力 ヒト
- 9.
- 10. データ種別 NNの名前 典型的な応用例Open Source 固定長ベクトル テーブルデータ MLP：Multi Layer Perceptron 一般データ ― 画像・動画・音声 CNN: Convolutional Neural Network 画像分類 物体検出 https://github.com/rwightman/pytorch-image-models https://github.com/facebookresearch/detectron2 自然言語 RNN: Recurrent Neural Network Transformer 翻訳 https://github.com/huggingface/transformers グラフ （SNSグラフ, 有機分子など) GNN: Graph Neural Network 分子の物性値予測 Social Network etc https://github.com/rusty1s/pytorch_geometric https://github.com/dmlc/dgl https://github.com/deepchem/deepchem https://github.com/chainer/chainer-chemistry Deep Learning の発展 • それぞれの入出力に特化したNeural Network が開発されてきた 10
- 11. Multi Layer Perceptron：MLP •一番基礎となるNeural Network – 層の数が多い（３層以上）ものをDeep Neural Networkとよぶ • ベクトルを入力して、ベクトルを出力 – 固定長の場合にうまくいく – 深くするほど線形回帰よりもパラメータの数が多くなり、複雑な関数系を表現できる 11 0.9 0.1 0.0 0.3 0.1 1.2 0.9 出力 入力 𝑾! 𝑾" 𝑾# 入力 ベクトル 出力 ベクトル 𝑓(𝒙) = 𝑾#𝜎 𝑾" 𝜎 𝑾! ⋅ 𝒙 + 𝒃𝟏 + 𝒃𝟐 + 𝒃𝟑 𝜎：非線形関数
- 12. Convolutional Neural Network：CNN •データの “周辺” 情報(位置)を加味した関数が表現できる – 画像・動画・音声に特化した関数 f(x) が作れる • Convolution = 畳み込み演算を重ねていくことで計算を進める 12 LeNet “Gradient-based learning applied to document recognition”: https://ieeexplore.ieee.org/document/726791 “A” f(x) Convolution animations: https://github.com/vdumoulin/conv_arithmetic “A, B,C,D,E, F, G, H, I, J”
- 13. CNNの歴史 • 2012年、画像認識コンペILSVRCでAlexNetの登場 – 100万枚の画像、1000種類の分類 –GPU (Graphic Processor Unit) をうまく活用した • 以降、年々ネットワークが深く、巨大になっていった 13 http://image-net.org/challenges/talks_2017/ILSVRC2017_overview.pdf Deep learningの登場から 年々認識精度が急激に向上した AlexNet登場の衝撃 AlexNet “ImageNet Classification with Deep Convolutional Neural Networks”: http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf 誤認識率
- 14. CNNの歴史 • 2012年、画像認識コンペILSVRCでAlexNetの登場 • 以降、年々ネットワークが深く、巨大になっていった 14 GoogleNet“Going deeper with convolutions”: https://arxiv.org/pdf/1409.4842.pdf ResNet “Deep Residual Learning for Image Recognition”: https://arxiv.org/pdf/1512.03385.pdf 年 CNN 深さ Parameter数 2012 AlexNet 8層 62.0M 2014 GoogleNet 22層 6.4M 2015 ResNet 110層 (Max1202層!) 60.3M https://towardsdatascience.com/the-w3h-of-alexnet-vggnet-resnet-and-inception-7baaaecccc96
- 15. CNNの応用 • CNNのDeep learningは大規模データセットを大規模モデルで学習させるトレンドへ –例：Open Images Datasetは 900万枚の画像、6000万のラベルを提供 • 現在は画像分類だけではなく、検出 (Detection)、Segmentation といった応用が進んでいる 15 https://github.com/facebookresearch/detectron2 “The Open Images Dataset V4”: https://arxiv.org/pdf/1811.00982.pdf
- 16. 自然言語処理 (NLP) 分野でのDeeplearningの発展 • RNN (Recurrent Neural Network): データの “並び” の情報を学習するNetwork • 内部に“状態変数”を持ち再帰的に計算 – ①分類：文章→ラベル – ②翻訳：文章→文章 などに対応 16 http://karpathy.github.io/2015/05/21/rnn-effectiveness/ ①文章→ラベル ②文章→文章 出力 状態変数 入力 https://deepage.net/deep_learning/2017/05/23/recurrent-neural-networks.html Recurrent module
- 17. 自然言語処理 (NLP) 分野でのDeeplearningの発展 • RNN: Recurrent Neural Network：内部に“状態変数”を持ち再帰的に計算 – 入力は順番に入れていく必要あり → 計算の並列化ができない 17 seq2seq “A Neural Conversational Model” https://arxiv.org/pdf/1506.05869.pdf
- 18. 自然言語処理 (NLP) 分野でのDeeplearningの発展 • Transformer – “Attention Is All You Need” という論文で提案された – Attention (注意機構) を入れることにより入力文章の計算を並列化 – 文章に対しても高速にDeep Neural Networkの学習ができるようになった 18 https://qiita.com/omiita/items/07e69aef6c156d23c538 “Attention Is All You Need” https://arxiv.org/abs/1706.03762
- 19. 自然言語処理 (NLP) 分野でのDeeplearningの発展 • Attention (注意機構) – それぞれの単語に対し、 “関連度合い” を表現 – “its” に対して、それを指す “Law” へのAttention が大きくなっている。 19 “Attention Is All You Need” https://arxiv.org/abs/1706.03762
- 20. 自然言語処理 (NLP) 分野でのDeeplearningの発展 • Transformerをベースに BERT, Open GPT 3 といったNetworkが開発されていった – 超大規模データに対して事前学習 → 他のタスクに対して適用する – 画像分野のCNN同様、データ数をとにかく大きくして学習する流れへ 20 https://recruit.gmo.jp/engineer/jisedai/blog/nlp_bert_news_impact_prediction/ “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” https://arxiv.org/pdf/1810.04805.pdf
- 21. GNNの発展 • Graph NeuralNetwork：グラフを入力でき、データの “つながり” の情報を学習 • グラフとは：頂点 x と辺 e で構成 – Social Network（SNSの結びつきグラフ）、Citation Network（論文の引用を示すグラフ） – 商品Network（同時購入された商品を結ぶグラフ） – Protein-Protein Association Network – 有機分子 etc… 21 𝒙𝟎 𝒙𝟏 𝒙𝟐 𝒙𝟒 𝒙𝟑 𝑒)! 𝑒!" 𝑒"* 𝑒#* 𝑒"# 様々な分野でグラフが現れる 応用例が広い！
- 22. GNNの発展 • 画像の畳み込みに似た “グラフ畳み込み”à Graph Convolution を考えることで実現 • Graph Convolution Network, Message Passing Neural Network とも 22 画像分類 class label 物性値 Chemical property CNN: Image Convolution GNN: Graph Convolution
- 23. GNNの発展 • CNN同様、Graph Convolutionを積み重ねてDeepなNeural Networkを構成 23 Graph Conv Graph Conv Graph Conv Graph Conv Graph Readout Linear Linear Graphのまま特徴量を アップデート Graph→ベクトル ベクトル情報を アップデート 分子をグラフ として入力 予測値を出力
- 24. GNNの発展 • 分子データにも応用可能 →様々な種類のGNNが提案され分子データに対するDeep Learning研究が加速 – NFP, GGNN, MPNN, GWM etc… • 近年は座標データや結晶分子データにも応用されてきている – SchNet, CGCNN, MEGNet, Cormorant, DimeNet, PhysNet, TeaNet etc… 24 NFP: “Convolutional Networks on Graph for Learning Molecular Fingerprints” https://arxiv.org/abs/1509.09292 GWM: “Graph Warp Module: an Auxiliary Module for Boosting the Power of Graph Neural Networks in Molecular Graph Analysis” https://arxiv.org/pdf/1902.01020.pdf CGCNN: “Crystal Graph Convolutional Neural Networks for an Accurate and Interpretable Prediction of Material Properties” https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.120.145301
- 25. Chainer Chemistry: Chainerによる生物学・化学向けライブラリ 25 https://github.com/pfnet-research/chainer-chemistry ※現在は新規機能追加の開発は中止 • Deep learning (特にGraph Convolution) を用いた、分子の物性値予測ライブラリ – 分子をグラフに変換し入力、エネルギーなどの物性値を出力値として予測
- 26. GNNの発展 • GNNに対する学習 – GNNは層数を深くすると、うまく学習できないことも指摘されている –“GRAPH NEURAL NETWORKS EXPONENTIALLY LOSE EXPRESSIVE POWER FOR NODE CLASSIFICATION” https://arxiv.org/pdf/1905.10947.pdf • 大規模データが少ない：例 化学分野 – 実験データ：1実験毎に時間がかかる – シミュレーションデータ：重い計算を回す必要がある – 画像や自然言語のように超大規模なデータベースを作り上げるのは難しい – データ自体が貴重、企業秘密のものが多い – タスクごとに性質が異なる（ミクロなEnergyから、マクロな毒性: 人への作用まで） 画像・自然言語処理分野と比べると、 大規模データを深いGNNで学習する物量勝負には達していない。 26
- 27. データ種別 NNの名前 典型的な応用例Open Source 固定長ベクトル テーブルデータ MLP：Multi Layer Perceptron 一般データ ― 画像・動画・音声 CNN: Convolutional Neural Network 画像分類 物体検出 https://github.com/rwightman/pytorch-image-models https://github.com/facebookresearch/detectron2 自然言語 RNN: Recurrent Neural Network Transformer 翻訳 https://github.com/huggingface/transformers グラフ （SNSグラフ, 有機分子など) GNN: Graph Neural Network 分子の物性値予測 Social Network etc https://github.com/rusty1s/pytorch_geometric https://github.com/dmlc/dgl https://github.com/deepchem/deepchem https://github.com/chainer/chainer-chemistry Deep Learning の発展 まとめ • それぞれの入出力に特化したNeural Network が開発されてきた • Neural Networkの実装は先行研究をまとめたライブラリが各分野で存在 – 応用したい研究者がNeural Networkを自前で実装する必要は少なくなってきた – アプリケーションの研究に専念できる 27
- 28.
- 29. データ種別 NNの名前 典型的な応用例Open Source 固定長ベクトル テーブルデータ MLP：Multi Layer Perceptron 一般データ ― 画像・動画・音声 CNN: Convolutional Neural Network 画像分類 物体検出 https://github.com/rwightman/pytorch-image-models https://github.com/facebookresearch/detectron2 自然言語 RNN: Recurrent Neural Network Transformer 翻訳 https://github.com/huggingface/transformers グラフ （SNSグラフ, 有機分子など) GNN: Graph Neural Network 分子の物性値予測 Social Network etc https://github.com/rusty1s/pytorch_geometric https://github.com/dmlc/dgl https://github.com/deepchem/deepchem https://github.com/chainer/chainer-chemistry 化学反応へのDeep Learning の応用 • 現在、2つのアプローチがトレンド 1. 文章入力のモデル Transformer 2. グラフ入力モデル GNN 29
- 30. 順合成・逆合成予測 • 反応 (Reaction) –反応物 Reactant + 触媒/溶媒 Reagent à 生成物 Product • 順合成 – Reactant, Reagent が与えられたときにどのようなProductができるか • 逆合成 – Product が与えられたとき、どのようなReactant, Reagentからできるか – 一意とは限らない 30 https://rxn.res.ibm.com/wp-content/uploads/2019/05/acs_orlando_presentation.pdf
- 31. 逆合成経路探索 • “利用可能な” Reactant,Reagentを用いて、 所望のProduct を合成したい • 逆合成予測を複数ステップ行う必要がある 31 https://arxiv.org/pdf/1708.04202.pdf
- 32. Reaction SMILESについて • Reactant>> Product • Reactant > Reagent > Product というような形式で記載 • 複数分子がある場合には “.” で区切る • どのAtomが反応前後でどの部分に行ったのかの対応を取るために、各Atomにidが 振られている場合が多い (Atom-mapping) ※ USPTO Datasetの mapping は自動生成されたもので間違っているものもあるので注意！ • RDKitで扱える。可視化など ↓ 32 https://rxn.res.ibm.com/wp-content/uploads/2019/05/acs_orlando_presentation.pdf
- 33. Datasetについて • 従来、化学データベースは商用、 • LoweによりUSPTODataset が公開され、機械学習の適用トレンドが生まれた。 • Jin et al. などがそれぞれの目的にあわせた、 独自のSub setのデータセットを作成し、性能評価をしている 33 https://rxn.res.ibm.com/wp-content/uploads/2019/05/acs_orlando_presentation.pdf
- 34. 従来手法からDeep Learningへ • 従来のルールベースTemplate-basedな手法 – ルールを人手で列挙してきた。(→最近は自動列挙する研究もある) • 全列挙はコンピュータの得意分野。ルールの範囲で可能性を全列挙できる。 – 課題点 • １：新規の反応に対応するには、新しいルールを足していく必要がある。 • ２：反応ルールの適用範囲の設定が難しい ← Templateの範囲しか見ないため、全体 の分子のコンテキストからより起こりそうな反応を重視するといったことができない 分子全体のコンテキストを見るためには、そのためのルールが必要 • ３：Template検出に、Sub Graph isomorphism matching という重い計算が必要。 時間がかかる。 Deep Learning をもちいたData-Drivenアプローチへ • １．文章入力のモデル Transformer • ２．グラフ入力モデル GNN 34
- 35. 自然言語処理アプローチで順合成・逆合成予測 • 入力SMILES →出力SMILES を機械翻訳タスクと考えると、 NLP業界で発展したモデル（Transformerなど）がそのまま使える – 順合成：Reactants SMILESを入力、Product SMILESを出力 – 逆合成：Product SMILESを入力、Reactants SMILESを出力 35 “Linking the Neural Machine Translation and the Prediction of Organic Chemistry Reactions” https://arxiv.org/pdf/1612.09529.pdf This is a book → これ は 本 です CCCCBr.CCONa>CCO>CCCCOCC
- 36. Molecular Transformer • IBMから提案されたモデル。初期のGNN(後述)による合成予測モデルよりも良い性能 36 “MolecularTransformer: A Model for Uncertainty-Calibrated Chemical Reaction Prediction” https://pubs.acs.org/doi/pdf/10.1021/acscentsci.9b00576 GNN ベース RNN/Transfor mer ベース
- 37. 予測の複数出力 • 逆合成タスクでは答えが一つとは限らない。複数予測を出すには？ – NLPモデルでは、Beam-Searchを行うことで尤度（確率）の高いものから 順番に複数の出力が可能 37 “Retrosyntheticreaction prediction using neural sequence-to-sequence models” https://arxiv.org/ftp/arxiv/papers/1706/1706.01643.pdf
- 38. NLP-based NN アプローチの長所 •化学反応への応用が比較的簡単 – 翻訳タスクに落とし込めば、NLP分野で発展した実装をそのまま使える – 単語のTokenizeが異なるだけ • 広く成功しているTransformerの活用 – 既に自然言語で大成功しているモデルをそのまま使える – 大規模学習にも向いている • Reaction SMILES に Atom Mappingが不要 – 後述するGNNアプローチでは、Reactant と Product の間の原子の対応関係が必要 38
- 39. NLP-based NN アプローチの課題 •SMILES表現は一意ではない → Canonical SMILES 表現 39 例：S-アラニン (Wikipedia 参照) - N[C@@H](C)C(=O)O - C[C@H](N)C(=O)O - C[C@@H](C(=O)O)N - OC(=O)[C@H](C)N
- 40. NLP-based NN アプローチの課題 •SMILES表現は一意ではない → Canonical SMILES 表現 • 分子としてすごく似ていてもSMILESが大きく異なる場合がある 40 “Junction Tree Variational Autoencoder for Molecular Graph Generation” https://arxiv.org/pdf/1802.04364.pdf
- 41. NLP-based NN アプローチの課題 •SMILES表現は一意ではない → Canonical SMILES 表現 • 分子としてすごく似ていてもSMILESが大きく異なる場合がある • SMILES文法が学習されているわけではない。 – 例 – ベンゼン ： “c1ccccc1” は正解、 “c1ccccc” は不正解 – イソブテン： “CC(=C)C” は正解、 “CC=C)C” は不正解 – 右の図では以下のSMILESを出力する必要がある O=C(O)CCC(=O)c1cc2ccc3ccc4ccc5ccc6ccc1c1c6c5c4c3c21 →学習データが少ない構造はSMILES文法に合わないものを出力しやすい 41 “DATA TRANSFER APPROACHES TO IMPROVE SEQ-TOSEQ RETROSYNTHESIS” https://arxiv.org/pdf/2010.00792.pdf
- 42. Inductive bias の導入 •帰納バイアスとは？ – 問題に応じて適切なバイアス（制約・ルール・法則性）を導入すること – 例：画像分野でCNNが成功しているのは、 畳み込み計算＝局所的に近いものから関係しているという法則が組み込まれている • 化学合成反応における適切な “制約”はなにか？ – 元素は無から生成されない。反応前後で原子番号は変化しない。 Reactant に存在していた元素のみからProduct が構成される – 反応前後で多くの元素の結合は変化せずそのまま • 反応前後の差分のみ見る方が効率的 →こういった制約を組み込んだ化学反応モデルは作れるか？ 42
- 43. GNN アプローチ典型例 Product 全ての情報出力ではなく、、、（自然言語モデルはこのアプローチ） 43 Reactantと Product の差分のみ出力する！
- 44. Graph NNの順合成/逆合成予測アプローチ • どのように問題定式化をするか（＝Inductivebiasを組み込むか）で 多様なアプローチが存在 • 2019年までの研究 – WLDN: “Predicting Organic Reaction Outcomes with Weisfeiler Lehman Network” – WLDN5: “A graph convolutional neural network model for the prediction of chemical reactivity” – ELECTRO: “A GENERATIVE MODEL FOR ELECTRON PATHS” – GTPN: “GRAPH TRANSFORMATION POLICY NETWORK FOR CHEMICAL REACTION PREDICTION” etc… – 以下のSlideshare, Blogを参照ください • 合成経路探索 -論文まとめ- （PFN中郷孝祐） https://www2.slideshare.net/pfi/pfn-167330903 • 化学反応におけるDeep learningの適用 https://tech.preferred.jp/ja/blog/deep-learning-reaction/ 44
- 45. 2020年のGNN アプローチ１：MEGAN • Reactant,Productの差分をGNNを使ってSequential に出力していく 順合成・逆合成双方向に適用可能 • 逆合成予測の場合の予測順序（確率値を出力することで複数予測も可能） 1. 結合が切れる場所 2. 結合がつながる場所 3. 結合が変化する場所（単結合→二重結合 など） 4. Atomの変化（Hの数、chargeなど） 5. Benzene, Atomの追加 45 “Molecule Edit Graph Attention Network: Modeling Chemical Reactions as Sequences of Graph Edits” https://arxiv.org/pdf/2006.15426.pdf
- 46. 2020年のGNN アプローチ１：MEGAN • Reactant,Productの差分をGNNを使ってSequential に出力していく 順合成・逆合成双方向に適用可能 • 順合成予測の場合の予測順序（確率値を出力することで複数予測も可能） 1. 結合がつながる場所 2. 結合が切れる場所 3. 結合が変化する場所（単結合→二重結合 など） 4. Atomの変化（Hの数、chargeなど） 46 １ ２ ３ ４
- 47. 2020年のGNN アプローチ２：GraphRetro • ICML2020GRL+ workshop のBest paper award • 逆合成予測のみに適用可能 • a. 結合が切れる場所 b. 新しくつく脱離基(Leaving Group) を分類タスクとして予測 – 脱離基は学習データに含まれるものを事前に列挙しておく→173種類 – この単純化した問題定式化で 全体の 99.7% をカバーできる 47 “Learning Graph Models for Template-Free Retrosynthesis” https://arxiv.org/pdf/2006.07038.pdf
- 48. GNN アプローチ：実験結果 • 年々精度が向上している（左図） •自然言語モデル（MT）とGNNアプローチ（MEGAN）比較では似たような精度（右図） 48 “Molecule Edit Graph Attention Network: Modeling Chemical Reactions as Sequences of Graph Edits” https://arxiv.org/pdf/2006.15426.pdf 逆合成予測 順合成予測
- 49. Deep Learningを用いた化学反応予測 まとめ 自然言語モデルアプローチVS GNN アプローチ 比較 49 自然言語モデル GNN 大規模モデルの成功例 ◎ Transformerなど、自然言語分野で成功 Universalityも示されている △ 超大規模モデルの学習報告は少ない Inductive bias △ Smilesベースでは制約が入れずらい 〇 明示的に制約を入れた問題設定で アプローチが可能 学習に必要な計算資源 △ Multi-GPUが必要な事も 〇 1 GPU でも学習可能 研究開発のスピード ◎ モデル部分に変更を加えずに学習ができる →早くより応用研究に進める 〇 問題定式化・モデル部分から 工夫してのアプローチが多い
- 50. 自然言語モデルを用いたその他の応用例、、、 • 例：Philippe Schwaller2020年だけで12本の論文 – 位置選択性(regio)・立体選択性(stereo)を考慮した化学反応予測への応用 “Transfer learning enables the molecular transformer to predict regio-and stereoselective reactions on carbohydrates” – 化学反応の2次元Mapping “Transfer learning enables the molecular transformer to predict regio-and stereoselective reactions on carbohydrates” – 酵素反応への応用 “Predicting Enzymatic Reactions with a Molecular Transformer” – 収率予測 “Prediction of chemical reaction yields using deep learning” – Atom-to-Atom Mappingの教師なし学習 “Unsupervised attention-guided atom-mapping” – 実験手順を論文から抽出 “Automated extraction of chemical synthesis actions from experimental procedures” “Inferring experimental procedures from text-based representations of chemical reactions” etc… 50 自然言語モデルをどういうデータに対して、どう応用するか？ 多数の研究がすごいスピードで進んでいる
- 51. Advanced Topic：Transfer Learning •“DATA TRANSFER APPROACHES TO IMPROVE SEQ-TOSEQ RETROSYNTHESIS” • 化学反応でも大規模データを有効活用できるか？ – 転移学習がうまくいくかどうかを実験 – USPTO-full データで事前学習してから、 USPTO-50K データを学習することでTop-20 予測精度が向上することを確認 51 https://arxiv.org/pdf/2010.00792.pdf
- 52.
- 53. IBM RXN • 順合成： ユーザーがGUI上でReactantを描画すると、反応後のProduct予測が計算される 53 https://rxn.res.ibm.com/wp-content/uploads/2019/05/acs_orlando_presentation.pdf https://rxn.res.ibm.com/
- 54. IBM RXN • 逆合成：作りたいProductを描画すると、それを作るのに必要なReactant を提案 54 https://rxn.res.ibm.com/
- 55. IBM RXN 仕組み •順方向の合成経路予測 by Molecular Transformer – Multihead attention を張るタイプのseq2seq でreaction smiles を予測する。 – シンプルな手法 • いろいろな情報が公開されている – code: https://github.com/pschwllr/MolecularTransformer – slide: https://rxn.res.ibm.com/wp-content/uploads/2019/05/acs_orlando_presentation.pdf – Free web service: https://rxn.res.ibm.com/ • APIまで公開している 55 https://rxn.res.ibm.com/wp- content/uploads/2019/05/acs_orlan do_presentation.pdf
- 56. RoboRXN：Robot automation • RoboRXN:Automating Chemical Synthesis https://www.ibm.com/blogs/research/2020/08/roborxn-automating-chemical-synthesis/ – Cloud – 化学者がどこからでもシステムにアクセス、合成したい分子を描く – AI – 逆合成経路探索を行い、商用可能な分子からの合成ルートを提案 – Automation – 実際に選択された合成ルートをRobotが自動で実行 56 https://www.youtube.com/watch?v=ewE1wh7sTUE
- 57. Molecule.one • 作りたいProductを描画 →逆合成経路を提案 • MEGANの著者陣が所属する会社のサービス 57 https://molecule.one/
- 58. Retrosynthesis Plannner • SciFinder-nから使える逆合成解析エンジン –John Wiley and Sons, Inc. のChemPlanner技術を活用 – 既知反応と予測反応を組み合わせた提案が可能 – 合成経路に加え、収率まで予測 58 https://www.jaici.or.jp/scifinder-n/retrosynthesis
- 59. AiZynthFinder • OSS で公開されている逆合成探索ツール –https://github.com/MolecularAI/aizynthfinder – テンプレートベース＋MCTSな手法 – テンプレート選択をNeural Networkで賢く行う • Twitterで@逆合成ちゃん というBotで 使えるようになっている(著者とは別) – https://twitter.com/retrosynthchan – 作りたい化合物のSMILESをつぶやくと右図 のような逆合成探索結果が返ってくる 59 https://twitter.com/retrosynthchan/status/1368894965737132036/photo/2
- 60. おわりに • 様々な入出力に特化したNeural Networkが開発された •Neural Networkの実装はOpen に公開された結果、応用の研究に注力できるように • 順合成・逆合成へのDeep Learning適用は２通りのアプローチが研究中 – Transformer を利用したアプローチ • NLP業界で開発されたモデルをそのまま流用し、翻訳タスクとして適用 • 研究開発速度がとても速い → 現状このメリットで優位に見える – GNNを利用したアプローチ • Inductive biasが入れやすいことが期待される • 現状Transformerと同等程度の精度。 大きく超える成果は出てきていない。 • これからも様々な化学領域へのDeep Learning適用が進むはず！ データとアイデア次第です。 60
- 61. 参考文献 本スライド中にリンクを示さなかったのもので、参考にした文献 • “畳み込みニューラルネットワークの最新研究動向 (〜2017)” https://qiita.com/yu4u/items/7e93c454c9410c4b5427 •“Deep Learningと画像認識 ～歴史・理論・実践～” https://www2.slideshare.net/nlab_utokyo/deep-learning-40959442 • “畳み込みニューラルネットワークの高精度化と高速化” https://www2.slideshare.net/ren4yu/ss-145689425 • Images – https://www.pexels.com/ja-jp/photo/3845495/ – https://www.pexels.com/ja-jp/photo/2460814/ – https://www.pexels.com/ja-jp/photo/45201/ 61
- 62.
- 63.