AlphaFold2はどのようにしてアミノ酸配列からタンパク質の構造を予測するのか

Overview of AlphaFold2
-深層学習を用いたタンパク質の立体構造予測-
Ryosuke Suzuki

Index
1. AlphaFold2とは何か
2. AlphaFold2内で用いられている原理と技術
3. 配列入力から予測構造出力までの流れ
4. 複合体の予測
- タンパク質の立体構造予測の重要性とAlphaFold2が与えた影響
- Deep LearningとTransformerモデル
- 共進化の原理とDCA法
- Embedding
- Evoformer
- Structure
- 予測構造の評価方法(pLDDT,PAE)
- 単量体予測との違い

構造生物学の始まり
・X線結晶構造解析によるタンパク質の立体構造の特定に成功
ミオグロビンの分子モデルヘモグロビンの分子モデル
Kendrew et al. Nature. 1958 Perutz et al. Nature. 1960

・立体構造は生化学的に重要な情報を持つ
構造生物学の始まり
Perutz et al. Nature. 1960

立体構造予測の必要性
・「アンフィンゼンのドグマ」
アミノ酸配列情報から立体構造予測ができないか？
・「実験による構造決定が困難」
「配列情報の解析が容易に」
・同条件の生理学的環境において
タンパク質の立体構造は
アミノ酸配列だけで決定される
Anfinsen et al. Science. 1973
Singh, Ankita & Kaushik, Rahul & Jayaram, B.. (2018).
Quality Assessment of Protein Tertiary Structures:
Past, Present, and Future.
10.1007/978-981-13-1562-6_12.

・CASP14 (2020年)でDeep Mind社が開発したAlphaFold2がほぼ誤差の無い予測結果を出力
→生物学に大きなブレイクスルー
6
タンパク質の立体構造予測におけるフォールディング問題
・ペプチド鎖が生体内で折り畳まれて立体構造(タンパク質)を形成する
(フォールディング)過程は解明されていない→予測が困難
1994年から2年ごとに、計算科学による構造予測技術のコンテスト
CASP(Critical Assessment of Techniques for Protein Structure Prediction)
が開かれてきた
Jumper et al., Nature 596(583):583-589(2021)

AlphaFold2内で用いられている原理と技術
machine learning
neural network
Deep
Learning

一般的なニューラルネットワーク(Deep-Learning)の予測方法
output
layer
Input
layer
hide
layer
𝑏1
Multiply weight vector (w)
Add bias vector (b)
Activate neuron function (f(u))
Simple Deep-Learning model (not AF2)
neuron(feature vector)
𝑥1
𝑥2
𝑥3
𝑦1
𝑦2
𝑦3
𝑢1
𝑢2
𝑢3
𝑢4
・入力された特徴量(分析対象から抽出した予測に用いるデータ)に、
学習によって変化するパラメータ(重さW、バイアスb)と線形変換を行う全結合や、
非線形的に変換して値を最適化する活性化関数等を行うことにより予測を出力する
u = x*w + b
𝑦4
y = f(u)
(全結合)
(活性化関数)

AlphaFold2で用いる活性化関数(sigmoid, softmax)
・sigmoid 𝑦 =
1
1 + 𝑒−𝑥
入力値xを確率値に相当する出力値yに変換
→ Self Attention内のゲート機能に使用(入力値
を絶対的に評価)
Sigmoidの微分は、MAX値でも0.25
伝播すると0,.25*0.25でさらに小さくなる
→勾配消失問題(レイヤー正規化で対処)
・softmax 𝑦𝑖 =
𝑒𝑥𝑖
𝑘=1
𝑛
𝑒𝑥𝑘
入力ベクトルの各要素を正規化し、それらを
合計すると1になる確率分布に変換
→Self Attention内の内積(Q⋅K)後に使用(各要素間
の関連度を相対的に評価)
(グラフは要素𝑥によって変化)
次元数kの数が大きくなると勾配が伝達しづらい
→勾配消失問題(スケール化(次元数で割る)で対処)

AlphaFold2が入力する特徴量
・AlphaFold2が入力する特徴量

AlphaFold2が入力する特徴量
・特徴量の詳細

output
layer
input
layer
hide
layer
Update weight vector
Update bias vector
Activate neuron function
𝑏1
Simple Deep-Learning model (not AF2)
𝑦1
𝑦2
𝑦3
𝑦1
𝑦2
𝑦3
training
data
一般的なニューラルネットワーク(Deep-Learning)の学習方法
𝑥1
𝑥2
𝑥3
𝑢1
𝑢2
𝑢3
𝑢4 𝑦4 𝑦4
・損失関数により導出されるロス値(出力結果(y)と学習データ(𝑦)の差)が最小になるように、
各パラメータ(重さ(w) バイアス(b))を出力層から入力層に向かって最適化していく

AlphaFold2の学習方法
・AlphaFold2の損失関数
・AlphaFold2で採用されている最適化アルゴリズム(Adam)
FAPE : 最終予測構造と正解立体構造の各原子座標のズレ(キラルを考慮)
aux : Structure層の各サイクルにおけるFAPE (Cαのみ)とねじれ角のズレ

FAPE(Flame Aligned Point Error)
・FAPEのアルゴリズム
・backbone flame (triangle)
𝑇𝑖
𝑥𝑗
: 回転・並進操作(行列ベクトル)
: 原子jの座標(行列ベクトル)
逆行列で原点に戻し重ね合わせるので回転や平行移動は損失に影響を与えない
ペプチド鎖の主鎖骨格
著作者 Dcrjsr, vectorised Adam Rędzikowski
CC 表示 3.0,
https://commons.wikimedia.org/w/index.php?curid=24585750

enabled to predict relationships between residues
that are separated by distance within sequence
・2017年にGoogleによって発表された言語翻訳モデル
アミノ酸配列に応用
Significantly improved the accuracy of predicting
the three-dimensional structure
16
深層学習モデルTransformerの採用
Vaswani et al., 2017
(self)Attention
・self attention を用いた単語間の関係性の予測
並列処理のため単語が多くても予測が可能
関係性の解釈の多様性(様々な分野に応用が可能)
・Query-Key-Valueモデルのattentionのみで構成
並列処理による計算の高速化
Source-Targetモデルより精度が上昇

Attention(Query-Key-Value モデルの採用)
内積
θ
𝑎
𝑏
内積(類似度)
𝑎 ∙ 𝑏 = 𝑎 𝑏 cos θ
𝑎 ∙ 𝑏を単位ベクトルに
ベクトル𝒂 ∙ 𝒃の類似度を評価
同じ方向を向いているかどうか
・内積によってQ(query)とK(key)の類似度を計算しSoftmax
↑これを重さとしてV(value)と内積してinputと関係性の高いmemoryの要素を出力
各要素ベクトルの大きさの違いを緩和
・QとKの内積の各行の和が1になるように正規化
→相対的に類似度が高い要素の組み合わせを見つける
input memory
Self attention: input と memoryが同じ
𝑑𝑘: keyのベクトルの次元数

Self Attention（どんな関係性を拾ってくるか）
・自然言語(言語翻訳)
・アミノ酸配列(構造予測)
入力配列内の残基間の関係性
(残基間距離など)
※論文で明記はされてない
各配列が持つ特徴
(どの残基とコンタクトするか等)
(残基特性、機能性、重要度等)
DCA法
各残基番号が持つ特徴
互いに情報は利用し合う

・Predict the contacting residues and the distances between these residues
Comparison of conserved and variable amino acids using MSA allows to
estimate coevolving sites and to spatial relationships of amino acids
19
DCA法
Weight et al., PNAS 106(1):67-72(2009)
Marks et al., Nat Biotechnol 30(11):1072-1080(2012)

MSA(Multiple Sequence Alignment)
・異なる生物間で高い相同性を持つアミノ酸配列や核酸配列を並べたもの
多重配列(MSA)の画像著作者:Miguel Andrade
CC 表示-継承 3.0
https://commons.wikimedia.org/w/index.php?curid=3930704による

(残基間距離など)
Embedding(MSA 表現、ペア表現の作成)
・特徴量(初期入力)を変換、抽出(representation)
MSA representation(表現) : 入力配列を追加したMSA内の各残基や残基番号が持つ特徴
[𝑁𝑠𝑒𝑞, 𝑁𝑟𝑒𝑠, 𝐶𝑚(=256)]
pair representation(表現) : 入力配列内の残基間の関係性
[𝑁𝑟𝑒𝑠, 𝑁𝑟𝑒𝑠, 𝐶𝑧(=128)]
(残基特性、重要性、位置(番号)における機能、どの残基とコンタクトするか等)

Embedding(MSA 表現、ペア表現の作成)
・特徴量(初期入力)を線形変換
・特徴量(初期入力)
ペア表現
MSA表現

Embedding (ペア表現の作成)
・残基番号の差を距離の情報としてペア表現に追加

Evoformer
TransformerのEncoder部分
・Evoformer = Evolution + Transformer
・MSA表現とpair表現をself attentionを用いて更新
(深層学習モデル)
(進化)
・ MSA表現を線形変換してpair表現を更新
(Outer Product mean)
・MSA表現の更新時、線形変換したpair表現を
バイアスとして組み込んでいる

Evoformer(row and column-wise gated self attention )
・MSA row-wise gated self-attention with pair bias
・MSA column-wise gated self-attention
(配列内の残基間の関係性を評価、更新)
(各残基番号が持つ機能、役割を評価、更新)

残基i-j間の空間的距離 <= 残基i-k間の空間的距離 + 残基j-k間の空間的距離
三角不等式
Evoformer(pair表現の更新)
・構造中の任意の3残基がもつ関係性(空間的制約)
・self Attentionによって関係性を評価、pair表現の更新(↑満たすように更新?)

Evoformer(Triangle multiplicative update and Triangle self-attention)
・Triangle multiplicative update
・Triangle self-attention

Structure
① IPA(Invariant Point Attention)でSingle表現(入力配列のMSA表現)を更新
② Single表現を線形変換して各残基のBackbone Flame(主鎖骨格)
の回転・並進ベクトルを更新
③ Single表現を線形変換して各残基の二面角を更新
①
②
③
8cycle
TransformerのDecoder部分
①
②
③

Structure(Invariant point attention)
TransformerのDecoder部分
・ペア表現と主鎖骨格(backbone)の並進・回転ベクトルをattentionに組み込む
・ペア表現: bias, Value
・backbone: key, query, value
・Single表現(入力配列のMSA表現)を更新

Structure(Backbone Update)
・主鎖骨格の移動・回転ベクトルの更新
𝑇𝑖
𝑙𝑎𝑠𝑡
= 𝑇𝑖
0
(原点) ○ 𝑇𝑖
1
○ 𝑇𝑖
2
○ 𝑇𝑖
3
○ 𝑇𝑖
4
○ 𝑇𝑖
5
○ 𝑇𝑖
6
○ 𝑇𝑖
7
○ 𝑇𝑖
8
(8 cycles)
アダマール積
𝑇𝑖 : 残基番号iの前サイクルの移動・回転ベクトルからの更新分
Backbone

Structure(Compute all atom coordinates)
(ωr ,ϕr ,ψr ,χ1,r ,χ2,r ,χ3,r ,χ4,r)
主鎖側鎖
𝑠𝑖 ∶ 入力配列のMSA表現
𝑇𝑖 ∶ 残基番号iの移動・回転ベクトル
主鎖骨格
↓
側鎖の末端
二面角から各原子の座標を導出(原子間距離は文献値で固定)
二面角(torsion angle)

Recycling iterations
・1サイクル前の予測構造データと表現を使ってEmbeddingからやり直す
𝑚1𝑖 ∶ 1サイクル前のMSA表現
𝑧𝑖𝑗 ∶ １サイクル前のペア表現
𝑥𝑖
𝑐β
∶ 1サイクル前の残基番号iのCβの座標
(単量体:3サイクル複合体:20サイクル)

pLDDT PAE
[Å]
After pre-training, adopted obtained high-score prediction protein
structure as Training data for amplification dataset (Fine-tuning)
The number and distances of Cα
atoms within a fixed radius
centered around each Cα atom
What’s compared with Training data? What’s compared with Training data?
The error in the position of the Cα
atom of residue j when the
backbone frame of residue i is fixed
(0 ≤ i,j ≤ last)
unknown structures can be evaluated
Blue bands show possibility of interactions
Backbone frame (triangle)
34
予測構造をどう評価するか

単量体予測との違い
1. 置換アライメントの手法の変更
※同じ配列が複数存在すると相互作用部位が決定できない

2. 同種の配列をペアリングして遺伝情報の曖昧さを減らす
※同種の配列内でも複数のアイソフォームや変異が存在する
・真核生物の場合、入力した配列との相同性に応じてランク付け
→同じランク同士でペアリング

3. 学習時、配列のクロッピングの方法を変更
※複合体のタンパク質間の結合界面が重要だから

4. 学習に用いるFAPE損失関数の変更
※結合界面の正否を精度よく評価

5. 予測構造の信頼値のスコア計算法の変更
・pTM(predicted TM-Score) タンパク質の予測構造と正解構造との類似度
・ipTM(interface predicted TM-Score) 複合体のタンパク質間のpTM

AlphaFold2はどのようにしてアミノ酸配列からタンパク質の構造を予測するのか

Recommended

Recommended

More Related Content

Recently uploaded

Recently uploaded (14)

Featured

Featured (20)

AlphaFold2はどのようにしてアミノ酸配列からタンパク質の構造を予測するのか

Editor's Notes