論文「Graph Refinement based Tree Extraction using Mean-Field Networks and Graph Neural Networks」を読んでみました

1. Graph Refinement based Tree
Extraction using Mean-Field
Networks and Graph Neural
Networks
1

2. • 完全なグラフからサブグラフを取得するタスクに対して2つのモデルを提案
• Mean Field Networks(MFN)
• Graph Neural Networks(GNN)
• 胸部CTデータから気道を抽出するタスクで実験を行い，
「EXACT‘09 Challenge」の優勝モデルより精度が良い
（MFN・GNNともに精度が良いが，GNNがより良い）
• 主にGNNについて説明
2
概要

3. 前処理
• 3次元CT画像をLo（2010）の「Vessel-guided airway tree segmentation」の
訓練されたボクセル分類器を使用して確率マップに変換
（ボクセル当たりの強度を気道内腔に属するボクセルの確率に変換）
• 気道ツリーの個々の分岐をモデル化するモデルと測定モデルを用いて，
ベイズ平滑化を行う
3
CT画像 ボクセル確率画像 グラフ

4. 入力するグラフ
• ノード情報（14次元）
• ３次元画像内の空間位置 : 𝒙 𝒑 = 𝒙, 𝒚, 𝒛
• 局所半径 : 𝒓
• 向き : 𝒗 𝒙, 𝒗 𝒚, 𝒗 𝒛
• 上の７つのパラメータのそれぞれの平均・分散
• 初期接続𝑨𝒊𝒏
• 空間距離が最も近い１０個の隣接ノードを接続
4
グラフ

5. 教師データ
• 参照隣接行列 ： 教師データの隣接行列
• 2つの気道セグメンテーション方法からの結果を
エキスパートユーザが修正を加えることで得られる
• Airway tree extraction with locally optimal paths
• Vessel-guided airway tree segmentation: A voxel classification approach(EXACT’09優勝モデル)
5
入力グラフ 参照隣接行列による
接続のグラフ

6. エンコーダ（GCNではなくGNN）
𝒉𝒋
(𝟏)
= 𝒈 𝒏(𝒙𝒋)
𝒉(𝒊,𝒋)
(𝟏)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟏
, 𝒉𝒋
(𝟏)
])
𝒉𝒋
(𝟐)
= 𝒈 𝒏𝟐𝒆(
𝒊
𝑵 𝒋
𝒉(𝒊,𝒋)
(𝟏)
)
𝒉(𝒊,𝒋)
(𝟐)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟐
, 𝒉𝒋
(𝟐)
])
6
1層目
2層目

7. ノード特徴からノード埋め込みへ(1層目)
𝒉𝒋
(𝟏)
= 𝒈 𝒏(𝒙𝒋)
• ノードの特徴 : 𝒙（ノード𝒋の特徴 : 𝒙𝒋 ）（14次元）
• 𝒉𝒋
(𝟏)
: ノード埋め込み(8次元)
• 𝒈 𝒏(∙) : MLP(𝒏はノードという意味)
➡ 入力はノードの特徴ベクトル
• 14次元のノード情報をMLPに入れて8次元のノードの特徴を出力
7

8. ノード埋め込みからエッジ埋め込みへ(1層目)
𝒉(𝒊,𝒋)
(𝟏)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟏
, 𝒉𝒋
(𝟏)
])
• ノード𝒊の特徴 : 𝒉𝒊
𝟏
• ノード𝒋の特徴 : 𝒉𝒋
𝟏
• 𝒈 𝒏𝟐𝒆(∙) : MLP
➡ 𝒉𝒊
𝟏
と𝒉𝒋
𝟏
を連結してMLPに入力
• 𝒉(𝒊,𝒋)
(𝟏)
: エッジ埋め込み（8次元）
• ノード 𝒊 と 𝒋 の特徴から2つノードの関係 𝒉(𝒊,𝒋)
(𝟏)
を出力
8

9. エッジ埋め込みからノード埋め込みへ（2層目）
𝒉𝒋
(𝟐)
= 𝒈 𝒆𝟐𝒏(
𝒊
𝑵 𝒋
𝒉(𝒊,𝒋)
(𝟏)
)
• 𝒉(𝒊,𝒋)
(𝟏)
: エッジ埋め込み（8次元）
• 𝑵𝒋 : ノード𝒋の隣接ノードのインデックス集合
• 𝒈 𝒆𝟐𝒏(∙) : MLP
➡ 注目ノード 𝒋 とその隣接ノード 𝒊 のエッジ埋め込み（ベクトル）の和
を入力
• 𝒉𝒋
(𝟐)
: ノード埋め込み（8次元）
• ノード 𝒋 の隣接ノードと隣接しているノードの和から新たにノード 𝒋の特徴を出力
9

10. ノード埋め込みからエッジ埋め込みへ（2層目）
𝒉(𝒊,𝒋)
(𝟐)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟐
, 𝒉𝒋
(𝟐)
])
• ノード𝒊の特徴 : 𝒉𝒊
𝟐
• ノード𝒋の特徴 : 𝒉𝒋
(𝟐)
• 𝒈 𝒏𝟐𝒆(∙) : MLP
➡ 𝒉𝒊
𝟐
と𝒉𝒋
𝟐
を連結してMLPに入力
• 𝒉(𝒊,𝒋)
(𝟐)
: エッジ埋め込み（8次元）
• ノード 𝒊 と 𝒋 の特徴から2つの関係を 𝒉(𝒊,𝒋)
(𝟐)
出力
10

11. エンコーダ
𝒉𝒋
(𝟏)
= 𝒈 𝒏(𝒙𝒋)
𝒉(𝒊,𝒋)
(𝟏)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟏
, 𝒉𝒋
(𝟏)
])
𝒉𝒋
(𝟐)
= 𝒈 𝒏𝟐𝒆(
𝒊
𝑵 𝒋
𝒉(𝒊,𝒋)
(𝟏)
)
𝒉(𝒊,𝒋)
(𝟐)
= 𝒈 𝒏𝟐𝒆([𝒉𝒊
𝟐
, 𝒉𝒋
(𝟐)
])
• 1層でノードの1エッジ分のノードにアクセス
• 層を追加することでエンコーダの受容野を拡大することが可能
11
1層目
2層目

12. デコーダ
𝜶𝒊𝒋 = 𝝈(𝒈 𝒅𝒆𝒄(𝒉 𝒊,𝒋
𝟐
))
• 𝒉(𝒊,𝒋)
(𝟐)
: ノード 𝒊 と 𝒋 の関係（エッジ埋め込み，8次元ベクトル）
• 𝒈 𝒅𝒆𝒄(∙) : 線形層（出力1次元）
• 𝝈(∙) : シグモイド関数
• 𝜶𝒊𝒋 : エッジ（1に近いほど接続している可能性が高い）
• 出力された 𝜶 がサブグラフの隣接行列になる
12

13. 論文の実験概要
• CT画像から気道ツリーの中心線を抽出
➡ これをグラフ細分化タスクとして実験
13

14. データセット
• デンマークの肺癌スクリーニング試験で得られた胸部スキャンデータ
• 訓練データ:100
• テストデータ:32
14

15. • 予測された隣接行列を
使用して気道の中心線を
プロット
• ピンク
GT（気道全体を描画）
• 黄
正しく抽出できた部分
• 青
間違って抽出した部分
• 黒
抽出できなかった部分
実験結果
15
Baseline
Voxel + RG
（Voxel分類器）
MFN
GNN

16. 実験結果
16
• 𝑫𝒊𝒄𝒆 : 隣接行列の類似度
• 𝒅 𝑭𝑷 : 予測されたノードから教師データのノードの最小ユークリッド距離
• 𝒅 𝑭𝑵 : 教師データのノードから予測されたノードの最小ユークリッド距離
• 𝒅 𝒆𝒓𝒓 : (𝒅 𝑭𝑷 + 𝒅 𝑭𝑵)/𝟐
• 𝑻𝑳 : 予測された気道と教師データの気道の全長の割合
• 𝑭𝑷𝑹 : 予測された気道の教師データの気道のボクセルの割合