(参考文献)Shengnan Guo, Youfang Lin, Ning Feng, Chao Song, and Huaiyu Wan. Attention based spatial-temporal graph convolutional networks for traffic flow forecasting. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 33, pages 922–929, 2019.

1. 【論⽂紹介】
Attention Based Spatial-Temporal
Graph Convolutional Networks
for Traffic Flow Forecasting

2. 先に結論
⼿法の新規性:
• 従来法のSTGCNでの隣接⾏列に対して，attentionにより導出した重み⾏列を適⽤し，
重み付き隣接⾏列に拡張
提案法開発までの流れ
1. 「STGCNに対して，ノードごとに異なる重みを⽤いて，畳み込みをしたい…」
2. 「attentionを⽤いて，⼊⼒に応じて重みを動的に変化させ，その重みを⽤いて畳み込みを⾏う！」
検証実験
• 道路数・観測地点数・期間が異なる，2つの⾼速道路の交通データセットを利⽤
• 先に述べた2つのデータセットに対して複数の⼿法を適⽤し，提案法が最も⾼い性能を記録
（参考⽂献）Shengnan Guo, Youfang Lin, Ning Feng, Chao Song, and Huaiyu Wan. Attention based spatial-temporal graph convolutional networks
for traffic flow forecasting. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 33, pages 922–929, 2019.

3. Contents
• 背景
• 提案法
• 検証実験
2

4. Contents
• 背景
• 提案法
• 検証実験
3

5. 交通量の予測タスクの特徴
• 多くの国では，効率的な交通管理のために，
道路交通システムの開発に⼒を⼊れている
• 特に，道路の交通量の予測を⾏うことに着⽬すると，
以下の特徴がある
• 各経路の交通量は，近い経路と相関を持つ
• 各経路の交通量は，近い時間と相関を持つ
以上により，空間及びに時系列に関する特徴を捉えることが理想
4

6. 従来法の問題点
• 統計モデル（HA，ARIMA，VAR）
・・・仮定を必要とするが，実データは複雑すぎる影響から，仮定を満たさず，性能が上がらない
• 機械学習モデル（KNN，SVM）
・・・特徴エンジニアリングが必要
• 時系列を扱うニューラルネットワーク（RNN，LSTM）
・・・グラフ構造を扱わない分，データから捉えられる特徴が減る
• 時系列+グラフ構造を扱うニューラルネットワーク（STGCN）
・・・畳み込みの際の各ノードの重みが均⼀であるため，各ノードの重要度の違いを捉えきれない
時
系
列
5

7. Contents
• 背景
• 提案法
• 検証実験
6

8. 概要
1. ⼊⼒を 𝑋", X%, X& の3つにわける（後述）
2. 空間・時間畳み込みでattentionを⽤い，重み⾏列を算出
3. 2での重み⾏列を⽤いて，グラフ畳み込みを⾏う
4. 2,3を指定した任意の回数だけ⾏う
5. 最終的に得られた特徴ベクトルを全結合層へ⼊⼒
6. 5における3つのブロックの結果を集約して，最終結果とする
⼿法名: Attention based Spatial-Temporal
Graph Convolutional Network（ASTGCN）
ネットワークの全体図
SAtt : 空間畳み込みのattention
TAtt : 時間軸畳み込みのattention
GCN+Conv : グラフ畳み込み
FC : 全結合
• グラフ 畳み込みの前に，attentionを導⼊
• 深い層の実現のために，残差接続を利⽤
（説明は割愛．興味があれば，ResNetを調べてみるとよい）
①
②
③
④
⑤
⑥
時
系
列
流れ

9. ネットワークにおける主な特徴
8
• ３つの⼊⼒
• 空間・時間軸でのグラフ畳み込み
• 2つのattention
• 空間畳み込みの重み付け
• 時間畳み込みの重み付け
• Multi-Component Fusion

10. 3つの⼊⼒
9
（2）⽇周期のセグメント：過去数⽇間のデータで構成（Td/Tp⽇前〜約1⽇前）※Tdは，予測期間Tpの整数倍
⽬的: 同じ⽇の中での時間帯での特徴の違いをとらえる（ex. 朝は交通量のピークが訪れやすい）
（1）最近のセグメント：予測期間に直接隣接するデータで構成
⽬的: 予測対象の直前のデータ𝑿 𝒕 𝟎
から，𝑻 𝒉 回前までのデータを取り⼊れる
（3）週周期セグメント：過去数週間のデータで構成（Tw/Tp週間前〜約1週間前）※Twは，予測期間Tpの整数倍
⽬的 : 同じ週の中での曜⽇による特徴の違いをとらえる（ex. 週末は平⽇と⽐べて交通量が多くなりやすい）
N:ノード数
F: 特徴ベクトルの次元数
q: 1⽇のデータ収集回数
𝑿 𝒕:t回⽬に収集したデータ
※Thは整数

11. Graph Neural Networkとは
グラフ構造を⼊⼒として取り扱うニューラルネットワーク
【メリット】
直接的に，隣接した状態による影響を捉えることができ，学習の効率化が期待できる
Root
Ankle
Torso
・
・
Wang, T., Liao, R., Ba, J., and Fidler, S.
Nervenet: Learning structured policy with graph neural networks. p2 figure 1 ICLR, 2018

12. Graph Neural Network 順伝播の概念図
2伝播⽬1伝播⽬（1の更新）
1
2 3
4 5
1’
2’ 3’
4’ 5’
1
2 3
4 5
1伝播⽬（2,3の更新）
1
2 3
4 5
11
【⼿順】
1. 隣接したノードからの情報を集約し，それを⽤いて⾃⾝の情報を更新する
2. 1で更新した情報を⽤いて，1を再度⾏う
このような操作を⾏うことで，
隣接したノードの情報を通して⾃⾝の特徴ベクトルを更新していく
ベースのグラフ

13. 12
空間・時間軸でのグラフ畳み込み
通常のジョイントの⾃然な接続性に準拠する空間エッジに加えて，以下のノード＆エッジを追加する
• 連続するタイムステップにわたって同じジョイントを接続するエッジ
これにより、情報を空間次元と時間次元の両⽅に沿って統合することができる
空間的な接続だけでなく，
時間軸に関しても，接続を⽤意する！！！
𝑉 = {𝑣12|𝑡 = 1, . . . , 𝑇, 𝑖 = 1, . . . , 𝑁}
t:時間ステップ ， i: ノード番号
ノード集合Vは以下のように表すことができる
Sijie Yan, Yuanjun Xiong, Dahua Lin.
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition.
Association for the Advancement of Artificial Intelligence （AAAI）2018 .Figure 1

14. 2つのattention
13
本⼿法では，
• 空間⽅向
• 時間軸⽅向
の２つの⽅向で畳み込みを⾏うため，
それぞれにおいて，attentionを設ける
畳み込みの前にattentionを設ける

15. 空間畳み込みの重み付け
• V，W，bは学習可能な変数．これらをもとに，畳み込みに⽤いる重み⾏列Sを決定する
• が𝑵 x 𝑪 𝒓>𝟏 x 𝑻 𝒓>𝟏 であることから，これをN x N の各ノード同⼠の重み⾏列にするために，
3つのWでshapeを変換している
• このことから，C・Tの情報，つまり．特徴ベクトルと時間軸による変化を総合的に加味して，
空間的な各ノード間の重みを決定する
※他の2つの⼊⼒に対しても，この処理を⾏い，重みを決定する
14
重み⾏列Sの導出

16. 時間畳み込みの重み付け
• V，W，bは学習可能な変数．これらをもとに，畳み込みに⽤いる重み⾏列Eを決定する
• が𝑵 x 𝑪 𝒓>𝟏 x 𝑻 𝒓>𝟏 であることから，これを𝑻 𝒓>𝟏 x 𝑻 𝒓>𝟏の各ノード同⼠の重み⾏列にするために，
3つのWでshapeを変換している
• このことから，N・Cの情報，つまり．各ノードの特徴ベクトルを総合的に加味して，
時間的な各ノード間の重みを決定する
※他の2つの⼊⼒に対しても，この処理を⾏い，重みを決定する
15
重み⾏列Sの導出

17. 空間・時間軸でのグラフ畳み込みの重み付け
• 空間⽅向の重み⾏列S は，隣接⾏列A での空間⽅向に対しての内積を算出することにより、
ノード間の影響のある重みをAに反映させる
• 時間⽅向の重み⾏列Eは，隣接⾏列A での時間軸⽅向に対しての内積を算出することにより、
ノード間の影響のある重みをAに反映させる
つまりは，attentionにより導出した重み⾏列で，重み付き隣接⾏列を算出することを意味する
Sijie Yan, Yuanjun Xiong, Dahua Lin.
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition.
Association for the Advancement of Artificial Intelligence （AAAI）2018 .Figure 1
以下の2つをモデリングし，畳み込みに利⽤
• 空間的な関係（接続している⼿と胴体）の間での重み
• 時間的な関係（現時刻と⼀時刻前の⼿）の間での重み

18. Multi-Component Fusion
（導⼊するモチベ）
地域ごとに異なる3つの情報の重要度を，地域に応じて可変にするため．
ex. 2つの地域A，Bにおいて，以下の状況を仮定する
「地域Aの交通量には朝に明らかなピーク期間がある」
「地域Bの交通量にはどの時間にもピーク期間がなく，⼀定」
この場合，Aでは⽇次と週次のブロックの出⼒がより重要だが，Bでは役に⽴たない（重要度が低い）
Wh、Wd、Wwは学習パラメータ

19. 提案法 まとめ
18
• ３つの⼊⼒・・・・・・・・・・・・・予測期間の直前・数⽇前・数週間前を利⽤
• 空間・時間軸でのグラフ畳み込み ・・・空間⽅向だけでなく，時間軸⽅向にもグラフを形成
• 2つのattention・・・・・・・・・・・ ⼊⼒を基に，隣接⾏列に反映させる重みを決定する
• 空間畳み込みの重み付け
• 時間畳み込みの重み付け
• Multi-Component Fusion・・・・・・・・地域の特徴に合わせて，3つの⼊⼒に異なる重み付け

20. Contents
• 背景
• 提案法
• 検証実験
19

21. データセット
20
2つの⾼速道路の交通データセットを⽤いる
• PeMSD4
• 29の道路・3848の地点を対象
• 2018年1⽉~2⽉を対象．
• 最初の50⽇間をトレーニングデータ，残りの期間をテストデータとする
• PeMSD8
• 8つの道路・1979の地点を対象
• 2016年7⽉~8⽉を対象．
• 最初の50⽇間をトレーニングデータ，残りの期間をテストデータとする
共通事項
• 5分間隔で集計された交通量
• 各地点の距離をある程度の保つために，3.5マイル以内の地点のどちらかを削除
• データを平均0にする

22. 各データセットに対する実験結果
21
• 提案法であるASTGCNは、2つのデータセットの両⽅で、
評価指標の点で最⾼のパフォーマンスを達成した
• 基本的に，深層学習モデルは，
統計・機械学習モデルよりも良い性能を⽰す
• さらに，その中でも時間軸・空間軸を捉える⼿法は，
深層学習モデルの中でも良い性能を⽰す
2つのデータセットによる⼿法⽐較

23. • 横軸が計測地点同⼠の間隔であるため，
全体的に間隔が広くなるほど，誤差が⼤きくなる
• 時間的な傾向のみを捉える⼿法（HA,ARIMA,LSTM,GRU）は
間隔が⻑いと，⼤幅に精度が悪くなる
• グラフ構造も加えて捉える⼿法は，短い間隔から
⻑い間隔へ移⾏しても，誤差の⼤きさはゆっくりとあがる
• 特にattentionを加えた提案法は，グラフ構造を捉える
⼿法の中でも最⾼のパフォーマンスを⽰す
22
各地点の間隔と評価指標の関係
つまりは，「attention+時系列情報+空間情報」が最強！！

24. 空間情報の導⼊による性能向上
先に⽰した，以下の結果について考察
「グラフ構造も加えて捉える⼿法は，短い間隔から⻑い間隔へ移⾏しても，誤差の⼤きさはゆっくりとあがる」
「間隔が⻑い」・・・「情報の価値が低くなる」ということを意味するため，学習が困難に．
ex. 「20mile前の地点では混んでいた」と「100mile前の地点では混んでいた」
という情報では前者の⽅が情報として価値が⾼い
ここで，グラフ構造を情報として取り⼊れると，優先的に近くの情報を取り⼊れることができる
※グラフ構造を取り⼊れないと，遠くの情報と近くの情報を統⼀的に扱うため，有益な情報が埋もれてしまい，予測がしにくくなる
よって，グラフ構造を情報として取り⼊れることで，間隔が⻑くなっても，性能が悪くなりにくくなる
A B C
例: 右図の状況を想定し，B,Cの情報をもとにAでの交通量を予測
• （グラフ情報なし）Bは空いているがCは混んでいるため，予測はグレー
• （グラフ情報あり）Aに近いBが空いているため，Aも空いていると予測 crowded？？ uncrowded

25. 学習した重み⾏列の可視化
24
PeMSD8から10個の検出器を含むサブグラフを取り出し，検出器間の平均空間重み⾏列を⽰す
【例】
最後の⾏を⾒ると、9番⽬の検出器が3・8番⽬の検出器と密接に関連していることがわかる
これらの3つの検出器は実際の交通ネットワーク上の空間に近いため、これは妥当
【メリット】
予測性能が最⾼になるだけでなく、
解釈可能性の利点も⽰される
i番⽬の⾏は各検出器とi番⽬の検出器の間の相関強度を表す
空間グラフ 重み⾏列

26. まとめ
25
新規性:
• 従来法のSTGCNでの隣接⾏列に対して，attentionにより導出した重み⾏列を適⽤し，
重み付き隣接⾏列に拡張
提案法開発までの流れ
1. 「STGCNに対して，ノードごとに異なる重みを⽤いて，畳み込みをしたい…」
2. 「attentionを⽤いて，⼊⼒に応じて重みを動的に変化させ，その重みを⽤いて畳み込みを⾏う！」
検証実験
• 道路数・観測地点数・期間が異なる，2つの⾼速道路の交通データセットを利⽤
• 先に述べた2つのデータセットに対して複数の⼿法を適⽤し，提案法が最も⾼い性能を記録