Graph R-CNN for Scene Graph Generation
•Download as PPTX, PDF•
1 like•576 views
第54回コンピュータビジョン勉強会＠関東で発表するスライドです。
Recommended
More Related Content
Similar to Graph R-CNN for Scene Graph Generation
Similar to Graph R-CNN for Scene Graph Generation (20)
Recently uploaded
Recently uploaded (10)
Graph R-CNN for Scene Graph Generation
- 1. Graph R-CNN for Scene Graph Generation 2019/8/25 かのさわ(@kano_sawa)
- 2. 自己紹介 • 名前：さわだ、かのさわ • 仕事：メーカー研究開発職 Mixed Reality型HMD Robot Vision Twitter @kano_sawa 趣味：ノベルゲーム制作 https://novelgame.jp/games/show/2209
- 3. 紹介する論文 • 論文名 • Graph R-CNN for Scene Graph Generation • 概要 • Graph Convolutionを使ってScene Graphを生成 • 発表年月 • 2018年8月(arXiv) • 採択 • ECCV 2018
- 4. 紹介のモチベーション • Scene Graphを広めたい • Graph Convolutionの画像認識への応用例を知りたい • 1年で引用45件は、Scene Graph分野では多い
- 5. Scene Graph Generation(SGG)とは • 画像に写っている”物の位置と種類(ノード)”と”物同士 の関係性(エッジ)”を推定し、グラフ化すること Visual Question Answering Scene Graph Robot Plannning …
- 6. SGGの課題と従来手法 課題 1. ノードの個数nに対して、エッジの本数がO(n2)となる 2. 周辺物体のcontextを考慮するのが難しい 従来手法 1. ランダムサンプリング 2. RNN “Scene Graph Generation by Iterative Message Passing”
- 7. SGGの課題と従来手法 課題 1. ノードの個数nに対して、エッジの本数がO(n2)となる 2. 周辺物体のcontextを考慮するのが難しい 従来手法 1. ランダムサンプリング 2. RNN “Scene Graph Generation by Iterative Message Passing” もっと良い方法 あるのでは
- 8. 提案手法の流れ ①Faster R-CNN ②RePN ③aGCN 物体の位置と class probabilityを 推定 Relational Proposal Network attentional Graph Convolutional Network ノード間の関係性の 高さを推定し、 pruning Contextを考慮しながら 物体種類と関係性を推定
- 9. ②Relational Proposal Network(RePN) Relational Proposal Network ・output 物体間のrelatedness →上位のエッジを残す ・input 各物体のclass probablity MLP 内積 (主語) (目的語)
- 10. Graph Convolutional Network（復習） l層における ノードiの特徴ベクトル (l+1)層における ノードiの特徴ベクトル 隣接ノード 線形変換 （学習重み） 隣接マトリクス(の要素) 非接続：0 接続：正規化係数 まとめると Kipf, T.N., et. Al, “Semi-supervised classication with graph convolutional
- 11. ③attentional Graph Convolutional Network(aGCN) l層における ノードiの特徴ベクトル (l+1)層における ノードiの特徴ベクトル 隣接ノード 線形変換 （学習重み） attention
- 12. ③attentional Graph Convolutional Network(aGCN) l層における ノードiの特徴ベクトル (l+1)層における ノードiの特徴ベクトル 隣接ノード 線形変換 （学習重み） attention 重みベクトル （学習重み） 線形変換 （学習重み） concat ノードj ノードi
- 13. ③aGCNのScene Graph Generationへの適用 • ノード特徴とエッジ特徴を別々に定義 • 接続の種類が異なると、影響の仕方も異なる zo zo zr zo zr 影響が伝搬 CNNCNN ノード特徴 zo エッジ特徴 zr WroZoαro WrsZoαrs WorZrαor WsrZrαsr o : object s : subject r : relation • ノード特徴とエッジ特徴はお互いに影響を与え合う
- 14. ③aGCNのScene Graph Generationへの適用 skip connection (結局)全ノード同士を 直接繋いじゃう ノード S zo O zo zr zo zr zr zr エッジ(関係性)特徴 ノード(物体)特徴
- 15. Loss関数 ①Faster R-CNN ②RePN ③aGCN binary cross entropy multi-class cross entropy エッジ有無の分類 物体種類と関係性のクラス分類
- 16. 学習データセット • Visual Genome • 訓練画像：75651枚 • テスト画像：32422枚 • 物体数：11.5個/枚 • 関係数：6.2個/枚
- 17. 評価指標 • SGGen：triplet (subject-predicate-object)による評価 1. 推定tripletのprobability(各probabilityの積)を計算 2. 推定tripletのうちTop K(K=50, 100)を抽出 3. Recall(再現率：正解tripletのうち抽出できた割合)を計算 ※正しそうな推定がfalse positiveになってしまうので、Recallを使う • SGGenの問題点 • subject-predicate-objectのうち、一つでも間違えると評価 値が０になってしまう 正解 全間違い 一部間違い
- 20. 評価結果 • 各コンポーネントの効果検証 “RePNによるpruning”で評価値向上 “GCN”で評価値向上 “attention追加”で評価値向上 • RePN, GCN, attention追加の全てが評価値向上に寄与 • 特にRePNによる評価値向上が大きい
- 21. まとめ • RePNとaGCNでScene Graphを生成する手法を紹介した • RePN : Relational Proposal Network • aGCN : attentional Graph Convolutional Network • 評価指標として、SGGenの改良であるSGGen+を紹介し、 提案手法が両方の評価指標において、従来手法よりも優れ ていることを示した
- 22. ご清聴ありがとうございました