Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Polygon rnn

167 views

Published on

Polygon RNN, Polygon RNN++
2019/10/17 第4回生成モデル勉強会で登壇した内容

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Polygon rnn

  1. 1. アノテーションの補助・ 半自動化の研究 Kyoto Oct. 17, 2019 (株)エクサウィザーズ 藤井亮宏
  2. 2. 自己紹介 • 名前: Ø 藤井 亮宏(アキヒロ) • 所属: Ø 株式会社 エクサウィザーズ@京都オフィス • 仕事内容 Ø データ解析 Ø Deep learningとか使って⾊々(画像、時系列、医療 etc…) @AkiraTOSEI akihiro_f
  3. 3. STRICTLY CONFIDENTIAL | 3 Summary 本日話す内容のまとめ • 領域分割アノテーションを支援できるPolygon RNN, Polygon RNN++を紹 介 • 領域分割を『物体の頂点を探索する問題』として解く • Githubでコードが公開されているので、すぐに活用できる
  4. 4. アノテーションは面倒
  5. 5. STRICTLY CONFIDENTIAL | 5 AIベンチャーにモデル開発を頼むとき AIベンチャーは、データのアノテーション(もしくはアノテーション費用)を 要求してくる アノテーションある? ないなら、作るからお⾦ ちょうだい❤いいモデルつくって❤
  6. 6. STRICTLY CONFIDENTIAL | 6 アノテーションは高コスト 既存のデータセットと同数のアノテーションをしようと思うと、超高コスト ImageNet : 14000K Coco dataset:330K CIFAR-10:60K
  7. 7. STRICTLY CONFIDENTIAL | 7 アノテーションの難易度 『分類(Classification)』<『物体検知(Object Detection)』<『領域分割 (Sematic Segmentation)』の順でアノテーションコストが増加 1 (ラベルを表すint値1つ) (x,y) x4 (x,y) x 10~ 分類 (Classification) 物体検知 (Object Detec=on) 領域分割 (Sema=c Segmenta=on) annotation
  8. 8. Polygon RNN チーム紹介
  9. 9. STRICTLY CONFIDENTIAL | 9 Polygon RNNの概要 • 一番高コストの領域分割アノテーションを半自動化することで、アノテー ションの手伝いができるモデル • 領域分割を『物体の頂点を探索する問題』として解く • CNNで特徴量を抽出し、探索済みの頂点を時系列としてRNNに入れること で新たな頂点を探索する • 人の修正を介在させることができる Castrejon et al.(2017)
  10. 10. STRICTLY CONFIDENTIAL | 10 画像の特徴量抽出 VGGをベースにし、各解像度の情報を足し合わせる Castrejon et al.(2017)
  11. 11. STRICTLY CONFIDENTIAL | 11 頂点を探索する 探索済みの頂点を2つ時系列として入れ、新たな頂点を探索する t-2 t (prediction target) t-1 t-3 Castrejon et al.(2017)
  12. 12. STRICTLY CONFIDENTIAL | 12 定性評価 人の介在なしでも、上手く領域分割できている Castrejon et al.(2017)
  13. 13. STRICTLY CONFIDENTIAL | 13 定性評価 人の介在を介在させると少しよくなる Castrejon et al.(2017)
  14. 14. STRICTLY CONFIDENTIAL | 14 定量評価 何もなしでアノテーションするのと比較すると、最大で7倍以上速度が向上で きる。人が介入すると精度UP。 頂点の数 (アノテーションの数) 正解とのズレの ⼤きさ(閾値T)に よって、⼈を介 在させる
  15. 15. STRICTLY CONFIDENTIAL | 15 Polygon RNNの概要 • セグメンテーションを半自動化することで、アノテーションの手伝いができ るモデル • 領域分割を『物体の頂点を探索する問題』として解く • CNNで特徴量を抽出し、探索済みの頂点を時系列としてRNNに入れること で新たな頂点を探索する • 人の修正を介在させることができる Castrejon et al.(2017)
  16. 16. Polygon RNN++ チーム紹介
  17. 17. • 物体の外形を捉えていても、アノテーションの正解ではないとペナルティがか かってしまう。 • 正解アノテーションとのIOU(重複領域)を最大化することが目的だが、目的関数 はIOUと直接相関がない • CNNで低解像度化された状態で頂点を出すので、解像度が低い Polygon RNNの問題点 • 予測点●と正解データ●のCross Entropyを最 ⼩化(どの四⾓領域にいるかの分類問題) • 予測点●は領域分割点として正しいが、正解 データ●に含まれていないので、ペナルティ がかかる t-3 t-2 t-1 正解 予測点 ⼊⼒は224x224であるが、出⼒頂点 は28x28の解像度しかない
  18. 18. • 物体の外形を捉えていても、アノテーションの正解ではないとペナルティが かかってしまう。 • 正解アノテーションとのIOU(重複領域)を最大化することが目的だが、目的 関数はIOUと直接相関がない • CNNで低解像度化された状態で頂点を出すので、解像度が低い Polygon RNNの問題点 • 予測点●は領域分割点として正しいが、正解 データ●に含まれていないので、ペナルティ がかかる • 予測点●と正解データ●のCross Entropyを最 適化(どの四⾓領域にいるかの分類問題) t-3 t-2 t-1 正解 予測点 ⼊⼒は224x224であるが、出⼒頂点 は28x28の解像度しかない IOUをRewardとして強化学習を⽤いて最⼤化す る(正解データとの正解不正解で評価しない) Graph Neural Networksを使って⾼解像 度化を諮る。
  19. 19. Polygon RNN++の概要 • ネットワークのパラメータをPolicy(方策)と見做して強化学習(Policy Gradient)で最適化する(※Polygon RNNのように分類問題として最適化した後に実施) • 複数の領域候補からIOUベースで尤もらしい候補を選ぶために、IOUを算出 するEvaluate Networksを追加 • 出力された頂点の中間に新たな頂点を設け、Graph Neural Networksで位置 を最適化する 頂点を密にする ネットワークのパラメータをPolicyとして⾒做し、 強化学習でIOUを最⼤化する
  20. 20. Policy Gradient with REINFORCE REINFORCE trickを使って、微分不可能なIOUの勾配の期待値を近似する。 r・・・Reward(IOU) p・・・policy(次の頂点をそれぞれ選択する確率) IOUは微分できないので、REINFORCE trick(Williams et al.(1992))を使って勾配の期待値を計算する r (IOU)を最⼤化するようにロスを設定 このまま使うと不安定になるので、ベースラインを設ける。 以前のpolicyの最⾼報酬をベースにすることで、改善するとプラスの 値をとる(self criRcal method (Rennie et al.(2017) )
  21. 21. Evaluate Networks 『CNNの出力』『RNNの隠れ層状態』『予測多角形(物体領域)』からIOUを予 測するネットワークを学習する。 推論時に複数の初期頂点候補から、それに対応する予測物体領域を算出し、こ のネットワークでIOUを評価→最大のものを選択する 初期位置候補A 初期位置候補B 初期位置候補K 予測IOU:0.80予測IOU:0.92予測IOU:0.55 選択 ・・・
  22. 22. 頂点の出力を密にする • Gated Graph Neural Networks(Li et al.(2015))という時系列系のGraph Neural Networksに、中点を追加した多角形を入力。どちらに向かって動か すかという分類問題として解く。
  23. 23. その他の工夫 特徴量抽出ネットワークをVGG→ResNetに変え、より良質な特徴量を抽出す る
  24. 24. 定性評価 先行研究のPolygon RNNと比べると精緻なアノテーションができている Polygon RNN++ Polygon RNN
  25. 25. 定量評価 既存手法のどれと比べてもあらゆる物体で精緻なアノテーションをしている。
  26. 26. コードの公開 Githubでコードが公開されているので、すぐに利用できる。
  27. 27. Summary 本日話す内容のまとめ • 領域分割アノテーションを支援できるPolygon RNN, Polygon RNN++を紹 介 • 領域分割を『物体の頂点を探索する問題』として解く • Githubでコードが公開されているので、すぐに活用できる

×