Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

画像の類似度を用いたダンス動画モーション訂正手法(WISS2019)

132 views

Published on

近年,SNS や動画共有サイトには多くのダンス動画の投稿が行われており,ダンスというコンテンツへの注目度は高い.こうしたダンス動画をダンスの内容に即して探索・推薦するには,ダンス動画を時系列のモーションデータとして扱う必要があるが,ダンス動画の量は膨大でありそのモーションを人手ですべて付与していくのは困難である.ここで動画からモーションを自動抽出する深層学習技術を利用することが考えられるが,自動抽出結果には多くのエラーが含まれるため,手作業でのモーションの訂正が必要である.そこで我々は,ダンス動画のフレーム間の画像の類似度が本来抽出されるべきポーズの類似度と高い相関を持つことに着目し,それを活用することで,モーション訂正作業を支援する手法を提案する.本稿ではproof-of-concept であるウェブシステムの実装と,そのシステムに実装されたモーション訂正支援インタラクションについて述べるとともに,その特性について考察を行う.

Published in: Science
  • Be the first to comment

  • Be the first to like this

画像の類似度を用いたダンス動画モーション訂正手法(WISS2019)

  1. 1. 又吉 康綱,小山 裕己,深山 覚,後藤 真孝,中村 聡史 明治大学大学院 産業技術総合研究所 WISS 2019 2019.09.25 @長野 画像の類似度を用いた ダンス動画モーション訂正手法
  2. 2. 背景:誰でもダンサーになれる時代 •動画共有サイトやSNSにダンス動画の投稿が多い • U.S.A. • バブリーダンス • 恋ダンス •ニコニコ動画上の「踊ってみた」タグ:18万件以上 • ダンス動画は一大コンテンツ ダンス動画が大量にある
  3. 3. 背景:モーションデータの重要性 ダンスのモーションデータを利活用した既存研究 • 動作に即した検索やダンスの感情推定を行うことが可能 ダンス研究に必要なモーションデータの不足 [Tsuchidaら 2018] [Aristidouら 2015] ダンス動画は大量にあるが,モーションデータは少ない
  4. 4. 背景:動画からモーションを推定 解決策:動画からモーションを自動推定する既存手法 しかし,推定結果には,時間的に不連続な動きや 足が入れ替わるようなエラーが生じる https://www.nicovideo.jp/watch/sm29383900
  5. 5. 背景:推定モーションのエラー訂正 • 全身の各ボーンのキーフレームにエラーがある箇所 を個別に訂正する • 膨大な手間がかかる 深層学習で自動推定したモーションを 効率的に訂正する仕組みが必要
  6. 6. 本研究の目的 動画から深層学習を用いて自動推定したモーションに 含まれているエラーを検知し,訂正の支援を行う
  7. 7. 関連研究 モーションキャプチャーのモーションにノイズを乗せて 機械学習することでエラーを除去[Holden 2018] 本研究では • 自動推定モーションのエラー訂正を対象 • 付随するダンス動画を活用する アプローチが異なる
  8. 8. 本研究で対象とする動画の種類 • カメラと背景固定 • カット割りがない • 1人で全身が写っている いわゆるニコニコ動画 の「踊ってみた」動画 https://www.nicovideo.jp/watch/sm29383900
  9. 9. 提案手法:キーアイディア 1分32秒 音楽にサビなどの繰り返しがあるように, ダンス動画にもモーション(振り付け)の繰り返しがある 4分25秒3分21秒 ダンス動画内で似た画像(フレーム)同士を求めることで, 類似しているダンスモーション(振り付け)の時刻がわかる 推薦:どれかが間違っていても他の正しい時刻から候補表示 コピー:訂正したポーズを他の間違っている時刻にコピー https://www.nicovideo.jp/watch/sm29383900
  10. 10. 提案手法:概要 ダンス動画から求めた 類似度行列 ダンス動画 モーション モーション訂正補助 (振り付けが類似している時刻 のモーションを推薦・コピー) 画像の解析 深層学習 による推定
  11. 11. 動画のフレーム間の類似度 1.0 0.3 0.6 0.3 1.0 0.4 0.6 0.4 1.0 縦と横に動画のフレーム 自己類似行列を作成する w = 横 幅 , h = 縦 幅 , I = 座 標 の 色 𝒔𝒊𝒎 𝑰𝒊, 𝑰𝒋 = 𝟏 σ 𝒙=𝟏 𝒘 σ 𝒚=𝟏 𝒉 𝑰𝒊 𝒙, 𝒚 − 𝑰𝒋(𝒙, 𝒚) 𝟏 + 𝟏 同座標の色が近いほど類似 とする類似度関数を設定 * 1 . 0 以 外 の 数 値 は 例 動画の全フレームの 画像間の類似度を求める https://www.nicovideo.jp/watch/sm29383900
  12. 12. 動画のフレーム間の類似度行列 5分のダンス動画に対して 計算した動画フレーム間の 類似度行列 軸:フレーム番号 色:濃いほど類似したフレーム 類似 非類似
  13. 13. 動画のフレーム間の類似度行列 5分のダンス動画に対して 計算した動画フレーム間の 類似度行列 軸:フレーム番号 色:濃いほど類似したフレーム 拡大 類似 非類似
  14. 14. 動画のフレーム間の類似度行列
  15. 15. 動画のフレーム間の類似度行列 斜め線を見つけることが可能
  16. 16. 動画のフレーム間の類似度行列 斜め線=ずっと類似したポーズ (類似しているフレーム) を表す 横:2000~4000フレーム 縦:4500~6500フレーム ⇨同じ振り付けで踊っている 例えば 2000フレーム≒4500フレーム
  17. 17. 類似度行列の妥当性 2000フレーム目から 類似したモーションを求めることが可能 4674フレーム目から https://www.nicovideo.jp/watch/sm29383900
  18. 18. システム:前処理 動画の類似度行列から,すべてのフレームに対して 類似度関数simが最も高い上位3フレーム分を事前計算 https://www.nicovideo.jp/watch/sm29383900
  19. 19. システム ライブデモ
  20. 20. システム https://www.nicovideo.jp/watch/sm29383900
  21. 21. システムの有効性の検証 深層学習による推定結果のモーションデータで検証 体全身を使う大きな動作にエラーがある際に 正しいポーズの推薦ができていた https://www.nicovideo.jp/watch/sm29383900
  22. 22. 議論 ダンス動画から求めた 類似度行列 ダンス動画 モーション モーション訂正補助 (振り付けが類似している時刻 のモーションを推薦・コピー) 画像の解析 深層学習 による推定
  23. 23. 議論 ダンス動画から求めた 類似度行列 ダンス動画 モーション モーション訂正補助 (振り付けが類似している時刻の モーションを推薦・コピー) モーションから求めた 類似度行列 + モーション訂正必要箇所の推薦 モーションの解析 [Kovar 2002] 深層学習 による推定 画像の解析
  24. 24. 議論 類似度行列の比較によるモーション推定エラーの検知 - = エラー検知 動画の 類似行列 モーションの 類似行列 動画とモーション類似行列の比較することで, モーションの訂正が必要な箇所を検知
  25. 25. 議論 動画とモーション類似度行列の比較手法の考案 動画からの類似度行列 モーションからの類似度行列 動画とモーションからの類似度行列の比較
  26. 26. 今後の展望 モーション訂正の Webインターフェース ダンス動画URL モーション DB • ダンス検索 • 振り付け生成 • モーション分析 • 学習データ ダンスのモーションデータの手軽な訂正に支えられた データベースを構築, 利活用 モーション データ
  27. 27. まとめ ダンス動画を画像処理し,モーションが類似している箇所を 求め, モーションデータの訂正を支援する枠組みを提案 今後 • モーションからの類似度行列の活用 • モーション訂正のためのインタラクションの拡大 • 手軽なモーション訂正が可能なWebインタフェースの構築 【足太ぺんた】恋愛デコレート 踊ってみた【オリジナル振付】 https://www.nicovideo.jp/watch/sm29383900 を投稿した「足太ぺんた」様の承諾を得て使用した 謝辞

×