AIST Dance Video Database: ダンス情報処理研究のためのストリートダンス動画データベース
•
0 likes•331 views
Databseページ https://aistdancedb.ongaaccel.jp ホームページ https://shuhei2306.com/index-j.html デモ動画 https://youtu.be/dpE3H10F0cY 発表動画 https://live.nicovideo.jp/watch/lv324368232 産総研ダンスビデオデータベースは、著作権をクリアした60曲の楽曲と13940本のストリートダンスビデオを含む大規模データベースです。 ダンスモーション分類やダンサー識別などのダンス情報処理の研究を促進させます。
More Related Content
What's hot
What's hot (20)
More from Shuhei Tsuchida
More from Shuhei Tsuchida (20)
Recently uploaded
Recently uploaded (8)
AIST Dance Video Database: ダンス情報処理研究のためのストリートダンス動画データベース
- 1. AIST Dance Video Database: ダンス情報処理研究のための ストリートダンス動画データベース ⼟⽥修平, 深⼭ 覚, 濱崎雅弘, 後藤真孝 1 発表動画やデモ動画のURLは 説明欄or本スライド最後のページをご覧ください。
- 2. 2 ストリートダンスの例
- 3. 3 ストリートダンスの例
- 6. 6 ダンス情報処理 (Dance Information Processing) ダンス情報を対象とした 多様な技術‧研究テーマをカバーする研究分野名 定義
- 7. 7 ダンスモーション推定 ダンスモーション⽣成 ダンスモーション構造解析 ダンスモーション個⼈識別 ダンスモーションアーカイブ ダンスモーションシンクロ度推定 ダンスモーション有無判定 ダンスモーションスコアリング ダンスモーションムード推定 ダンスモーション指⽰書⽣成 ダンス情報処理 (Dance Information Processing) ダンステクニック推定 ダンスジャンル推定 ダンスシーン推定 ダンスリズム推定 ダンス動画⽣成 ダンスコミュニティ⽀援 ダンス最適カメラワーク⽣成 ダンステクニック習得⽀援 ダンス体験拡張 ダンスパフォーマンス拡張
- 8. データベース 8 RWC研究⽤⾳楽データベース: 研究⽬的で利⽤可能な著作権処理済み楽曲‧楽器⾳データベース [後藤ら 2004] The Million Song Dataset [Bertin-Mahieuxら 2011] YouTube- 8 M Segments Dataset → ダンスに着⽬した⼤規模なデータベースはなかった
- 9. 9
- 13. ブレイク, ポップ, ロック, ワック, ミドルヒップホップ, LAスタイルヒップホップ, ハウス, クランプ, ストリートジャズ, バレエジャズ 10種類のストリートダンス AIST Dance DB の特徴: 多様なダンスジャンル 13
- 14. 14 35名のプロダンサーによるソロダンス&グループダンス AIST Dance DB の特徴: 多様なダンサー
- 16. 16 正⾯ 右 背⾯ 左 最⼤9台のカメラでダンサーを囲うように撮影 AIST Dance DB の特徴: 多様なカメラアングル
- 17. 構成 17
- 18. データベース概要 18 動画 13,940 本 ソロダンス 1,510，グループダンス 108 x カメラ 3~9台 楽曲 60 曲 1ダンスジャンルごとに6曲 ストリートダンスジャンル 10 種類 ブレイク，ポップ，ロック，ワック，ミドルヒップホップ，クランプ LAスタイルヒップホップ，ハウス，ストリートジャズ，バレエジャズ プロダンサー 35名 男性 20名，⼥性 15名 カメラ 最⼤9台 移動カメラ1台含む
- 19. 楽曲構成 19 楽曲 60 曲 1ダンスジャンルごとに6曲 動画 13,940 本 ソロダンス 1,510，グループダンス 108 x カメラ 3~9台
- 20. 楽曲構成 楽曲 60 曲 1ダンスジャンルごとに6曲 動画 13,940 本 ソロダンス 1,510，グループダンス 108 x カメラ 3~9台 ブレイク ポップ ロック ワック ミドルヒップホップ LAスタイルヒップホップ クランプ ハウス ストリートジャズ バレエジャズ 20
- 21. 楽曲構成 楽曲 60 曲 1ダンスジャンルごとに6曲 動画 13,940 本 ソロダンス 1,510，グループダンス 108 x カメラ 3~9台 ブレイク ポップ ロック ワック ミドルヒップホップ LAスタイルヒップホップ クランプ ハウス ストリートジャズ バレエジャズ 21 8 0 9 0 1 0 0 1 1 0 1 2 0 1 3 0 BPM 1 1 0 1 1 5 1 2 0 1 2 5 1 3 0 1 3 5 BPM
- 22. 動画構成 22 楽曲 60 曲 ソロダンス 1,510，グループダンス 108 x カメラ 3~9台
- 23. 動画構成 23 基本ダンス フリーダンス グループダンス 移動カメラ ショーケース サイファー バトル ブレイク ポップ ロック ワック ミドルヒップホップ LAスタイルヒップホップ ハウス クランプ ストリートジャズ バレエジャズ ジャンル別 13,888本 シチュエーション 5 2 本 動画 13,940 本 ソロダンス 1,510，グループダンス 108 x カメラ 3~9台
- 24. 動画構成 24 基本ダンス フリーダンス グループダンス 移動カメラ 動画: 1,080本 動画: 189本 動画: 90本 動画: 30本 1ジャンルあたり
- 25. 動画構成 25 9 cameras ダンサー数 3⼈ ダンス 1 0 x 4 つの印象 動画の⻑さ 16拍 カメラ 9台 120 種類のダンスを 9 ⽅向から撮影した動画1,080 本． ジャンルごと基本的な動きを 4 つの異なる印象で表現 （激しい，緩い，固い，柔らかい） 基本ダンス フリーダンス グループダンス 移動カメラ 1ジャンルあたり
- 26. 動画構成 26 ダンサー数 3⼈ ダンス 7 動画の⻑さ 64拍 カメラ 9台 各ダンサーが独⾃に振り付けした 21 種類のダンスを 9 ⽅向から撮影した動画189 本． 基本ダンス フリーダンス グループダンス 移動カメラ 1ジャンルあたり 9 cameras
- 27. 動画構成 27 グループ数 1グループ (3⼈) ダンス 1 0 動画の⻑さ 64拍 カメラ 9台 3 名のダンサーが 独⾃の振り付けを⼀緒に踊った 10 種類のグループダンスを 9 ⽅向から撮影した動画90 本． 基本ダンス フリーダンス グループダンス 移動カメラ 1ジャンルあたり
- 28. 動画構成 28 ダンサー数 3⼈ ダンス 3 ~ 4 動画の⻑さ 64拍 カメラ 移動1台, 固定2台 10 種類のダンスを カメラを前後に移動しながら （ドリーイン，ドリーアウトして） 3 ⽅向から撮影した動画30 本． 基本ダンス フリーダンス グループダンス 移動カメラ 1ジャンルあたり
- 29. 動画構成 29 動画 13,940 本 ソロダンス 1,510本，グループダンス 108本 基本ダンス フリーダンス グループダンス 移動カメラ ショーケース サイファー バトル ブレイク ポップ ロック ワック ミドルヒップホップ LAスタイルヒップホップ ハウス クランプ ストリートジャズ バレエジャズ ジャンル別 13,888本 シチュエーション 5 2 本
- 30. 動画構成 30 ショーケース サイファー バトル 動画: 27本 動画: 10本 動画: 15本
- 31. 動画構成 31 ショーケース サイファー バトル ジャンル数 - グループ数 3グループ（10⼈） ダンス 3 動画の⻑さ 96拍 カメラ 9台 10 名のダンサーがステージでの ダンスパフォーマンスを観客の前で 披露することを想定． 3 種類のグループダンスを 9 ⽅向から撮影した動画27 本．
- 32. 動画構成 32 ショーケース サイファー バトル ジャンル数 - グループ数 1グループ（10⼈） セット 2 動画の⻑さ 10分 カメラ 5台 10 名のダンサーが輪になって並び， ランダムな順番で踊り続ける ⼆つのセットを5 ⽅向から撮影した 動画10 本．
- 33. 動画構成 33 ショーケース サイファー バトル ジャンル数 - グループ数 3グループ（2⼈） セット 3 動画の⻑さ 5分 カメラ 5台 2 ⼈のダンサーが向かい合って踊る 三つのセットを5 ⽅向から撮影した 動画15 本．
- 34. 動画構成 34 動画 13,940 本 ソロダンス 1,510本，グループダンス 108本 基本ダンス フリーダンス グループダンス 移動カメラ ショーケース サイファー バトル ブレイク ポップ ロック ワック ミドルヒップホップ LAスタイルヒップホップ ハウス クランプ ストリートジャズ バレエジャズ ジャンル別 13,888本 シチュエーション 5 2 本
- 35. 使い⽅ 35
- 40. 40 https://aistdancedb.ongaaccel.jp $ wget -i https://aistdancedb.ongaaccel.jp/data/video_re fi ned/ 1 0 M/ re fi ned_ 1 0 M_all_video_url.csv
- 42. 42 https://aistdancedb.ongaaccel.jp ‧正⾯から撮影した動画のみを取り出したい場合 $ cat {list}.csv | grep c 0 1 | xargs -I{} -P 4 wget {} ‧「基本ダンス」の動画のみを取り出したい場合 $ cat {list}.csv | grep sBM | xargs -I{} -P 4 wget {} ‧正⾯から撮影 & ID 0 1 のダンサー の動画のみを取り出したい場合 $ cat {list}.csv | grep c 0 1 _d 0 1 | xargs -I{} -P 4 wget {} Filtered Search: 欲しい動画だけダウンロード Data Formatsに詳細記載
- 45. ダンスモーションジャンル分類タスク タスク: 動画フレームのみを⽤いて 1 0 種類のダンスジャンルに分類 45 RQ 1 : 動画から抽出するフレームのみを⽤いて，ダンスジャンル分類を⾏えるか？ RQ 2 : ダンスジャンル分類モデルの学習には，何フレーム必要か？ RQ 3 : ダンスジャンルによって分類のし易さは異なるか？ RQ 4 : 拍位置はダンスジャンル分類の性能向上に役⽴つか？ 動画 ? ブレイク ポップ ロック ワック クランプ ハウス ミドル ヒップホップ ストリート ジャズ 分類
- 46. 実験条件 46 AIST Dance DB内の「フリーダンス」カテゴリ， 正⾯から撮影された 2 1 0 本の動画を使⽤． サブセット トレーニングデータ 1 2 6 本 バリデーションデータ 1 4 本 1ジャンルあたり 2 1 本 x 1 0 ジャンル 2名 1名 : 7本 : 7本 : 7本 x x 10ジャンル = 140本 10ジャンル = 70本 テストデータ 7 0 本
- 48. 提案⼿法 48 v(i) (n) L固定法: 固定⻑で切り出す 適応法: 楽曲の拍位置に基づいて切り出す 126次元 v(i) (n) 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 252次元 拍情報 ṽ(i) (k) ṽ(i) (k)
- 49. 提案⼿法 49 v(i) (n) L固定法: 固定⻑で切り出す 適応法: 楽曲の拍位置に基づいて切り出す 126次元 v(i) (n) 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 252次元 拍情報 ṽ(i) (k) ṽ(i) (k) 固定⻑Lの区間で平均値と標準偏差を算出
- 50. 固定⻑Lの区間で平均値と標準偏差を算出 提案⼿法 50 v(i) (n) L固定法: 固定⻑で切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 ṽ(i) (k) 固定⻑Lの区間で平均値と標準偏差を算出 適応法: 楽曲の拍位置に基づいて切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 拍情報 ṽ(i) (k)
- 51. 固定⻑Lの区間で平均値と標準偏差を算出 提案⼿法 51 v(i) (n) L固定法: 固定⻑で切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 ṽ(i) (k) 固定⻑Lの区間で平均値と標準偏差を算出 適応法: 楽曲の拍位置に基づいて切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 拍情報 ṽ(i) (k)
- 52. 提案⼿法 52 v(i) (n) L固定法: 固定⻑で切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 ṽ(i) (k) 固定⻑Lの区間で平均値と標準偏差を算出 適応法: 楽曲の拍位置に基づいて切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 拍情報 ṽ(i) (k)
- 53. 提案⼿法 53 v(i) (n) L固定法: 固定⻑で切り出す 適応法: 楽曲の拍位置に基づいて切り出す 126次元 v(i) (n) 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 252次元 拍情報 ṽ(i) (k) ṽ(i) (k) 固定⻑Lの区間で平均値と標準偏差を算出
- 54. 提案⼿法 54 v(i) (n) 適応法: 楽曲の拍位置に基づいて切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 拍情報 ṽ(i) (k) 1~4拍の区間で平均値と標準偏差を算出 L固定法: 固定⻑で切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 ṽ(i) (k) 固定⻑Lの区間で平均値と標準偏差を算出
- 55. 提案⼿法 55 v(i) (n) 適応法: 楽曲の拍位置に基づいて切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 拍情報 ṽ(i) (k) 1~4拍の区間で平均値と標準偏差を算出 L固定法: 固定⻑で切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 ṽ(i) (k) 固定⻑Lの区間で平均値と標準偏差を算出
- 56. 提案⼿法 56 v(i) (n) 適応法: 楽曲の拍位置に基づいて切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 拍情報 ṽ(i) (k) 1~4拍の区間で平均値と標準偏差を算出 L固定法: 固定⻑で切り出す 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 ṽ(i) (k) 固定⻑Lの区間で平均値と標準偏差を算出
- 57. 提案⼿法 57 v(i) (n) L固定法: 固定⻑で切り出す 適応法: 楽曲の拍位置に基づいて切り出す 126次元 v(i) (n) 126次元 v(i) (n) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 全ての動画フレーム ( ) 1 ≤ n ≤ N(i) 252次元 252次元 拍情報 ṽ(i) (k) ṽ(i) (k) 固定⻑Lの区間で平均値と標準偏差を算出 1~4拍の区間で平均値と標準偏差を算出
- 58. 提案⼿法 58 252次元 ṽ(i) (k) データ分割 {2, 4, 8, 16, 32} ユニット
- 59. 提案⼿法 59 252次元 ṽ(i) (k) データ分割 {2, 4, 8, 16, 32} ユニット
- 60. 提案⼿法 60 252次元 ṽ(i) (k) データ分割 {2, 4, 8, 16, 32} ユニット
- 63. PCA次元削減 252次元 ṽ(i) (k) … LSTMに基づくモデル SVMに基づくモデル 提案⼿法 63 LSTM層 Dense層 SVM ダンスジャンル推定 ダンスジャンル推定 データ分割
- 65. 結果 RQ 1 : 動画から抽出するフレームのみを⽤いて， ダンスジャンル分類を⾏えるか？ 65 3分割交差検証: ダンサーで振り分け Test Train Test Test Train Train Train Best Accuracy: 9 1 . 4 % 60フレームで 32ユニットの LSTMに基づくL固定法 → ダンスジャンルを⽐較的⾼い精度で分類できた．
- 68. 結果 RQ 3 : ダンスジャンルによって分類のし易さは異なるか？ 68 ‧クランプ: 分類が容易 ‧ハウス: 分類が困難 ‧ストリートジャズとバレエジャズ: 分類が困難 全 体 フレーム数 少ない → ジャンル によって分類のし易さは異なった．フレーム数も分類に影響．
- 69. 結果 RQ 4 : 拍位置はダンスジャンル分類の性能向上に役⽴つか？ 69 Best Accuracy LSTMに基づいたモデル SVMに基づいたモデル L固定法 9 1 . 4 % 8 4 . 0 % 適応法 8 3 . 4 % 8 1 . 0 % → 今回は拍位置情報が役⽴つ⽅法を⾒つけることができなかった． ただし拍位置情報の活⽤は裏拍を⽤いる等の改善の余地があり， 今後の課題とする．
- 70. 結果のまとめ 70 RQ 1 : 動画から抽出するフレームのみを⽤いて，ダンスジャンル分類を⾏えるか？ RQ 2 : ダンスジャンル分類モデルの学習には，何フレーム必要か？ RQ 3 : ダンスジャンルによって分類のし易さは異なるか？ RQ 4 : 拍位置はダンスジャンル分類の性能向上に役⽴つか？ → ダンスジャンルを⽐較的⾼い精度（91.4%）で分類できた． → 1秒未満のダンスモーションでもある程度ジャンル分類ができた． → ジャンル によって分類のし易さが異なった．フレーム数も分類に影響． → 拍位置は性能向上に役⽴たなかった．
- 74. ダンス情報処理の概要 ダンスモーション 74 ダンス楽曲 分析 ⽣成 ダンスモーション分析 ダンスモーション⽣成 ‧ダンスモーションのジャンル分類 ‧ダンサー個⼈識別 ‧ダンステクニック推定 ‧振り付け構造解析 ‧⼈間の動きと区別できない⾃然な ダンスモーションを⾃動で⽣成 ダンス楽曲分析 ダンス楽曲⽣成 ‧楽曲ジャンル推定 ‧楽曲識別 ‧ビート推定 ‧⾃動作曲 ‧スタイル変換
- 76. ダンス情報処理 76 ダンス楽曲分析 x ダンスモーション分析 ダンスモーションの分析結果 → ⾳楽側の構造推定に役⽴てられる可能性 ⾳楽側の分析結果（拍位置等）→ 映像側のダンスモーションの分析に有⽤
- 77. ダンス楽曲分析 x ダンスモーション分析 ダンス情報処理 77 ‧⾃動DJシステム ‧ダンス動画制作⽀援 ‧etc. ダンスモーションの分析結果 → ⾳楽側の構造推定に役⽴てられる可能性 ⾳楽側の分析結果（拍位置等）→ 映像側のダンスモーションの分析に有⽤ 多様なジャンルによるダンス カメラ
- 81. ダンス情報処理 81 マルチモーダルな情報処理が不可⽋ • ダンス練習⽀援 • 振り付け作成⽀援 • グループダンスの⽀援‧解析 • ダンスコミュニティ⽀援 • ダンス最適カメラワーク⽣成 • ダンステクニック習得⽀援 • ダンスパフォーマンスの拡張 • ダンスアーカイヴ • ダンス動画編集
- 82. データベースの活⽤ 82 13,940 本 60 曲 9 台 35 名 10 ジャンル
- 83. データベースの活⽤ 13,940 本 60 曲 9 台 35 名 10 ジャンル ‧新たなタスクとして ‧ダンスモーション個⼈識別 ‧ダンステクニック推定 ‧ダンスーモーションジャンル識別 83 ‧ダンスモーションと楽曲 の関連を調査 ‧様々な画像情報処理タスク
- 84. まとめ 84 ‧新規に制作したダンス楽曲に合わせて踊る 独⾃のストリートダンス動画を収録した 世界初の⼤規模な研究⽤ DB を構築した． ‧ダンスモーションジャンル分類タスクを提案し， 4 つ のベースライン⼿法を開発して評価した． ‧新たな研究分野「ダンス情報処理」を提唱し，議論した． https://aistdancedb.ongaaccel.jp
- 85. 85 付録
- 86. 86 Beat - LSTM Beat - SVM 12341234 Beat Beat 2481 6 3 2 2481 6 3 2
- 87. 87 適⽤法での使⽤フレーム数 3拍 x 1 6 ユニット = 48拍 48拍 * 27~45フレーム = 1296~2160フレーム 1296~2160フレーム = 21.6~36秒
- 88. 88 固定法での使⽤フレーム数 60フレーム x 3 2 ユニット = 1920フレーム 1920フレーム = 32秒