Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

スマホ音楽ゲームの動画から譜面をデータ化したかった

61 views

Published on

アイデア供養会 名古屋の陣(2018.9.3) https://geekbar.doorkeeper.jp/events/78549 にて発表

Published in: Software
  • Be the first to comment

  • Be the first to like this

スマホ音楽ゲームの動画から譜面をデータ化したかった

  1. 1. アイデア供養会 名古屋の陣 (2018.9.3) スマホ音楽ゲームの動画から 譜面をデータ化したかった H.Hiro https://hhiro.net/ https://twitter.com/h_hiro_ 2018-09-03 アイデア供養会 名古屋の陣 1
  2. 2. H.Hiro •名古屋4年目 •研究の仕事してます(情報系) •趣味でもソフト作ったり •MA最近参加してないなあ… (最後に参加したの2014年だった) 2018-09-03 アイデア供養会 名古屋の陣 2
  3. 3. スマホの音楽ゲーム いまいろいろ出てますよね 2018-09-03 アイデア供養会 名古屋の陣 3
  4. 4. 譜面(指などで反応すべき アイコンの並び) 典型例: 2018-09-03 アイデア供養会 名古屋の陣 4 アイコンは こちら向きに 流れる アイコンが所定の位置 (この場合はライン上)に 来たときにタップする
  5. 5. 一曲分の譜面が画像に まとまっていると、 音ゲーマー的には便利 •難しい箇所の対策に •譜面についての知識を他者と共有する 際に 2018-09-03 アイデア供養会 名古屋の陣 5
  6. 6. でも、そこから もう一歩先 2018-09-03 アイデア供養会 名古屋の陣 6
  7. 7. データ化したい 2018-09-03 アイデア供養会 名古屋の陣 7
  8. 8. 譜面のデータ化 2018-09-03 アイデア供養会 名古屋の陣 8 時刻 アイコン位置 0’02’’00 1 0’02’’23 3 0’02’’69 2 0’02’’92 4 0’03’’38 3 0’03’’61 5 ⋮ ⋮
  9. 9. やりたいこと ●統計を取る ●難易度の評価 2018-09-03 アイデア供養会 名古屋の陣 9
  10. 10. どの音ゲーにも あること なのですが、 2018-09-03 アイデア供養会 名古屋の陣 10
  11. 11. 「表示された難易度に 対して実際には 難しすぎる(簡単すぎる)」 というのは割とよく 存在する 「詐称」と言ったりする 2018-09-03 アイデア供養会 名古屋の陣 11
  12. 12. さっき挙げたゲームだと、 私の感覚では 2018-09-03 アイデア供養会 名古屋の陣 12 ゲーム内での 表示難易度 実際の難易度 24 25 26 27
  13. 13. データ化して 統計的に難易度を 評価したかった 2018-09-03 アイデア供養会 名古屋の陣 13
  14. 14. アーケードの音ゲーだと 動画を撮って手入力する、 とかしかないだろうけど 2018-09-03 アイデア供養会 名古屋の陣 14
  15. 15. スマホの音ゲーだと 割と自動化できそう なのでは? 2018-09-03 アイデア供養会 名古屋の陣 15
  16. 16. 手順 1. 画面キャプチャ 2. アイコン抽出 2018-09-03 アイデア供養会 名古屋の陣 16
  17. 17. これで大丈夫だと 思ったんだ… 2018-09-03 アイデア供養会 名古屋の陣 17
  18. 18. そうでもなかった 2018-09-03 アイデア供養会 名古屋の陣 18
  19. 19. アイコン抽出が 意外と難しい 2018-09-03 アイデア供養会 名古屋の陣 19
  20. 20. 画像から、パターンを 抽出するライブラリ なんていろいろ あるわけですけど 2018-09-03 アイデア供養会 名古屋の陣 20
  21. 21. 今回のタスクに 適した抽出が できるものが 見つけられなかった 2018-09-03 アイデア供養会 名古屋の陣 21
  22. 22. 画像のパターン抽出の 典型例1: 単にピクセル単位で マッチング具合を見る 2018-09-03 アイデア供養会 名古屋の陣 22
  23. 23. 抽出したいパターンと、対応した ピクセル同士の値を見て その差分が少なければよい 2018-09-03 アイデア供養会 名古屋の陣 23 1 3 0 0 0 2 0 3 0 0 3 4 0 2 0 0 0 0 1 0 0 0 5 1 0 1 3 0 0 0 1 0 3 0 0 3 4 3 2 0 0 0 0 2 0 0 0 5 1 0 差分 0 0 0 0 0 1 0 0 0 0 0 0 3 0 0 0 0 0 1 0 0 0 0 0 0
  24. 24. 抽出したいパターンと、対応した ピクセル同士の値を見て その差分が少なければよい •ちょっとでもずれると 検出できないのはつらい •実際こういうゲームは、描画 位置を整数ピクセル単位では 計算していない(はず) 2018-09-03 アイデア供養会 名古屋の陣 24
  25. 25. 画像のパターン抽出の 典型例2: 特徴点抽出 2018-09-03 アイデア供養会 名古屋の陣 25
  26. 26. •例えばこんな具合 https://qiita.com/fukuit/items/ 546f19d2abf98eccd3e7 •写真とかからの画像抽出だと こういう手法を考える ことが多いらしい 2018-09-03 アイデア供養会 名古屋の陣 26
  27. 27. •「どういう形をしているか」 について特徴的な点が多数 あることを想定している ものが多い 2018-09-03 アイデア供養会 名古屋の陣 27
  28. 28. •音ゲー画面のような より単純な画像には 効きにくかった 2018-09-03 アイデア供養会 名古屋の陣 28
  29. 29. 自分で特徴量を 作ってみたりも したのだが 色の割合(いわゆる ヒストグラム)とか 2018-09-03 アイデア供養会 名古屋の陣 29
  30. 30. うまくいかず 止まっている、 というところです 2018-09-03 アイデア供養会 名古屋の陣 30
  31. 31. 開発再開を 期しつつも 他の都合で大変な こともあり ひとまず供養 2018-09-03 アイデア供養会 名古屋の陣 31
  32. 32. ありがとう ございました 2018-09-03 アイデア供養会 名古屋の陣 32
  33. 33. おまけ 2018-09-03 アイデア供養会 名古屋の陣 33
  34. 34. このゲーム、 今日でリリースから ちょうど3年です キャンペーンも やってますね 2018-09-03 アイデア供養会 名古屋の陣 34
  35. 35. 何かの数字 160561232 2018-09-03 アイデア供養会 名古屋の陣 35

×