アイデア供養会 名古屋の陣(2018.9.3) https://geekbar.doorkeeper.jp/events/78549 にて発表

1. アイデア供養会 名古屋の陣
(2018.9.3)
スマホ音楽ゲームの動画から
譜面をデータ化したかった
H.Hiro
https://hhiro.net/
https://twitter.com/h_hiro_
2018-09-03 アイデア供養会 名古屋の陣 1

2. H.Hiro
•名古屋4年目
•研究の仕事してます(情報系)
•趣味でもソフト作ったり
•MA最近参加してないなあ…
(最後に参加したの2014年だった)
2018-09-03 アイデア供養会 名古屋の陣 2

3. スマホの音楽ゲーム
いまいろいろ出てますよね
2018-09-03 アイデア供養会 名古屋の陣 3

4. 譜面(指などで反応すべき
アイコンの並び)
典型例：
2018-09-03 アイデア供養会 名古屋の陣 4
アイコンは
こちら向きに
流れる
アイコンが所定の位置
(この場合はライン上)に
来たときにタップする

5. 一曲分の譜面が画像に
まとまっていると、
音ゲーマー的には便利
•難しい箇所の対策に
•譜面についての知識を他者と共有する
際に
2018-09-03 アイデア供養会 名古屋の陣 5

6. でも、そこから
もう一歩先
2018-09-03 アイデア供養会 名古屋の陣 6

7. データ化したい
2018-09-03 アイデア供養会 名古屋の陣 7

8. 譜面のデータ化
2018-09-03 アイデア供養会 名古屋の陣 8
時刻 アイコン位置
0’02’’00 1
0’02’’23 3
0’02’’69 2
0’02’’92 4
0’03’’38 3
0’03’’61 5
⋮ ⋮

9. やりたいこと
●統計を取る
●難易度の評価
2018-09-03 アイデア供養会 名古屋の陣 9

10. どの音ゲーにも
あること
なのですが、
2018-09-03 アイデア供養会 名古屋の陣 10

11. 「表示された難易度に
対して実際には
難しすぎる(簡単すぎる)」
というのは割とよく
存在する
「詐称」と言ったりする
2018-09-03 アイデア供養会 名古屋の陣 11

12. さっき挙げたゲームだと、
私の感覚では
2018-09-03 アイデア供養会 名古屋の陣 12
ゲーム内での
表示難易度
実際の難易度
24
25
26
27

13. データ化して
統計的に難易度を
評価したかった
2018-09-03 アイデア供養会 名古屋の陣 13

14. アーケードの音ゲーだと
動画を撮って手入力する、
とかしかないだろうけど
2018-09-03 アイデア供養会 名古屋の陣 14

15. スマホの音ゲーだと
割と自動化できそう
なのでは?
2018-09-03 アイデア供養会 名古屋の陣 15

16. 手順
1. 画面キャプチャ
2. アイコン抽出
2018-09-03 アイデア供養会 名古屋の陣 16

17. これで大丈夫だと
思ったんだ…
2018-09-03 アイデア供養会 名古屋の陣 17

18. そうでもなかった
2018-09-03 アイデア供養会 名古屋の陣 18

19. アイコン抽出が
意外と難しい
2018-09-03 アイデア供養会 名古屋の陣 19

20. 画像から、パターンを
抽出するライブラリ
なんていろいろ
あるわけですけど
2018-09-03 アイデア供養会 名古屋の陣 20

21. 今回のタスクに
適した抽出が
できるものが
見つけられなかった
2018-09-03 アイデア供養会 名古屋の陣 21

22. 画像のパターン抽出の
典型例1：
単にピクセル単位で
マッチング具合を見る
2018-09-03 アイデア供養会 名古屋の陣 22

23. 抽出したいパターンと、対応した
ピクセル同士の値を見て
その差分が少なければよい
2018-09-03 アイデア供養会 名古屋の陣 23
1 3 0 0 0
2 0 3 0 0
3 4 0 2 0
0 0 0 1 0
0 0 5 1 0
1 3 0 0 0
1 0 3 0 0
3 4 3 2 0
0 0 0 2 0
0 0 5 1 0
差分
0 0 0 0 0
1 0 0 0 0
0 0 3 0 0
0 0 0 1 0
0 0 0 0 0

24. 抽出したいパターンと、対応した
ピクセル同士の値を見て
その差分が少なければよい
•ちょっとでもずれると
検出できないのはつらい
•実際こういうゲームは、描画
位置を整数ピクセル単位では
計算していない(はず)
2018-09-03 アイデア供養会 名古屋の陣 24

25. 画像のパターン抽出の
典型例2：
特徴点抽出
2018-09-03 アイデア供養会 名古屋の陣 25

26. •例えばこんな具合
https://qiita.com/fukuit/items/
546f19d2abf98eccd3e7
•写真とかからの画像抽出だと
こういう手法を考える
ことが多いらしい
2018-09-03 アイデア供養会 名古屋の陣 26

27. •「どういう形をしているか」
について特徴的な点が多数
あることを想定している
ものが多い
2018-09-03 アイデア供養会 名古屋の陣 27

28. •音ゲー画面のような
より単純な画像には
効きにくかった
2018-09-03 アイデア供養会 名古屋の陣 28

29. 自分で特徴量を
作ってみたりも
したのだが
色の割合（いわゆる
ヒストグラム）とか
2018-09-03 アイデア供養会 名古屋の陣 29

30. うまくいかず
止まっている、
というところです
2018-09-03 アイデア供養会 名古屋の陣 30

31. 開発再開を
期しつつも
他の都合で大変な
こともあり
ひとまず供養
2018-09-03 アイデア供養会 名古屋の陣 31

32. ありがとう
ございました
2018-09-03 アイデア供養会 名古屋の陣 32

33. おまけ
2018-09-03 アイデア供養会 名古屋の陣 33

34. このゲーム、
今日でリリースから
ちょうど3年です
キャンペーンも
やってますね
2018-09-03 アイデア供養会 名古屋の陣 34

35. 何かの数字
160561232
2018-09-03 アイデア供養会 名古屋の陣 35