![本研究の目的と課題
目的
• 演奏未経験者でも背景楽曲と即興合奏できる合奏支援システム
– 難しい要素：調性（コード進行など）→システムが補う
– 簡単な要素： リズム、旋律の上り下がり（旋律線）
→ 身体動作で入力
– [一ノ瀬 16]の先行研究では専用のモーションセンサーで実現していたが
本研究では広く普及したスマートフォンセンサーを用いて実現する
• 将来的には複数人での即興合奏への拡張も想定
本研究の課題
1. ユーザの手の上下動の推定 (ポジショントラッキング)
2. 直感的な動作による発音タイミングの入力方法
3. 不協和にならないように音高を補正
[一ノ瀬 16] 一ノ瀬ら,”調性判断の不要な身体動作入力による即興合奏支援システ
ムの試作”第78回全国大会講演論文集 (2016): 235-236.
手を下げると
音高も下がる
手を上げると
音高も上がる
不協和音に
ならない音を出力
(調性を補う)](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
More Related Content
What's hot
What's hot (20)
Viewers also liked
More from siramatu-lab
More from siramatu-lab (15)
ipsj全国大会発表スライド_水野
- 1. 即興合奏支援システムのための スマートフォンセンサーを用いた 身体動作認識手法 水野創太1 一ノ瀬修吾1 白松俊1 北原鉄朗2 1.名古屋工業大学 2.日本大学
- 2. 本研究の目的と課題 目的 • 演奏未経験者でも背景楽曲と即興合奏できる合奏支援システム – 難しい要素：調性（コード進行など）→システムが補う – 簡単な要素： リズム、旋律の上り下がり（旋律線） → 身体動作で入力 – [一ノ瀬 16]の先行研究では専用のモーションセンサーで実現していたが 本研究では広く普及したスマートフォンセンサーを用いて実現する • 将来的には複数人での即興合奏への拡張も想定 本研究の課題 1. ユーザの手の上下動の推定 (ポジショントラッキング) 2. 直感的な動作による発音タイミングの入力方法 3. 不協和にならないように音高を補正 [一ノ瀬 16] 一ノ瀬ら,”調性判断の不要な身体動作入力による即興合奏支援システ ムの試作”第78回全国大会講演論文集 (2016): 235-236. 手を下げると 音高も下がる 手を上げると 音高も上がる 不協和音に ならない音を出力 (調性を補う)
- 3. 音高決定のための2つのアプローチ ユーザの手の上下動を基に音高決定を行う手法として2手法を検討 アプローチ1 ポジショントラッキング: 加速度センサー，ジャイロセン サーの値から鉛直方向の位置を推定し，音高を決定 アプローチ2 ポジショントラッキング+機械学習: センサー値とポジショ ントラッキングの結果を機械学習(例：ベイジアンネットワーク，HMM， LSTMなど)の入力として利用し音高を決定
- 4. ポジショントラッキング 使用するスマートフォンセンサー • 重力加速度センサー • 加速度センサー • ジャイロセンサー 鉛直方向の加速度 ・ 経過時間 移動距離(ユーザの手の上下動) 1. スマートフォンセンサーから手の上下動→音高の上下動を推定 移動距離：p 推定した移動距離を基に音高を変化
- 7. 発音タイミングの入力方法 スマートフォンを振ること によって発音 • より直感的動作で演奏 できる • センサー値から検出す ることが簡単でない 画面内のボタンをタッチする ことによって発音 • 直感的動作らしさが低い • 入力手法が簡単なため確 実な発音ができる
- 12. 移動距離の定義 ベイジアンネットワークに用いる移動距離を表す入力pの定義を変更 1. 絶対距離： 演奏開始位置からの移動距離 2. 相対距離： 1つ前の発音位置からの移動距離 - ユーザの手の動きと音高変化の一致精度の向上が目的 1回目の 発音タイミング 2回目の 発音タイミング 高さ 時刻
- 13. 評価実験 実験1. 訓練データで想定したメロディを生成できるか？ - 音名予測の正解率 - 上下動予測の正解率 - 発音タイミング予測の再現率と適合率 実験2. ユーザ動作と合致した音高変化を生成できるか？ - ユーザ動作と音高変化の合致率
- 14. 訓練データを使ったメロディ生成精度 • 訓練データで想定したメロディを生成できるか？ - 出力する音名とユーザ動作の上下動の予測の正解率を比較 - テストデータと訓練データは同一 - 使用楽曲：エーデルワイス • 精度を測る粒度 - サンプル単位 - ノート単位 • 発音タイミングの推定についてノート単位での再現率，適合率を確認した． - 再現率 = システムの判定した発音タイミングのうち原曲の発音タイミングだった数 原曲の発音タイミングの数 - 適合率 = システムの判定した発音タイミングのうち原曲の発音タイミングだった数 システムの判定した発音タイミングの数 C D E 1ノート(音符単位) 音高 時間 1サンプル(約5ms毎) 1つ目のサンプルの予測結果を ノート全体の予測結果と仮定 ノート数:3 サンプル数:24
- 15. サンプル単位 音名予測の正解率 (正解サンプル数/全サンプル数) 上下動予測の正解率 (正解サンプル数/全サンプル数) シェイク動作 0.70 (45888/65278) 0.60 (42975/65278) タッチ動作 0.82 (53764/65251) 0.78 (50909/65251) 実験1の結果 絶対距離 相対距離 絶対距離 相対距離 シェイク動作 0.45 (121/270) 未実験 (今後の課題) 0.56 (152/270) 未実験 (今後の課題) タッチ動作 0.56 (152/270) 0.71 (192/270) 0.68 (184/270) 0.91 (247/270) ノート単位 音名予測の正解率 (正解ノート数/全ノート数) 上下動予測の正解率 (正解ノート数/全ノート数)
- 16. ユーザ動作と音高変化の合致率評価 ユーザがあらかじめ定めた上下動作を行った際の音高とユーザの動 きそれぞれの上下動の一致率を評価 - 絶対距離，相対距離のそれぞれで比較 - 文脈有. 1つ前の音名を表すni-1を入力に含めた - 文脈無. 1つ前の音名を表すni-1を入力に含めない場合での精度 - 絶対距離を用いた場合大きな変化はない - 相対距離を用いた場合は精度の向上が見られた シェイク動作 絶対距離 相対距離 文脈有 0.48 (31/64) 文脈無 0.53 (34/64) 未実験 (今後の課題)
- 17. まとめ • スマートフォンセンサーを用いて計測したユーザ動作の特徴量から ユーザの手の上下動を推定するシステムを開発した • スマートフォンセンサーから取得した値を入力とした発音タイミング と出力音名を予測するベイジアンネットワークを作成した – タッチ動作では一定の精度が得られたが，シェイク動作では改善の必要性 • ユーザの直感的動作から背景楽曲に合う音名を出力することで背 景楽曲との即興合奏を行う演奏インターフェースを開発した 今後の課題 • LSTM,HMMなどによる時系列データに適した予測手法の実装 • 複数デバイスでの通信による複数人での同時合奏 • 複数の楽曲による訓練データの作成 • 相対距離を用いたシェイク動作による訓練データ作成 まとめと今後の課題
Editor's Notes
- それでは,表記の題目で名古屋工業大学の水野が発表いたします。
- まず、本研究における目的と課題についてご説明します。 本研究では、演奏未経験者が即興合奏を行う上で困難な要素となるコード進行などの調性を不協和音とならない音を出力するようにシステムが補い、未経験者でもわかりやすい リズムや旋律の上り下がりである旋律線と呼ばれる要素を身体動作で入力することによって演奏未経験者でも背景楽曲と即興合奏ができる 合奏支援システムの開発を目的としています。 先行研究では、専用のモーションセンサーカメラを用いて実現していました。本研究では、これをスマートフォンに搭載されたセンサーを用いた実現を目指しています。 次に本研究における課題になります． 1つは，直感的動作からリズムと旋律線を入力するため，ユーザの手の上下動を推定し，図のようにユーザがスマートフォンを持ち上げると音高も上がり，手を下げると音高も下がるといったように手の上下動に基づいた音高決定を行うことです． 2つ目は，直感的な発音タイミングの入力方法の決定です 3つ目は，出力音が不協和にならないように音高を補正することです
- まず1つ目の課題であるユーザの手の上下動推定を行い，手の上下動に基づいた音高決定を行うためのアプローチとして 本研究では，2つの方法を検討しました． 1つ目のアプローチでは，加速度センサー，ジャイロセンサーの値から鉛直方向の位置を推定するポジショントラッキングを行い，その結果から音高を決定する方法です． 2つ目のアプローチでは，ポジショントラッキングによって得た結果を機械学習に入力することでユーザ動作に基づいた音名を予測することで音高を決定する方法です． 次に，スマートフォンセンサー使ったポジショントラッキングを行う手法についてご説明させていただきます．
- 本研究におけるポジショントラッキング手法では 加速度センサーとジャイロセンサーによって計測した スマートフォン本体の加速度，回転速度から鉛直方向の加速度を求め，加速度とセンサーからの値取得の経過時間からユーザの手の上下動を表す移動距離を求めます． しかし，この移動距離を求めることによるユーザの手の上下動推定手法では推定精度が低いことがわかりました
- こちらは，実際にあらかじめ定めた距離を被験者にスマートフォンを持ち上げてもらった際に計測された値を表す表になります． このように個人の移動速度のなどの違いが原因によって同じ距離を測定しているにも関わらず，被験者ごとに結果が大きく変化 してしまっていることがわかります． よって本研究では，検出した移動距離から音高の変化を行う1つ目のアプローチではなく，加速度や速度などのユーザ動作の特徴量も含めて 機械学習に入力として用いることで出力する音高を予測する2つ目のアプローチ手法を実装しました．
- こちらが機械学習を用いた2つ目のアプローチ手法の場合のシステムの全体を表す構成図になります． 背景楽曲に合わせたユーザの身体動作によって演奏におけるリズムと旋律線の入力を行います． 次に，スマートフォンセンサーを用いたポジショントラッキングを用いてユーザ動作の特徴量を検出します． 検出した特徴量や背景楽曲のコード進行などを入力とした機械学習によってユーザ動作と背景楽曲に基づいた音名や発音タイミングを予測することで背景楽曲との即興合奏を行います．今回は機械学習の内ベイジアンネットワークを用いた予測システムを実装しました． 次に，本研究における発音タイミングの決定方法についてご説明いたします
- 本研究における発音タイミングの入力方法では，スマートフォンを振るシェイク動作とスマートフォンの画面内に配置されたボタンをタッチするタッチ動作の2つを想定しています シェイク動作ではベイジアンネットワークを用いてスマートフォンセンサーから取得した値を入力することで発音タイミングであるかどうかを予測することによって 発音タイミングの入力を行います．シェイク動作では，タッチ動作よりもより直感的な動作で演奏を行うことができる代わりに，システム上で配置されたボタンタッチによって確実に発音タイミングの入力を行えるタッチ動作よりも発音タイミングの検出が簡単でないと予想されます 次に，本研究におけるベイジアンネットワークを用いた予測システムについてご説明いたします
- まず，ベイジアンネットワークを作成するためにスマートフォンセンサーを用いて，実際に背景楽曲に合わせて被験者にスマートフォンを動かしてもらうことで訓練データサンプルを取得する実験を行いました．こちらがその時の映像になります． この実験によって約5msごとにセンサーから取得した値を1サンプルとして，約65000サンプル取得することができました． このサンプルを訓練データとして学習することで，発音タイミング，出力する音名，ユーザ動作の上下動を予測するベイジアンネットワークを作成しました
- こちらが，発音タイミングを予測するベイジアンネットワークを表す図になります． センサー値を基に求めたこれらの要素を入力として発音タイミングを表すtを予測し 演奏におけるリズムを決定します．
- 次にこちらが出力音名を予測するベイジアンネットワークを表す図になります． こちらではセンサーから取得した値に加えて背景楽曲の伴奏コードや直前に出力した音名など,調性などの文脈も入力として 出力するべき音名niを予測します． このベイジアンネットワークによって予測される音名はユーザの上下動に基づいて背景楽曲に合う音名を予測することで背景楽曲と不協和にならない音を出力します
- こちらが，ユーザ動作の上下動を予測するベイジアンネットワークを表す図になります． 発音タイミングを予測するベイジアンネットワークと同様にセンサー値を基に求めたこれらの要素を入力としてユーザ動作の上下動を表すhを予測し，出力する音名の予測結果と合わせて出力音のオクターブを変化させます
- 本研究では，ベイジアンネットワークの入力に用いる移動距離の定義を演奏開始位置からの絶対距離から 1つ前の発音位置からの相対距離に変更することで，ユーザの手の動きと音高の変化の 一致精度を向上させる試みを行いました． また，シェイク動作については発音タイミング推定の精度が不安定であることから訓練データの作成が困難であったため今回はタッチ動作における訓練データのみを作成しました．
- 次に本研究では，評価実験として2つの実験を行いました． 1つ目は，ベイジアンネットワーク作成に用いた訓練データから想定したメロディを生成する実験を行いました 2つ目に，ユーザ動作と合致した音高変化を生成する実験を行いました まず，1つ目の実験内容についてご説明いたします
- まず1つ目の実験では，各ベイジアンネットワークについて，訓練データをテストデータとした場合の予測精度を確認しました． 出力する音名，ユーザ動作の上下動の推定については原曲と同一の音名を予測できているか，原曲と同一の上下動を予測できているかを評価項目とし， 訓練データサンプル単位，ノート単位それぞれの粒度における正解率を比較しました． 今回は，各ノートにおける1つ目のサンプルの予測結果をノート全体の予測結果と仮定しました． また，発音タイミングの推定については各ノートの発音タイミングにおける再現率と適合率の確認を行いました． 再現率は原曲における発音タイミングのうちシステムが原曲通りに予測できている数の割合を 適合率はシステムの判定した発音タイミングのうち原曲における発音タイミングだった数の割合を確認しました．
- こちらが出力する音名，ユーザ動作の上下動の予測におけるサンプル単位とノート単位での予測精度を表す表になります サンプル単位での精度とノート単位での精度をそれぞれ比較した際，音名予測を比較した場合，上下動予測を比較した場合，どちらにおいてもサンプル単位での予測精度に比べて，ノート単位での予測精度が大きく低下していることがわかります． これは各ノートにおける発音タイミングでの予測精度が低く，音が持続する間に予測精度が高まる傾向にあることが考えられます． また，相対距離を用いたモデルによる予測精度が特にユーザ動作の上下動推定について大きく向上していることから移動距離の定義として相対距離を用いることが有効である可能性が示唆されています．なお，シェイク動作での相対距離を用いた実験については今後の課題とさせていただきます． 次に，こちらが発音タイミング予測における再現率と適合率を表す表になります． 再現率に比べて，適合率の割合が大きく低下していることから発音タイミングでない場合でも発音タイミングと誤判定されている場合が 多いことがわかります．
- 次に2つ目の実験では，ユーザにあらかじめ定めた上下動作を行った際の音高とユーザの動きそれぞれの上下動が一致するかどうかの実験を行いました． シェイク動作とタッチ動作の2手法での演奏で絶対距離，相対距離それぞれを用いた場合において，調性などの文脈である1つ前に出力した音名を入力に含めるか含めないかの2パターンで精度の確認を行いました．
- 最後に本研究のまとめと今後の課題になります 本研究では，スマートフォンのセンサーを用いてユーザ動作の特徴量を取得しユーザの手の上下動から出力音高を決定するシステムを開発しました．しかし，手の上下動の推定精度が低いことがわかったため取得したユーザ動作の特徴量や上下動推定結果からベイジアンネットワークを用いて発音タイミングと背景楽曲に合う 音名を予測することでユーザの直感的動作から背景楽曲に合わせた即興合奏を行う演奏インターフェースを開発しました 今後の課題としては LSTM,HMMなどの時系列データに適した予測システムの実装や複数デバイスの通信による複数ユーザでの同時合奏機能，複数楽曲による訓練データの作成が今後の課題となります． これで発表を終わります
- これは、一ノ瀬らの先行研究において用いられていた手法になります。 「Intel RealSense 3D」カメラを用いてユーザの手の上下動を入力とする手法を用いてきました。 しかし、この手法では特別なデバイスを必要とすること。また、カメラが認識できる範囲内でしか実行することができない という点から、複数人数の参加が困難であるという問題点が存在しました。 そこで、我々は新しい手法として多くの人々から利用されているスマートフォンに搭載されたセンサーを用いてユーザがスマートフォンを 上下させる動きを入力として旋律概形を決定する手法を提案しました。
- こちらが評価結果を表すグラフになります． どの項目についてもシェイク動作よりもタッチ動作のほうが評価が高くなっています． 特に発音タイミングについてシェイク動作では，シェイク動作時のみでなく音高操作のための手の上下移動時にも発音される場合が 多かったことからタッチ動作を大きく下回る評価となりました
- こちらは1つ目の発音タイミングを評価する実験結果になります．タッチ動作についてはボタンタッチに連動して確実に発音できるため高い評価を得ましたが，シェイク動作についてはシェイク動作時だけでなく音高操作のための上下移動の際にも発音される場合があるなどの問題から低い評価となりました．