Music Visualization as User Interfaces

Music Visualization as User Interfaces
ユーザインタフェースとしての音楽情報可視化伊藤貴之お茶の水女子大学理学部情報科学科教授 2014年7月22日可視化情報シンポジウム Itoh Laboratory, Ochanomizu University
講演内容 • 講演者の自己紹介 • お茶大伊藤研における音楽情報可視化の事例 – クラシック音楽のスコア情報の可視化 – ポータブル音楽プレイヤーのユーザインタフェース – 対話型進化計算を用いた音楽推薦インタフェース • 考察と展望 1 Itoh Laboratory, Ochanomizu University
最近の研究：1ページで要約 3 情報可視化 3次元CG応用マルチメディアUI Itoh Laboratory, Ochanomizu University
なぜ音楽情報可視化 • 可視化のチャレンジ性を説明しやすい課題一つ – 鑑賞に時間がかかるコンテンツの俯瞰・概観 – 主観（聴覚）から主観（視覚）への変換 – 多彩なアプリケーション • 日本ではマイナーかもしれないが海外ではホットな話題 – 例えば以下のチュートリアル http://www.slideshare.net/plamere/using-visualizations-for-music-discovery • 伊藤自身の学生時代からの趣味 – 作曲、指揮、DTM、管楽器、その他の楽器 • 学科学生に人気の高い研究分野 4 Itoh Laboratory, Ochanomizu University
Colorscore:大きな1曲の構造を可視化する • 何十段もあるクラシック音楽の楽譜（スコア）を色に置き換えて要約表示する • メロディの種類で小節を色分けする 6 木管楽器金管楽器打楽器弦楽器前半後半 Itoh Laboratory, Ochanomizu University
事例：チャイコフスキー「花のワルツ」 7 7 主旋律伴奏（和音）伴奏（低音）その他（装飾）青紫色の主旋律に着目 Itoh Laboratory, Ochanomizu University
シンプルな圧縮表示で要点を読みやすく • できるだけ重要な色を残しながら段数を減らす 8 Itoh Laboratory, Ochanomizu University
GRAPE: プレイリスト単位の音楽情報可視化 • 数十曲の楽曲群（プレイリスト）を 1枚の抽象画像に • 多数のプレイリストの印象・特徴を 1画面に一覧表示 • 色で各楽曲の特徴を表現 →プレイリストをグラデーション表現 10 ※GRAPE = GRadation Arranged Playlist Environment Itoh Laboratory, Ochanomizu University
GRAPEにおける楽曲の色づけと配置 • 色づけ：各曲の音響情報から得られる3つの特徴量をYCbCr色座標の3変数に割り当てる • 配置： SOM (Self organizing map) によって各曲の2次元座標値を求める 11 Y: 高周波のエネルギー比 Cb: テンポ Cr: 音量の平均 Itoh Laboratory, Ochanomizu University
GRAPHによる可視化の例 12 Itoh Laboratory, Ochanomizu University ユーザ(A) のプレイリスト： • 音量の大きいポップス中心 • バラード曲にて色彩の差が際立つユーザ(B) のプレイリスト： • ポップスからBGM曲までバラエティ豊富ユーザ(C) のプレイリスト： • 音量差の大きいクラシック中心 • シンプルな編成の曲の色彩が暗い傾向 ※曲調をあてさせるクイズ実験においてもおおむね良好な結果を得る
Lyricon: 複数のアイコンによる歌謡曲表現 • 歌詞からキーワード探し → アイコン候補選び • 曲調の推測 → アイコンを決定 • プレイリストの一部として表示 13 Itoh Laboratory, Ochanomizu University
Lyriconのアイコン選択結果 (1/2) 14 SUMMER TIME / NEWS 空・海・星 …夏全開！春夏秋冬 / ヒルクライム花・海・紅葉・雪だるま …四季折々 Itoh Laboratory, Ochanomizu University
Lyriconのアイコン選択結果 (2/2) 15 SAKURA / いきものがかり故郷を回想都会に花桜を中心とした情景描写の中のアクセント Alive / Mr. Children 都会・仕事への怒り夢・希望・未来恋人・花徐々に前向きに展開するストーリー性 Itoh Laboratory, Ochanomizu University
MusiCube: 音楽推薦結果の可視化 17 Itoh Laboratory, Ochanomizu University 音楽特徴のうち 2軸を選んで楽曲をプロット自動生成したプレイリスト音楽特徴の選択タブ未評価提示中反対賛成再生、停止、賛成、反対、などの各種ボタン https://www.youtube.com/watch?v=ILqP4O3T0Yk
MusiCubeによる推薦結果パターン • 被験者A・Bは嗜好がよく似ている – 音量平均が小 → 音量変化のあるアコースティック系？ – 高音/低音比が小 → キラキラ音の少ないシンプルな編成？ • 被験者Cは大きく異なる – 不協和音比が小 → オーソドックスな作曲技法？ 18 Itoh Laboratory, Ochanomizu University 音量平均音量平均音量平均高音/低音比高音/低音比不協和音比被験者A 被験者B 被験者C
お茶大伊藤研における音楽情報可視化 • 原則として「合奏情報可視化」 – 音楽的に完成した情報（楽譜 or 録音物）を対象 – 2種類の入力情報 • 楽譜情報（MIDI）からの音楽構造分析 • 音響情報（WAV,MP3）からの特徴量算出 • 可視化すること自体はゴールではない – 独習、選曲、推薦などのためのユーザインタフェース – 「能動的音楽鑑賞」（産総研後藤先生の提唱）の一種 • 実用シナリオに基づく分類 – 一般人か専門家か、曲数は多いか少ないか、 20 Itoh Laboratory, Ochanomizu University
お茶大伊藤研における音楽情報可視化 21 Itoh Laboratory, Ochanomizu University 曲数一般人向け専門家向け音楽群の傾向分析スコアの俯瞰音楽推薦ポータブルインタフェース写真と音楽のマッチング
今後の展望 • ユーザの感性へのアプローチを拡げる – 心理学的に客観性のある理論の導入 – Deep Learning などによる大局的な学習計算 • 音楽鑑賞定額化がもたらす展開 – 本当の意味でのスケーラブルな手法の必要性 – 新たなアプリへの展開…例えば：推薦結果や可視化結果の友人間での共有 • 音楽生成との連動 – ボーカロイド、n次創作… • そのほか、現実的なこと – 誰もが納得するユーザ評価手法の確立 – 実用化（企業共同研究やダウンロードアプリ）への展開 22 Itoh Laboratory, Ochanomizu University
参考文献 • 本発表で紹介した事例 – A. Hayashi, T. Itoh, M. Matsubara, Colorscore - Visualization and Condensation of Structure of Classical Music, Knowledge Visualization Currents: from Text to Art to Culture, Springer Edit Volume, ISBN-978-1-4471-4302-4, 2012. – W. Machida, T. Itoh, Lyricon: A Visual Music Selection Interface Featuring Multiple Icons, International Conference on Information Visualization, pp. 145-150, 2011. – T. Uota, T. Itoh, GRAPE: A Gradation Based Portable Visual Playlist, International Conference on Information Visualization, 2014. – Y. Saito, T. Itoh, MusiCube: A Visual Music Recommendation System featuring Interactive Evolutionary Computing, International Symposium on Visual Information Communication & Interaction, 2011. • 本発表で紹介していない事例 – K. Ohyama, T. Itoh, DIVA: An Automatic Music Arrangement Technique Based on Impressions of Images, Lecture Notes in Computer Science, Vol. 4569 (Smart Graphics 2007), pp. 178-181, 2007. – K. Kusama, T. Itoh, Abstract Picture Generation and Zooming User Interface for Intuitive Music Browsing, Springer Multimedia Tools and Applications, DOI 10.1007/s11042-012-1108-y, 2012. – A. Uno, T. Itoh, MALL: A Life Log Based Music Recommendation System and Portable Music Player, ACM Symposium on Applied Computing, Multimedia Visualization, 2014. 23 Itoh Laboratory, Ochanomizu University

Music Visualization as User Interfaces

Check these out next

Music Visualization as User Interfaces

Recommended

More Related Content

Slideshows for you(20)

Similar to Music Visualization as User Interfaces(20)

More from Takayuki Itoh(6)

Recently uploaded(20)

Music Visualization as User Interfaces