Recommended
More Related Content
What's hot
What's hot (20)
Similar to Music Visualization as User Interfaces
Similar to Music Visualization as User Interfaces (20)
More from Takayuki Itoh
More from Takayuki Itoh (6)
Recently uploaded
Recently uploaded (9)
Music Visualization as User Interfaces
- 1. ユーザインタフェースとしての 音楽情報可視化 伊藤貴之 お茶の水女子大学 理学部情報科学科 教授 2014年7月22日 可視化情報シンポジウム Itoh Laboratory, Ochanomizu University
- 2. 講演内容 • 講演者の自己紹介 • お茶大伊藤研における音楽情報可視化の事例 – クラシック音楽のスコア情報の可視化 – ポータブル音楽プレイヤーのユーザインタフェース – 対話型進化計算を用いた音楽推薦インタフェース • 考察と展望 1 Itoh Laboratory, Ochanomizu University
- 4. なぜ音楽情報可視化 • 可視化のチャレンジ性を説明しやすい課題一つ – 鑑賞に時間がかかるコンテンツの俯瞰・概観 – 主観（聴覚）から主観（視覚）への変換 – 多彩なアプリケーション • 日本ではマイナーかもしれないが海外ではホットな話題 – 例えば以下のチュートリアル http://www.slideshare.net/plamere/using-visualizations-for-music-discovery • 伊藤自身の学生時代からの趣味 – 作曲、指揮、DTM、管楽器、その他の楽器 • 学科学生に人気の高い研究分野 4 Itoh Laboratory, Ochanomizu University
- 5. 講演内容 • 講演者の自己紹介 • お茶大伊藤研における音楽情報可視化の事例 – クラシック音楽のスコア情報の可視化 – ポータブル音楽プレイヤーのユーザインタフェース – 対話型進化計算を用いた音楽推薦インタフェース • 考察と展望 5 Itoh Laboratory, Ochanomizu University
- 6. Colorscore:大きな1曲の構造を可視化する • 何十段もあるクラシック音楽の楽譜（スコア）を 色に置き換えて要約表示する • メロディの種類で小節を色分けする 6 木管楽器 金管楽器 打楽器 弦楽器 前半 後半 Itoh Laboratory, Ochanomizu University
- 7. 事例：チャイコフスキー「花のワルツ」 7 7 主旋律 伴奏（和音） 伴奏（低音） その他（装飾） 青紫色の主旋律に着目 Itoh Laboratory, Ochanomizu University
- 9. 講演内容 • 講演者の自己紹介 • お茶大伊藤研における音楽情報可視化の事例 – クラシック音楽のスコア情報の可視化 – ポータブル音楽プレイヤーのユーザインタフェース – 対話型進化計算を用いた音楽推薦インタフェース • 考察と展望 9 Itoh Laboratory, Ochanomizu University
- 10. GRAPE: プレイリスト単位の音楽情報可視化 • 数十曲の楽曲群（プレイリスト）を 1枚の抽象画像に • 多数のプレイリストの印象・特徴を 1画面に一覧表示 • 色で各楽曲の特徴を表現 →プレイリストをグラデーション表現 10 ※GRAPE = GRadation Arranged Playlist Environment Itoh Laboratory, Ochanomizu University
- 11. GRAPEにおける楽曲の色づけと配置 • 色づけ： 各曲の音響情報から得られ る3つの特徴量をYCbCr色座 標の3変数に割り当てる • 配置： SOM (Self organizing map) によって各曲の2次 元座標値を求める 11 Y: 高周波のエネルギー比 Cb: テンポ Cr: 音量の平均 Itoh Laboratory, Ochanomizu University
- 12. GRAPHによる可視化の例 12 Itoh Laboratory, Ochanomizu University ユーザ(A) のプレイリスト： • 音量の大きいポップス中心 • バラード曲にて色彩の差が際立つ ユーザ(B) のプレイリスト： • ポップスからBGM曲までバラエティ豊富 ユーザ(C) のプレイリスト： • 音量差の大きいクラシック中心 • シンプルな編成の曲の色彩が暗い傾向 ※曲調をあてさせるクイズ実験においても おおむね良好な結果を得る
- 13. Lyricon: 複数のアイコンによる歌謡曲表現 • 歌詞からキーワード探し → アイコン候補選び • 曲調の推測 → アイコンを決定 • プレイリストの一部として表示 13 Itoh Laboratory, Ochanomizu University
- 14. Lyriconのアイコン選択結果 (1/2) 14 SUMMER TIME / NEWS 空・海・星 …夏全開！ 春夏秋冬 / ヒルクライム 花・海・紅葉・雪だるま …四季折々 Itoh Laboratory, Ochanomizu University
- 15. Lyriconのアイコン選択結果 (2/2) 15 SAKURA / いきものがかり 故郷を回想 都会に花 桜を中心とした情景描写の中のアクセント Alive / Mr. Children 都会・仕事への怒り 夢・希望・未来 恋人・花 徐々に前向きに展開するストーリー性 Itoh Laboratory, Ochanomizu University
- 16. 講演内容 • 講演者の自己紹介 • お茶大伊藤研における音楽情報可視化の事例 – クラシック音楽のスコア情報の可視化 – ポータブル音楽プレイヤーのユーザインタフェース – 対話型進化計算を用いた音楽推薦インタフェース • 考察と展望 16 Itoh Laboratory, Ochanomizu University
- 17. MusiCube: 音楽推薦結果の可視化 17 Itoh Laboratory, Ochanomizu University 音楽特徴のうち 2軸を選んで 楽曲をプロット 自動生成した プレイリスト 音楽特徴の選択タブ 未評価 提示中 反対 賛成 再生、停止、賛成、反対、 などの各種ボタン https://www.youtube.com/watch?v=ILqP4O3T0Yk
- 18. MusiCubeによる推薦結果パターン • 被験者A・Bは嗜好がよく似ている – 音量平均が小 → 音量変化のあるアコースティック系？ – 高音/低音比が小 → キラキラ音の少ないシンプルな編成？ • 被験者Cは大きく異なる – 不協和音比が小 → オーソドックスな作曲技法？ 18 Itoh Laboratory, Ochanomizu University 音量 平均 音量 平均 音量 平均 高音/低音比 高音/低音比 不協和音比 被験者A 被験者B 被験者C
- 19. 講演内容 • 講演者の自己紹介 • お茶大伊藤研における音楽情報可視化の事例 – クラシック音楽のスコア情報の可視化 – ポータブル音楽プレイヤーのユーザインタフェース – 対話型進化計算を用いた音楽推薦インタフェース • 考察と展望 19 Itoh Laboratory, Ochanomizu University
- 20. お茶大伊藤研における音楽情報可視化 • 原則として「合奏情報可視化」 – 音楽的に完成した情報 （楽譜 or 録音物） を対象 – 2種類の入力情報 • 楽譜情報（MIDI）からの音楽構造分析 • 音響情報（WAV,MP3）からの特徴量算出 • 可視化すること自体はゴールではない – 独習、選曲、推薦などのためのユーザインタフェース – 「能動的音楽鑑賞」 （産総研 後藤先生の提唱） の一種 • 実用シナリオに基づく分類 – 一般人か専門家か、曲数は多いか少ないか、 20 Itoh Laboratory, Ochanomizu University
- 22. 今後の展望 • ユーザの感性へのアプローチを拡げる – 心理学的に客観性のある理論の導入 – Deep Learning などによる大局的な学習計算 • 音楽鑑賞定額化がもたらす展開 – 本当の意味でのスケーラブルな手法の必要性 – 新たなアプリへの展開…例えば： 推薦結果や可視化結果の友人間での共有 • 音楽生成との連動 – ボーカロイド、n次創作… • そのほか、現実的なこと – 誰もが納得するユーザ評価手法の確立 – 実用化 （企業共同研究やダウンロードアプリ） への展開 22 Itoh Laboratory, Ochanomizu University
- 23. 参考文献 • 本発表で紹介した事例 – A. Hayashi, T. Itoh, M. Matsubara, Colorscore - Visualization and Condensation of Structure of Classical Music, Knowledge Visualization Currents: from Text to Art to Culture, Springer Edit Volume, ISBN-978-1-4471-4302-4, 2012. – W. Machida, T. Itoh, Lyricon: A Visual Music Selection Interface Featuring Multiple Icons, International Conference on Information Visualization, pp. 145-150, 2011. – T. Uota, T. Itoh, GRAPE: A Gradation Based Portable Visual Playlist, International Conference on Information Visualization, 2014. – Y. Saito, T. Itoh, MusiCube: A Visual Music Recommendation System featuring Interactive Evolutionary Computing, International Symposium on Visual Information Communication & Interaction, 2011. • 本発表で紹介していない事例 – K. Ohyama, T. Itoh, DIVA: An Automatic Music Arrangement Technique Based on Impressions of Images, Lecture Notes in Computer Science, Vol. 4569 (Smart Graphics 2007), pp. 178-181, 2007. – K. Kusama, T. Itoh, Abstract Picture Generation and Zooming User Interface for Intuitive Music Browsing, Springer Multimedia Tools and Applications, DOI 10.1007/s11042-012-1108-y, 2012. – A. Uno, T. Itoh, MALL: A Life Log Based Music Recommendation System and Portable Music Player, ACM Symposium on Applied Computing, Multimedia Visualization, 2014. 23 Itoh Laboratory, Ochanomizu University