Recommended
More Related Content
More from kthrlab
More from kthrlab (19)
音楽と情報科学
- 1. 音楽と情報科学 日本大学 文理学部 情報科学科 北原 鉄朗 http://www.kthrlab.jp/ Twitter: @tetsurokitahara 大阪産業大学 特別講演 2020年12月23日
- 3. 自己紹介 ● 札幌生まれ。41歳 ● 小～中学時代： – 家にあったPCをいじる（当時、PCをいじる≒プログラミング）。 – 某音楽教室でピアノや作曲を学ぶ（中学からはDTMも）。 ● 高校時代： バンド活動を始める。プログラミングもいろいろ手を出す。 ● 大学時代： 進学のため柏に引っ越す。 – 情報科学科に入学し、プログラミングを本格的に学ぶ。 – バンド活動も本格的に行う。 – 4年生からは、音楽情報処理の研究を始める。 ● 大学院時代： 京都の大学院に進学。 – 音楽情報処理の研究を本格展開。バンド活動はほとんど休止 ● その後： 関西の大学の研究員を経て、現在東京在住。
- 7. 日大文理 北原研で行われている 音楽情報処理 （あくまで一例） ● 自動作曲・自動編曲 C G E C Am A E C ● 音楽検索・音楽推薦 ● 音楽の非専門家の ための音楽創作支援 ● カラオケの楽しみを 拡張する試み
- 10. C G7 C G7 旋律の横方向のつながり（継続性） 同時に鳴る各パートの音の関係（同時性） ある音が「ミ」のときに、その次の音が「レ」は妥当か? ソプラノの音が「ミ」のときに、 そのときのバスの音が「ド」は妥当か? 何が難しいのか 同時性と継続性の両方を満たす音を探す必要がある
- 11. 曲線描画に基づく即興演奏支援システム （Universitat Pompeu Fabra との共同研究）【事例2】 音楽の非専門家が即興演奏を楽しめるシステム 技術的課題 特別な訓練なしに 直感的に簡単に使える ユーザが入力したデータから 音楽的に妥当なメロディを得る 演奏しながら瞬時にメロディ を考えなければならない 非専門家向けの演奏UI メロディの自動生成
- 13. カラオケのためのハモリ練習支援システム 【事例3】 ● ハモリパートの自動生成 ● ハモリパートが正しく歌えているかのフィードバック この研究が目指すところ （2017年度卒業 白石美南氏・小笠原梢氏の研究成果） カラオケでハモりたい人が、ハモリパートを練習できる ● 原曲にハモリパートがなくてもハモれるようにしたい ● 原曲のハモリパート（ある場合）異なっても構わない ● 家などで1人で練習したい 技術的課題
- 14. HamoKara 主旋律 (薄いグレイ) 歌詞 副旋律 (赤) 歌唱の音の高さ (濃いグレイ) ハモリパート（副旋律）を 自動生成 自身のハモリ歌唱が正確かを 把握しながらハモリの練習をできる
- 15. 3. 音楽の基礎知識
- 16. 音名 いわゆる「ド」「レ」「ミ」のこと。オクターブの違いを考えない。 ド レ ミ ファ ソ ラ シ ド レ ミ ファ ソ ラ シ ド レ ミ ファ ソ ラ シ 同じ音名（ド）で1オクターブ違う ド♯ レ♯ ファ♯ ソ♯ ラ♯ レ♭ ミ♭ ソ♭ ラ♭ シ♭
- 17. 音階 音名を並べたもの。7音や5音取り出して並べることが多い。 ハ長調の音階 ド レ ミ ファ ソ ラ シ ハ短調の音階 ド レ ファ ソ ミ♭ ラ♭ シ♭ ※バリエーションが いくつかある 「ハ長調の音階」の音名を主に使った曲がハ長調の曲。 つまり、ハ長調の曲には、♯／♭の音名はめったに出ない。 主音。最後によく出てくる。使用頻度も高い。
- 20. 4. 音楽を確率で考えよう
- 22. 確率を使ってメロディを作る2つの方法 1音1音ランダムに決める ド ド ド レ ミ ソ ソ ラ ミ 袋の中から玉を選ぶのと同じ 確率が最大になるドレミ の組み合わせを探す ドドド ⇒ 3/9 × 3/9 × 3/9 = 1/27 ドドレ ⇒ 3/9 × 3/9 × 1/9 = 1/83 ドドミ ⇒ 3/9 × 3/9 × 2/9 = 2/83 ...... ドドド なぜ確率最大なのか 不適切な音の組み合わせを 避けて作曲されているなら、 出現確率は、音の組み合わせ の適切さを表すといえる。
- 23. 確率の表記法を確認しよう メロディの各音符に x1 , x2 , x3 , ... という変数を割り当てる。 これらの変数には、各音名が入るものとする。 P(x1 = ド) ... 最初の音符の音名が「ド」である確率 P(x1 = ド, x2 = レ) ... 最初が「ド」で、次が「レ」である確率 ※コンマは「かつ」を意味する。 P(x2 = レ | x1 = ド) ... 最初の音符が「ド」という条件の下で、 その次の音符が「レ」である確率（条件付確率）
- 24. 確率を使う注意点 ● メロディにどの音を選ぶかは、本来ランダムではない。 – おそらく、作曲者はそれなりの必然をもって選んでいる。 – でも、それは作曲者の中だけの必然。 – 外からそれが見えない以上、確率現象として扱うしかない。 ● 袋の玉と同様、ド・ド#・レ…シ（音名という）によって 選ばれる確率は違う。 – それぞれが選ばれる確率を「確率分布」という。 ● 先の例では、「ドの次のミ」と「レの次のミ」を区別しない。 – 条件付確率を使って、前の音からのつながりを考慮すべき。
- 25. 考えてみよう その1 次の6つのメロディだけがある世界を考えよう。 ドミソ、 ソファミ、 ミレド、 ソミミ、 レミド、 ドレド ● P(x1 = ド) = ● x1, x2, x3を区別しないとき、 P(xn = ド) = ● P(x2 = ミ) = ● P(x2 = ミ | x1 = ド) = ● x1, x2, x3を区別しないとき、P(xn = ミ | xn-1 = ド) =
- 26. 考えてみよう その2 次の6つのメロディだけがある世界を考えよう。 ドミソ、 ソファミ、 ミレド、 ソミミ、 レミド、 ドレド ● x1, x2, x3を区別しないとき、 この6つのメロディから 得られる確率分布に従ってメロディを作ったときに 「ドレミ」というメロディが得られる確率は?
- 27. 適切な確率分布を用いる 一様分布を用いる ド ド レ レ ミ フ フ ソ ソ ラ ラ シ ♯ ♯ ァ ァ ♯ ♯ ♯ 0.00 0.05 0.10 0.15 データから学習する ド ド レ レ ミ フ フ ソ ソ ラ ラ シ ♯ ♯ ァ ァ ♯ ♯ ♯ 0.00 0.05 0.10 0.15 0.20 ハ長調の場合 ハ長調らしい 音遣いになっている
- 28. 前の音からのつながりを考慮する メロディに各音名が出現する確率 ド ド レ レ ミ フ フ ソ ソ ラ ラ シ ♯ ♯ ァ ァ ♯ ♯ ♯ 0.00 0.10 0.20 0.30 ド ド レ レ ミ フ フ ソ ソ ラ ラ シ ♯ ♯ ァ ァ ♯ ♯ ♯ 0.00 0.05 0.10 0.15 0.20 「ド」の次に各音名が出現する確率 ド ド レ レ ミ フ フ ソ ソ ラ ラ シ ♯ ♯ ァ ァ ♯ ♯♯ 0.30 0.00 「レ」の次に各音名が出現する確率 P(xn = ミ) P(xn = ミ | xn-1 = ド) P(xn = ミ | xn-1 = レ) 低 高
- 29. 前の音からのつながりを考慮する 最初の音符 1つ前がないので、 P(xn=□) を使う ドドレレミフフソソララシ ♯ ♯ ァ ァ ♯ ♯ ♯ 0.00 0.05 0.10 0.15 0.20 「ド」が選ばれた 2つ目の音符 1つ前が「ド」なので、 P(xn=□ | xn-1=ド) を使う ドドレレミフフソソララシ ♯ ♯ ァ ァ ♯ ♯ ♯ 0.00 0.10 0.20 0.30 3つ目の音符 1つ前が「レ」なので、 P(xn=□ | xn-1=レ) を使う ドドレレミフフソソララシ ♯ ♯ ァ ァ ♯ ♯ ♯ 0.30 0.00 「レ」が選ばれた 「ミ」が選ばれた
- 31. ソプラノにアルトを付ける x1 x2 x3 x4 x5 x6 x7 y1 y2 y3 y4 y5 y6 y7 ソプラノ x1 x2 x3 ... が 与えられたときに、 アルト y1 y2 y3 ... を決める 1 y1 の決め方 P(y1 = □ | x1 = ソ) に従って乱数を得る。 2 y2 の決め方 P(y2 = □ | x2 = ラ, y1 = ミ) に従って乱数を得る。 「ミ」が選ばれた。 これを α P(y2 = □ | x2 = ラ) P(y2 = □ | y1 = ミ) と近似する。 以下同様 （α： 和を1にするための定数）
- 32. x1 x2 y1 y2 x2 =ラ, y1 =ミ が決定済みとして y2 を決めよう。 ド シ xn ド シ P(yn = □ | xn = □) yn ド P(yn = □ | yn-1 = □) yn シ ド シ yn-1
- 33. x1 x2 y1 y2 x2 =ラ, y1 =ミ が決定済みとして y2 を決めよう。 ド シ xn ド シ P(yn = □ | xn = □) yn ド P(yn = □ | yn-1 = □) yn シ ド シ yn-1 P(yn = □ | xn = ラ) P(yn = □ | yn-1 = ミ)
- 34. x1 x2 y1 y2 x2 =ラ, y1 =ミ が決定済みとして y2 を決めよう。 ド シ xn ド シ P(yn = □ | xn = □) yn ド P(yn = □ | yn-1 = □) yn シ ド シ yn-1 P(yn = □ | xn = ラ) yn-1 P(yn = □ | yn-1 = ミ) この確率分布に基づいて ドレミを決める
- 35. 考えてみよう その3 次の6つのメロディ（アルト付き）だけがある世界を考えよう。 x: ドミソ、 ソファミ、 ミ レ ド、 ソミミ、 レミド、 ド レ ド y: ドドミ、 ミ レ ド、 ソファミ、 ミドド、 レレド、 ソファソ ● P(yn = ド | xn = ミ) = ● P(yn = レ | xn = ミ) = ● P(yn = ド | yn-1 = レ) = ● P(yn = ド | xn = ミ, yn-1 = レ) = ● P(yn = ド | xn = ミ) P(yn = ド | yn-1 = レ) = 何番目に出るかは区別しないとする。
- 36. 考えてみよう その4 次の6つのメロディ（アルト付き）だけがある世界を考えよう。 x: ドミソ、 ソファミ、 ミ レ ド、 ソミミ、 レミド、 ド レ ド y: ドドミ、 ミ レ ド、 ソファミ、 ミドド、 レレド、 ソファソ ● ソプラノ「ドレミ」が与えられたときに、 アルト「ソファソ」が出力される確率は? 何番目に出るかは区別しないとする。 https://colab.research.google.com/drive/1mWWwMunql2USHEA9dBOoMraGQL__1CiT デモ用プログラム（Google Colab）：
- 39. 実現方法 現在の音 次の音直前の音 与えられる or 決定済 確率計算対象 先の考えに従い、アルトに加えて テノール・バスを確率に基づいて決定する。
- 40. データ ● 讃美歌254曲 ● すべてハ長調に 移調して使用 学習データ 評価データ ● 和声学の教科書 から抽出した 32個のメロディ 『讃美歌 第2編 ともにうたおう』 （日本基督教団讃美歌委員会）
- 41. 別の実行例
- 42. 曲線描画に基づく即興演奏支援システム （Universitat Pompeu Fabra との共同研究）【事例2】 画面上に「旋律概形」 を描くと、その場で メロディが生成
- 43. 実現方法 旋律概形 リズム決定 3 音名決定 ド ソ ミ 基本的な考え方 確率に基づいて音名を決定 P(xn = □ | xn-1 = ド, hn = ドミソ) メロディの n個目の音符 メロディの (n-1)個目の音符 伴奏の和音 ≒ αP(xn =□ | xn-1 =ド) P(xn =□ | hn =ドミソ) 旋律概形に沿ったメロディを得るために… ※1つ前の音符が 「ド」の場合 0 5 10 α P(xn =□ | sn = 5) ×P(xn =□ | xn-1 =ド) P(xn =□ | hn =ドミソ) 旋律概形の縦軸の座標 sn と xn が離れるほど確率が低くなるように設定 ブルースのメロディ 約50曲で学習
- 46. JamSketch （旋律概形による 即興演奏支援システム）を用いた実験 目的 JamSketch が生成したメロディが、 人間が演奏したメロディにどの程度近いか確かめる。 実験方法 1. 実験参加者に JamSketch と普通のキーボードで 即興演奏してもらう。 2. 両方のメロディを区別なく並べる。 3. 第三者が聴いて評価する。 ※ ここでは第三者による評価の結果は省略 実験参加者 5名の演奏経験者（うち2名は即興演奏も経験） 1名の音楽未経験者
- 47. 実験参加者の詳細 音楽経験 実験で使用 演奏 即興 KB Syst. P1 Yes Yes Yes No P2 Yes No Yes Yes P3 Yes No No Yes P4 No No No Yes P5 Yes No Yes Yes P6 Yes Yes Yes No 演奏 ? ? ? ? ? ? ? ? STOP System System KB (P2) KB (P1) System KB (P5) System KB (P6) s2 s1 u2 u1 s4 u3 s3 u4
- 49. 現状の自動作曲技術（私見） ● 十分に多くのデータを与えれば、既存のスタイルを 踏襲した曲はまあまあ作れる。 ● よくある音遣いを学習して模倣しているだけで、 曲の良さを判断する「耳」があるわけではない。 ● どんな音遣いだと人々が感動するかを理解して 音を選んでいるわけではない。 ● コンピュータが新しい音楽を創造するのはもっと先? ● うまく活用すれば、現状でも十分つかえる。
- 50. 7. おわりに
- 51. Take-home messages 紹介した研究事例の多くは、本研究室の学生の研究成果です。 本学では、2月頃の大学院入試もありますので、 このような研究を行いたかったら、ぜひご連絡ください。 ● 音楽には、一定の法則がある。 – ハ長調なら「ド」の音で終わりやすい、♯／♭の付いた音 は出にくい、など。 ● 音楽の法則は、確率を使って記述することができる。 – データを集めれば、統計を使って自動で得ることも。 ● 確率の考え方を使えば、作曲もできる。
- 52. Follow me!! @tetsurokitahara @kthrlab http://www.kthrlab.jp/ Check it out!! YouTube 日大文理北原研