Deep Learning JP: http://deeplearning.jp/hacks/

1. MIDINET:
A Convolutional Generative Adversarial
Network For Symbolic-Domain Music
Generation
2017.12.4
� ��
���� z��������
1

2. ����
• In Proceedings of the 18th International Society for Music Information Retrieval
Conference (ISMIR’2017)
• �� 3
• ����J�c��c��� MuseGAN: Multi-track Sequential Generative Adversarial
Networks for Symbolic Music Generation and Accompaniment
2

3. ��
• ��
• ������
• ��
• MidiNet
• ��c��
• Generator � Discriminator
• Conditioner CNN
• ��
• ��i
3

4. ��
• ����t��W ����bm� �����������������c����
• ������d ����t��W���
• ��c���yC�t��
• ��c������mo�����
• ����
• ����ac���b��������l�������
• �����c�����I����hW�
• ��������������������
audio domain symbolic domain
4

5. ��c�b�l����c����t
• ��c���
•
• ( )
•
8���(1��c1/8c��c�)
5
�����yC�bd����JD�

6. ��c�b�l����c����t
• yC���
• �c���t�i�
• ����dyC�t��b��� (���W�o)
• yC�c��bdD���c��JD� (�b���c��t�M�N�)
6

7. ��
• ��c����d RNN J���
• ���C��D�Wi
• ��c��C�d�c��C�c��t�N�m�a���
• MelodyRNN, SampleRNN, …
• WaveNet c��
• audio domain � CNN t��W�������
• CNN d RNN mo��M����a��J��
• (��) WaveNet d1��c���C�t32GPUt��2����
7

8. MidiNet
• ����t��W ����bm� �����������������c����
• Generator c��d���(�yC�)���c��
• Discriminator c��d {��c��, ����W��}�yC�
• ���W��t�����c��t�� (��c��t�o��)
��c
���W�� (or Priming Melody)
Generator
Conditioner CNN
���
yC���
��
8
(optional)

9. MidiNet
• ���
• ��������� In���W���A��C���c�����c���������
1. https://www.hooktheory.com/theorytab
1
9

10. MidiNet
10

11. ��c�� (����)
Midi�C�c���t�� ! ∈ 0, 1 ' × ) ���
h = 128(��c��), w = 16 (16���J��c��)
128
16
�� *
11

12. • yC���
• (��nM)��c��cyC�t��
• �C��(12�)�Major or Minor (0 or 1) c�13��c�������
��c�� (yC�)
Ex. D = [0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
Key M or m
12

13. Generator CNN � Discriminator CNN
• y���d DCGAN
• ��� + ∈ ,- t�G������t��
• ��t������Wi�Generatorc���d��c�t�� (Feature
Matching)
• ��c�C������W�C�c��t��N�m�a���b��
13

14. Generator CNN � Discriminator CNN c��
• Discriminator c���
• Generator c���
• Discriminator 1�b���Generator d2��� (D c�J������Wi)
./0
1
1
2[ log 7 * 8 + log 1 − 7 ; < 8 ]
>
8?@
./0
1
1
2[ 1 − log 7 ;(< 8 ))
>
8?@
+ C@ ||E* 8 − E; < 8 ||F
F
+ CF ||EG * 8 − EG ; < 8 ||F
F
]
14

15. Conditioner CNN
• �����������a��t��b������
• ����a���mM�����
• ����t��������Do Generator t��
��c����c���J��
15

16. MidiNet
16

17. MidiNet
X
Conditioner CNN concat ( )
Conditioner Generator
( )
( )
concat
17

18. MidiNet c���
• (1) Model1: ��c��ch��
• (2) Model2: ��c���yC�t�� (1)
• ��c����d��c�h�h��ch concat
• yC�d��c�� concat
• (3) Model3: ��c���yC�t�� (2)
• (1) ��ao��c����c����t concat
18

19. ��
• MidiNet t TheoryTab c���A��C���50,496 (4208 * 12) �����
• MelodyRNN c3���(basic, lookback, attention)� MidiNet c Model 1, Model
2 t��
• ����
• ��� 21� (��10�d�����)
• ��c���b���Priming Melody t�G�����
• Priming Melody: �C����c�c1��
• 8����
19

20. ����
�����
������
20

21. ����
• MidiNet Model 1d��c�����I�����a�b��snT���
mo�c����t������ MelodyRNN e��R��
• ��c���c�� MidiNet c Model2 J����J��
• �c��������c����NyC���t���������������
c��
• How Interesing? b��������JD����In��� Model 1c�
J��J��
• How Interesing? → ���N���I
• yC�b���������d��
• Model 2 dyC�b������J�����c������In�����
21

22. ��i
• ����t��W ����bm� ���������������������t���������
• ��c���yC�t��
• Conditioner CNN bmo�Generator b��c��c��t��
• MelodyRNN�c����
• MidiNet c�J����
• yC�������W Model 2 J������
• �����In���yC�b����a� Model 1 c�J interesting
22

23. ��
• Conditioner CNN � Concat ����J��b�c��c��t�����
cI
• 8��Mn�an�c���N������cd�I�
• yC�d���cyC�c��t�M�N�
• ����dyC�c��t�M�N�
• MuseGAN �M����� (�bMidi��c��r)
23
����