A universal music translation network 발표 자료 https://arxiv.org/abs/1805.07848

1. A Universal Music
Translation Network
https://arxiv.org/abs/1805.07848
Noam Mor, Lior Wolf, Adam Polyak, Yaniv Taigman
박수철

2. https://www.youtube.com/watch?v=vdxCqNWTpUs
샘플 영상

3. Waveform and magnitude Fourier transform of a tone C4 (261.6 Hz) played by different instruments (see also
Figure 1.23). (a) Piano. (b) Trumpet. (c) Violin. (d) Flute.
https://www.researchgate.net/publication/290440767_2015_Mueller_FundamentalsMusicProcessing_Springer_Section2-1_SamplePages
악기 특성

4. 배음harmonics
엔벨로프envelope
음고pitch
(C4)
음량velocity
(0.5)
공유속성
개별속성
파형waveform
악기 특성

5. Z
Encoder
Decoder
1. 공유속성만 추출해 latent space Z에 embed하는 encoder를 만든다.
2. embed된 Z의 정보를 바탕으로 개별 악기의 특성을 재현하는 decoder를 만든다.
KEY IDEAS

6. 어떻게?
공유 속성 embedding은
Domain-Adversarial
Neural Network으로!
Encoder, Decoder는
Wavenet으로!

7. Wavenet
가정1. 임의의 샘플 xt는 앞선 샘플들 x1, …, xt-1에 의해 결정된다.
RNN을 사용하자!
단점 : training 시간이 엄청나게 김, vanishing gradient problem
사운드 데이터는 1초에 통상 16,000-48,000 samples
https://medium.com/@florijan.stamenkovic_99541/
rnn-language-modelling-with-pytorch-packed-batching-and-tied-weights-9d8952db35a9

8. Wavenet
가정2. 특정 시점 이전의 샘플들은 xt에 영향을 주지 않는다.
Causal CNN을 사용하자!

9. Wavenet

10. Source (자체 구현)

11. Domain Adaptation
Training Set (labeled) Test Set (unlabeled)
1. Training Set과 Test Set이 상이할 경우 성능에 문제가 생긴다.
2. Latent space에서 두 set간의 distribution을 일치시키는 방향으로 해결!

12. Training Set 파랑색은 잘 분류된데 반해
Test Set 빨강색은 제대로 분류되지 못함
Latent space에서 Test Set의 distribution을
Training Set에 맞춤
Domain Adaptation
https://github.com/pumpikano/tf-dann

13. Domain-Adversarial Training of Neural Networks
https://arxiv.org/abs/1505.07818

14. https://github.com/pumpikano/tf-dann
Gradient Reversal Layer
Domain-Adversarial Training of Neural Networks

15. 전체 구조

16. Source
(piano)
Latent
Target
(violin)
결과 (자체 구현)

17. References
[1] Noam Mor, Lior Wolf, Adam Polyak, Yaniv Taigman : A Universal Music Translation Network
[2] Yaroslav Ganin, Evgeniya Ustinova, Hana Ajakan, Pascal Germain, Hugo Larochelle, François
Laviolette, Mario Marchand, Victor Lempitsky : Domain-Adversarial Training of Neural Networks
[3] Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves,
Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu : WaveNet: A Generative Model for Raw
Audio