3. 주제 소개
3 / 7
목적: 기존 가사 데이터를 이용하여 가사 생성 모델 제안
N-gram 확률을 연속적으로 이어붙여
MCMC(Markov Chain Monte Carlo)기반
가사 생성 모델(Generative Model) 제안
𝑃 𝐶|𝐴, 𝐵 =
𝐴, 𝐵 단어 다음에 등장했던 𝐶 단어의 빈도 수
𝐴, 𝐵 단어 다음에 등장했었던 단어의 빈도수의 합
𝑃 𝐶|𝐴, 𝐵 × 𝑃 𝐷 𝐵, 𝐶 …
4. 방법론
4 / 7
전처리
사전
생성
가사
생성
가사
수집 테스트
1. 가사 수집
가온차트에서 2010~2017년간 Top 100에 들었던 노래 9000여곡 정보 수집
멜론, 벅스 등의 음원 정보 사이트에서 해당 곡의 가사 추가 수집 후 DB에 저장
2. 전처리
모델의 특수 문자 제거. 가사 시작 표시 @, 끝 표시. 가사를 스페이스 단위로 분할
3. 사전 생성
이전 2가지 단어를 기반으로 다음 단어의 출현 빈도수를 사전형태로 저장
4. 가사 생성
특정 단어를 던졌을 때, 그 다음 단어의 사후 확률값을 고려하여 형태소를
연속적으로 이어서 문장을 생성
5. 테스트
실제 가사와 유사하거나 의미가 맞는지 평가
5. 실험
5 / 7
1. 2010~2017년간 40,400여곡의 정보 수집
2. 곡의 id값을 기준으로 카운팅, 9043개의 곡 정보 수집
3. 각 곡 정보를 기반으로 멜론, 벅스 등의 음원 사이트의 가사 데이터 추가 수집 (가사 7000여개)
4. N-Gram 확률 값을 계산하기 위한 앞의 두단어가 있을 때 다음 단어의 빈도수 값 사전 생성
5. Markov Chain Monte Carlo 모델을 이용하여 가사 생성
6. 결과
6 / 7
의의
1. MCMC기반으로 문장을 생성하는 유의미한 머신을 생성 가능
2. 문법적, 언어적 구조를 고려하지 않아도 문장을 생성하는 확률 모델 제안
3. RNN(LSTM) 기반의 모델과 비교했을 때 빠른 학습 속도와 생성속도의
한계
1. 문장이 길어졌을 때 문장의 일관성이 없어지는 경우가 발생.
2. 새로운 의미의 단어의 생성이 아닌 기존의 가사들 간의 조합으로만 문장을 생성
7. 향후 연구
7 / 7
1. 딥러닝과 연계하여 현재 상태를 기준으로 확률적 정보가 아닌 수치적 정보로 사용
자의 평가에 맞추는 반응형 모델로 발전 가능
2. 생성된 가사의 일관성 확보를 위해 기존에 존재하는 가사의 토픽 정보를 이용한 분
류 모델을 생성하고 이를 통해 평가한다면 본 연구에서 한계였던 문맥의 일관성에
대한 문제를 극복 가능
Machine
Machine
Human
Human
