[분석] 좋니? 응, 좋아 - 이별가사 generator
•
0 likes•900 views
[보아즈 7th 빅데이터 컨퍼런스] 사람들은 자신만의 사랑과 이별의 이야기가 있다. 그러한 감정을 표현하고 위로해주는 대표적인 수단 중 하나는 노래이다. 우리는 이야기에 공감해주는 노래가 있다면 우리의 마음을 더 치유해주지 않을까? Attention을 이용한 RNN-LSTM모형으로 새로운 이별 노래 가사를 만들어보자 8기 김유진, 유예진, 이재준, 정민규 ** 국내 최초 대학생 빅데이터 연합동아리 BOAZ ** 블로그: http://blog.naver.com/boazbigdata 페이스북: https://www.facebook.com/BOAZbigdata
Recommended
Recommended
More Related Content
More from BOAZ Bigdata
More from BOAZ Bigdata (20)
[분석] 좋니? 응, 좋아 - 이별가사 generator
- 1. 김유진 유예진 이재준 정민규 제 너 레 이 터 … 이 별 가 사 보아즈 제 7회 컨퍼런스
- 2. Contents 1. 주제 선정이유 2. 데이터 구조 및 전처리 3. 모델 설명 4. 결과 및 해석
- 3. Contents 1. 주제 선정이유 2. 데이터 구조 및 전처리 3. 모델 설명 4. 결과 및 해석
- 4. 4 1. 주제 선정 이유
- 5. 공감과 정서 표현 음악의 기능 5 1. 주제 선정 이유
- 6. 부정적 정서나 심정 남녀 간의 사랑과 이별 출처 : 최상진, “대중가요 가사분석을 통한 한국인의 정서 탐색”, 2001. 6 한국 대중가요 가사분석 주요 어휘 주요 주제 1. 주제 선정 이유
- 7. “이별, 슬픔의 정서에 공감” 이별가사 제너레이터를 통해 7
- 8. Contents 1. 주제 선정이유 2. 데이터 구조 및 전처리 3. 모델 설명 4. 결과 및 해석
- 9. Contents 1. 주제 선정이유 2. 데이터 구조 및 전처리 3. 모델 설명 4. 결과 및 해석
- 10. 10 2. 데이터 구조 및 전처리 데이터 수집
- 11. 데이터 수집 11 2. 데이터 구조 및 전처리
- 12. 데이터 수집 12 2. 데이터 구조 및 전처리
- 13. 데이터 수집 13 2. 데이터 구조 및 전처리
- 14. 데이터 구조 14 2. 데이터 구조 및 전처리 Singer / Title / Lyrics 총 9441개 → 6273개
- 15. 데이터 구조 15 2. 데이터 구조 및 전처리
- 16. 전처리 16 2. 데이터 구조 및 전처리 1. 데이터 구조 변형
- 17. 전처리 17 2. 데이터 구조 및 전처리 List [어떻게 하죠 우리는, 아파하네요 멀어지네요, … ] 1. 데이터 구조 변형
- 18. 전처리 18 2. 데이터 구조 및 전처리 총 312071개 Model Input : 리스트형 소절 (split_lyric)
- 19. 전처리 19 2. 데이터 구조 및 전처리 2. 단어 별 출현빈도 확인
- 20. 전처리 20 2. 데이터 구조 및 전처리 3. 소절의 길이 통일
- 21. 모델 Input / Output 21 2. 데이터 구조 및 전처리
- 22. Contents 1. 주제 선정이유 2. 데이터 구조 및 전처리 3. 모델 설명 4. 결과 및 해석
- 23. Contents 1. 주제 선정이유 2. 데이터 구조 및 전처리 3. 모델 설명 4. 결과 및 해석
- 24. 24 RNN-LSTM with Attention 3. 모델 설명
- 25. 25 RNN-LSTM with Attention 3. 모델 설명
- 26. 3. 모델 설명 28
- 27. 3. 모델 설명 29
- 28. 3. 모델 설명 30
- 29. 3. 모델 설명 31
- 30. 30 RNN-LSTM with Attention 3. 모델 설명
- 31. 31 RNN-LSTM with Attention 3. 모델 설명
- 32. 3. 모델 설명 34 Encoder = Bi-directional RNN Attention Weight(=aij) Concatenated Encoder Output(hj)
- 33. 3. 모델 설명 35 Encoder = Bi-directional RNN Attention Weight(=aij) Concatenated Encoder Output(hj)
- 34. 3. 모델 설명 36 Encoder = Bi-directional RNN Attention Weight(=aij) Concatenated Encoder Output(hj) Decoder Input Encoder output
- 36. 3. 모델 설명 38 _____ RNN or LSTM
- 37. 3. 모델 설명 39 _____ ai1 ai2 ai3 … ai53 ai54 ai55
- 38. 3. 모델 설명 40 _____ ai1 ai2 ai3 … ai53 ai54 ai55
- 39. 3. 모델 설명 41 _____ ai1 ai2 ai3 … ai53 ai54 ai55 ‘ai2’
- 40. 3. 모델 설명 42 중요한 정보를 Catch하는데 Attention Weight가 큰 역할
- 41. 3. 모델 설명 43 ij ij Wa, Ua, Va
- 42. 3. 모델 설명 43 ij ij Wa, Ua, Va
- 43. 3. 모델 설명 43 ij ij Wa, Ua, Va
- 44. 44 RNN-LSTM with Attention 3. 모델 설명
- 45. 45 RNN-LSTM with Attention 3. 모델 설명
- 46. 3. 모델 설명 → Get result 47 • Input : Attention-weighted encoder output • Output : word Probability Attention Weighted Encoder Output
- 47. 3. 모델 설명 → Get result 48 • Input : Attention-weighted encoder output • Output : word Probability Word Probability Attention Weighted Encoder Output
- 48. 48 RNN-LSTM with Attention 3. 모델 설명
- 49. 49 RNN-LSTM with Attention 3. 모델 설명
- 50. 50 RNN-LSTM with Attention 3. 모델 설명
- 51. Contents 1. 주제 선정이유 2. 데이터 구조 및 전처리 3. 모델 설명 4. 결과 및 해석
- 52. Contents 1. 주제 선정이유 2. 데이터 구조 및 전처리 3. 모델 설명 4. 결과 및 해석
- 53. 53 4. 결과 및 해석
- 54. RNN-LSTM without attention 4. 결과 및 해석 53
- 55. RNN-LSTM without attention 4. 결과 및 해석 53
- 56. 56 RNN-LSTM without attention 4. 결과 및 해석 정말 네게 사랑을 구걸하지 않았어 진심을 원했어 마지막으로 우리 만난 날도 넌 진심이 없었어 변해가는 데 쉽게 너의 마음을 울리는 사랑 나 어떡하죠 흩어져 가는 길 이 내 사랑의 마지막은
- 57. 57 RNN-LSTM without attention 4. 결과 및 해석 정말 네게 사랑을 구걸하지 않았어 진심을 원했어 마지막으로 우리 만난 날도 넌 진심이 없었어 변해가는 데 쉽게 너의 마음을 울리는 사랑 나 어떡하죠 흩어져 가는 길 이 내 사랑의 마지막은 어반자카파 – 니가 싫어?
- 58. 58 RNN-LSTM without attention 4. 결과 및 해석
- 59. 59 RNN-LSTM without attention 4. 결과 및 해석 yeah~
- 60. 60 RNN-LSTM with attention 4. 결과 및 해석 원가사 저너레이트 가사 촌스런 반주에 가사도 없지만 촌스런 반주에 가사도 없지만 가끔 흥얼거리며 눈물을 흘리기도 했지 촌스런 반주에 가사도 없지만 넌 아이처럼 기뻐했었지
- 61. 61 RNN-LSTM with attention 4. 결과 및 해석 원가사 저너레이트 가사 어쩌면 우린 운명이 아닌 어쩌면 우린 운명이 아닌 우연이었을까요 어쩌면 우린 운명이 아닌 집착이었을까요 여기까진가봐요
- 62. 62 RNN-LSTM with attention 4. 결과 및 해석 원가사 저너레이트 가사 포근했던 그 느낌 기억하고 있나요 포근했던 그 느낌 기억하고 있나요 Baby baby tonight 포근했던 그 느낌 기억하고 있나요 oh you baby love me
- 63. 63 RNN-LSTM with attention 4. 결과 및 해석 저너레이트 가사 넌 아이처럼 기뻐했었지 넌 아이처럼 기뻐했었지 넌 _UNK _UNK _UNK _UNK _UNK 사전 크기 : 40000개
- 64. 64 RNN-LSTM with attention 4. 결과 및 해석 Training 가사 저너레이트 가사 다른 input, 같은 output 내가 뭔가 잘못했나요 그랬다면 미안합니다 뭔가 잘못했나요 그랬다면 미안합니다 Overfitting
- 65. 65 RNN-LSTM with attention 4. 결과 및 해석 저너레이트 가사 기타 bad results 촌스러운 반주에 가사도 없지만 내가 헤어지자 하니 정말 때 때 안녕 안녕 안녕 돌아선 그녀가 안녕 안녕 안녕
- 66. 66 결과 4. 결과 및 해석
- 67. 67 결과 4. 결과 및 해석 1. Input / Output의 차이
- 68. 68 결과 4. 결과 및 해석 1. Input / Output의 차이 소절보다는 단어를 예측하는 게 훨씬 수월
- 69. 69 결과 4. 결과 및 해석 2. 데이터 부족 Attention을 이용한 English – French 번역 때, 총 800만개의 데이터를 사용 출처 : Neural Machine Translation by Jointly Learning to Align and TranslateDzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
- 70. 70 결과 4. 결과 및 해석 2. 데이터 부족 이별가사 제너레이터에는 총 30만개의 데이터 사용 (With Attention과 Without attention 모두) Attention을 이용하기에는 너무 적은 데이터
- 71. 71 결과 4. 결과 및 해석 사전 크기 50000개 Training Step 100000번 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 72. 72 결과 4. 결과 및 해석 사전 크기 50000개 Training Step이 충분함에도 학습이 잘 안 됨 Training Step 100000번 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 73. 73 결과 4. 결과 및 해석 사전 크기 40000개 학습이 비교적 잘 됨 Training Step 30000번 이하 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 74. 74 결과 4. 결과 및 해석 WHY? 사전크기 50000개 : 출현빈도가 1인 단어도 포함 40000개 : 출현빈도가 2인 단어부터 포함 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 75. 75 결과 4. 결과 및 해석 사전크기가 40000개일 때 Training Step을 30000개로 하면? 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 76. 76 결과 4. 결과 및 해석 ➊ 결과물의 95%이상이 다음 소절과 동일 사전크기가 40000개일 때 Training Step을 30000개로 하면? 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 77. 77 결과 4. 결과 및 해석 ➋ Word Probability 중 2번째로 큰 Word를 Generate 사전크기가 40000개일 때 Training Step을 30000개로 하면? 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 78. 78 결과 4. 결과 및 해석 하지만 Overfitting이 과연 안 좋은 것일까? 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 79. 79 결과 4. 결과 및 해석 Mixed Input, Mixed Effect ! 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 80. 80 결과 4. 결과 및 해석 우리 이제 그만 헤어져 Output1 + Output2 ? 우리 이제 헤어져 Output1 우리 이제 그만 Output2 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 81. 81 결과 4. 결과 및 해석 Overfitting이지만 새로운 가사를 제너레이트 우리 이제 헤어져 Output1 우리 이제 그만 Output2 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 82. 82 결과 4. 결과 및 해석 더 적절한 사전 크기와 Training Step이 있을 것이라고 생각 3. 사전 크기와 Training Step의 적정 조합 찾기 (Attention)
- 83. 김유진 유예진 이재준 정민규 감 사 합 니 다 보아즈 제 7회 컨퍼런스 “이별가사 제너레이터…”