감성트리 기반의음악 감성조절 알고리즘

1. Eun-Jae Kim
Mobile Media Processor Lab., Sejong University
ejkim@rayman.sejong.ac.kr
http://rayman.sejong.ac.kr
May 4, 2017

2.  서론
 관련연구
 감성 모델 제안
 예제음악에 의한 감성제어 및 분석
 결론
May 4, 2017 2

3.  기술과 감성의 상호작용에 대한 연구 활발
 사람이 느끼는 감성 컴퓨터로 분석
 다양한 영향으로 인한 정확한 판단, 도출의 어려움
 만족도 ↓
 감성인식에 대한 개개인의 만족도를 위한 적합한
인식체계 찾는 것이 필요
May 4, 2017 3
기술 감성
연결 고리는?

4.  감성을 분석하기 위해 음악을 이용
◦ 음악 자체 연구를 통해 나온 결과로 ‘음악 추천 서비스’,
‘동일한 감성 분류 음악 검색’ 등이 나옴
◦ 주관적 감성 평가이기 때문에 개인 편차 크고
자신의 감성을 정확히 한단 하지 못함
 이전 연구 기반으로 음악이라는 대표적인 감성 인식
체계를 주제로 범위를 좁혀 더욱 높은 수준의 감성을
계산하는 모델 제안
May 4, 2017 4

5.  감성이란?
◦ 우리의 오관이 외계로부터 자극을 받고 그에 반응하는 정도
나 강도 – Wikipedia
 감성 기반 음악 검색 방법
◦ 오디오 속성 값을 이용하여 음악의 물리적인 수치 분석
◦ 오디오 속성을 이용하지 않고 설문조사나 웹 검색 결과를
이용하는 방법
 오디오 속성 값 이용한 방법
◦ PsySound, Marasyas, Spectral contrast, DWCH를 조합하여
Regressor를 생성하고 Arousal과 Valence 두 개의 축을 가진
감성 평면에 음악을 맵핑 – 양위우안(Yi-Hsuan, Yang, 2008)
◦ Happiness, Sadness, Anger, Fear 4가지 무드를 tempo와
articulation의 값을 이용하여 구분하는 방법
May 4, 2017 5

6.  Russel 감성 모델
◦ 가로축 : Pleasant축은
유쾌함/불쾌함의 강도
◦ 세로축 : Intense축은
흥분/침착의 강도
◦ Russel에 의하면 내적 감성
이라는 것이 있는데, 이는
외부의 그 어떤 요소와도
상관없이 내적인 작용만으로 어떤 감성을 가질 수 있다는 뜻
◦ 그러나 Russel 모델은 의미가 중첩되거나 형용사적 표현이
모호, 현대의 정서와 맞지 않음
May 4, 2017 6
그림1) Russel의 감성 모델

7.  Thayer 감성 모델
◦ Russel 감성 모델의 단점을 보완
◦ 단순화, 정리된 감성 분포, 감성 간의 경계가 확실
감성 위치 표현 용이
May 4, 2017 7
그림2) Thayer 감성 모델

8.  음악의 요소를 추출하기 위해 Matlab 기반에서
MirToolBox 오픈소스 분석 툴을 사용
 추출 요소로는 템포, 역동성, 음색
◦ 템포(bpm) : 1분에 몇 개의 박자가 나오는지 측정
 Ex) 식사시간의 느린 템포의 음악을 틀면 식사시간이 길어지고
음료수의 주문이 늘어남
◦ 조성 : 음악에 쓰이는 화성이나 멜로디가 하나의 음 또는 하
나의 화음을 중심으로 하여 일정한 음악관계를 가지는 것
(현대 음악이랑 맞지 않음)
◦ 역동성(RMS) : 소음에 대한 인지 정도 혹은 소리의 볼륨
◦ 음색 : 음의 성분 차이에서 생기는 감각적 특성
 Centroid, Roll off, Zero Crossing
May 4, 2017 8

9. ◦ Centroid : 주파수 대역에서 에너지 분포의 평균 지점
 음정에 대한 인지 척도
 값이 작은 경우 저역대 풍부한 소리이므로 어둡고 부드러운 느낌을
값이 큰 경우 고역대 중심의 밝고 명확한 느낌을 줌
◦ Roll off : 주파수의 진폭 변화
 주파수 대역에서 에너지의 85%가 어디에서 얻어지는가를 결정
 스펙트럼 모양 측정
 서로 다른 음악을 구분 하는 데에 유용(= 음정의 분포 정도)
◦ Zero Crossing : 잡음의 양을 측정
 노이즈 수준, 음색 및 음에 대한 정보
May 4, 2017 9

10.  연구방향
◦ 임의의 음악이 주는 감성이 무엇인지 예측
 템포+역동성+음색의 가중치로부터 얻어진 감성 수식과 음악을 듣고
느끼는 감성사이의 관계를 재정립하여 감성 트리 구성
◦ 음악 요소의 값을 변화시켜 감성을 원하는 방향으로 변환
May 4, 2017 10
그림3) 감성 트리

11.  새로운 감성 트리 모델 제시
◦ Thayer 기반 감성 모델
◦ 가로축 : Valence(행복도)
 오른쪽으로 갈수록 행복도 ↑
 왼쪽으로 갈수록 행복도 ↓
◦ 세로축 : Arousal(긴장도)
 위로 갈수록 긴장도 ↑
 아래로 갈수로 긴장도 ↓
May 4, 2017 11
그림4) 2차원 감성 좌표계

12.  감성을 계산하는 방법
◦ 음악샘플들 가지고 Tempo, RMS, ZeroCross, RoolOff,
Centroid 데이터들을 추출(MirToolBox 이용)
◦ 추출한 데이터들의 범위나 단위가 다르기에 조합하여 사용
하기 힘듬
 평균과 표준편차를 사용하여 정규분포 확률을 구함.
◦ 가중치를 부여하여 행복도의 X값과 흥분도의 Y값을 구한다.
May 4, 2017 12
표1) 정규분포를 사용한 샘플음악 각 요소의 확률 값

13.  가중치를 구하는 방법
◦ 음악의 특색이 뚜렷한 70가지 샘플데이터를 선별하여 진행
◦ 정규분포를 이용한 감성 확률 값과 실제 사용자가 들으며
느끼는 감성의 확률 값을 구함
 그 차이가 적으면 정확도가 높다고 판단
◦ 실험 결과
◦ 각 특성들의 확률 값과 가중치를 곱해 더한 값이 X, Y값
May 4, 2017 13
X 가중치 Y 가중치
템포 20% 40%
역동성 10% 10%
잡음 20% 10%
진폭 변화 40% 20%
밝기 10% 20%
표2) 감성 추측 정확도가 가장 높았을 때의 가중치

14.  감성 계산 예제
◦ 클래지콰이 “함께라면” 이라는 곡으로 실험
May 4, 2017 14
표3) 예제 음악의 5가지 요소 추출 값
표4) 예제 음악의 확률 값
표5) 예제 음악의 행복도, 흥분도 값
그림5) 2차원 감성 좌표계에서의 예제 음악의 감성

15.  2차원 감성 좌표계
◦ 원의 반경은 8가지 감성을
모두 포함할 수 있는 최소범위
에서부터 2차원 좌표계를
벗어나지 않는 범위 안에서
최대 반경 선택
 개개인의 감정의 개념적
차이, 감정의 정확한 추정의
어려움 때문에 원을 표시
May 4, 2017 15
그림5) 2차원 감성 좌표계에서의 예제 음악의 감성
표6) 예제 음악에 대한 8가지 감성 확률

16.  감성제어
◦ 감성 좌표계에 감성을 매핑 시켜 원을 그리고 이동 시킴
 위 그림은 음악을 잔잔한 감성으로 제어 하는 모습을 보여줌
May 4, 2017 16
그림6) 감성 제어

17.  8가지 감성 확률을 구하고 실제 사용자의 감성과 어느
정도 일치하는지 실험
 평균 오차 범위 4.2%
May 4, 2017 17
표7) 예제 음악에 대한 8가지 감성 확률 비교

18.  결론
◦ 8가지 감성 모델 제시
◦ 감성에 영향을 주는 음악의 요소 발견
◦ 8가지 감성 수식을 연결해주는 감성 수식 완성
◦ 감성 수식을 사용하여 감성 좌표계에 대입하여
원을 그리고 면적에 대한 감성 확률 제시
◦ 원을 이동 시켜 감성 확률 제어 제시
 향후 과제
◦ 다양한 감성 정의하고 감성 모델 설계 필요
◦ 인간의 감성의 판단 오류 및 복잡성 전제로 하는 가중치
연구 및 오차 범위 등 감성 정확도 연구 필요
May 4, 2017 18

19. Thank You for Your Listening!
http://rayman.sejong.ac.kr