드라마 감성분석을 위한 표정인식

드라마 감성 분석을 위한 표정 인식 이찬수 Computer Vision and Smart Lighting Lab 전자공학과 영남대학교

긍정 및 비긍정 표정 인식

드라마 감성 분석에의 적용

논의 및 추후연구계획,[object Object]

인문사회 융복합 연구과제 연구방법 1단계: 웹보메트릭스(webometrics) 방법론을 활용한 사회네트워크 파악 웹보메트릭스 방법:월드 와이드 웹(World Wide Web)의 ‘웹(web)'과 계량적 분석을 뜻하는 ’메트릭스(Metrics)가 합성된 용어로, 인터넷 정보와 기술의 사용을 정량적으로 분석하는 연구 2단계: 웹보메트릭스(webometrics) 방법론을 활용한 정보수집 3단계: 수집한 텍스트의 성격에 적합한 분석방법 적용 소프트웨어를 활용한 단어빈도분석 메시지 생산자의 인지심리학적 태도 추론 이미지 테크놀로지를 이용한 영상 감성정보 분석 언어 감성 분석 및 비판적 담화분석 문자·영상·뉴 미디어 텍스트에 대한 사회문화적(cultural studies) 분석

표정 관련 기존 연구 표정인식: Facial Expression Analysis using Nonlinear Decomposable Generative Models(ICPR06) ,[object Object],Conceptual Manifold embedding ,[object Object],Decomposition on the mapping space

표정 관련 기존 연구 표정인식: Facial Expression Analysis using Nonlinear Decomposable Generative Models(ICPR06)

표정 관련 기존 연구 표정추적: Nonlinear Dynamic Shape and Appearance Models for Facial Motion Tracking(PSIVT07) ,[object Object],- TPS(Thin-Plate-Spline) for Facial Appearance Warping to mean shape - Decomposible generative models ,[object Object],- Global shape estimation based on parameter estimation of the global nonlinear model(Particle Filtering) - TPS deformation estimation with adaptive appearance models

표정 관련 기존 연구 표정추적: Nonlinear Dynamic Shape and Appearance Models for Facial Motion Tracking(PSIVT07) Local deformation Global deformation Global deformation + Local deformation

긍정 및 비긍정 표정인식 연구방법1: 얼굴검출기반 정적(static) 긍정/비긍정표정인식 ,[object Object],-Frame by Frame facial expression analysis Step 1: Face detection using boosting algorithms Step 2: Normalization and facial feature descriptions Step 3: Binary classification after learning from training data 표정인식용 학습데이터 분석용 이미지 획득 얼굴검출 인식용 특징추출 표정인식 표정인식 통계분석

긍정 및 비긍정 표정인식 데이터셋: MPLab GENKI-4K Dataset (http://mplab.ucsd.edu) ,[object Object]

Various kinds of illumination, view, background, occlusion,... - More realistic facial expression dataset compared to traditional facial expression dataset.

얼굴검출 및 정규화 total detected=1280(32%) total undetected=3720(68%) Preprocessing: Face detection using Adaboost and its variations ,[object Object], - Smile face: 1~2162detected face:921correct face:720. - Nonsmile face: 2163~4000detected face:688correct face:565.

정지영상 표정 인식 표정학습 및 인식: Raw image, LBP등에 대하여 PCA, LDA의 1-NN, SVM등 적용 ,[object Object],-RBF Kernel is used for SVM - SVM shows better accuracy than PCA Without eye alignment

눈동자 검출 얼굴검출을 바탕으로 눈의 위치에 대한 후보공간 구성 눈 템플릿 구성(offline-integrodifferential operator 사용) 눈 템플릿을 이용한 정밀한 위치 검출 눈후보영역 눈 템플릿

얼굴 검출 및 정규화 total detected=559+476=1035(25.9%) total undetected = 1603+1352=2965 (74.1%) Normalization: Face normalization based on eye location ,[object Object], - Horizontal alignment by inverse rotation from the angle o the line of two eyes location. - Cropping facial area based on the distance of the two eyes locations 2d  2.5d d

정지영상 표정 인식 표정학습 및 인식: Raw image, LBP등에 대하여 PCA, LDA의 1-NN, SVM등 적용 ,[object Object],-SVM classification of face with feature alignment is better than face without alignment With alignment

드라마 감성 분석에의 적용 연구대상: 언덕위의 구름-일본드라마-에 나타난 표정 분석 ,[object Object],-Lighting change and sun light and shadows - Camera soom and scaling and translation ,[object Object],- Hand pose variations and many side view, and mouse movement by speech - Motion blurring due to fast movement

드라마 감성 분석에의 적용 연구목표: 언덕위의 구름-일본드라마-에 나타난 표정의 통계적분석 ,[object Object],- Analyze characteristics of emotional distribution in different scene and overall scene ,[object Object],- Analyze characteristics of emotional flow in different in different scene and in different stage ,[object Object],- Find the response of the viewers to understand their emotional states

드라마 감성 분석에의 적용 표정학습 및 인식: 언덕위의 구름에 대한 적용 검출된 Non-Positive 표정 검출된 Positive 표정

드라마 감성 분석에의 적용 표정학습 및 인식: 언덕위의 구름에 대한 적용 3378s-3492s

드라마 감성 분석에의 적용 표정학습 및 인식: 언덕위의 구름에 대한 적용 ,[object Object]

드라마 감성분석을 위한 표정인식

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (8)

Similar to 드라마 감성분석을 위한 표정인식

Similar to 드라마 감성분석을 위한 표정인식 (8)

More from cyberemotion

More from cyberemotion (6)

드라마 감성분석을 위한 표정인식