Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

드라마 감성분석을 위한 표정인식

1,480 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

드라마 감성분석을 위한 표정인식

  1. 1. 드라마 감성 분석을 위한 표정 인식<br />이찬수<br />Computer Vision and Smart Lighting Lab<br />전자공학과<br />영남대학교<br />
  2. 2. 목차<br /><ul><li>표정관련기존연구들
  3. 3. 표정인식
  4. 4. 표정추적
  5. 5. 긍정 및 비긍정 표정 인식
  6. 6. 얼굴검출및 정규화
  7. 7. 정지영상표정인식
  8. 8. 드라마 감성 분석에의 적용
  9. 9. 논의 및 추후연구계획</li></li></ul><li>인문사회 융복합 연구과제 소개<br />연구 내용: 일본 사회의 자기인식과 타자인식<br />연구 방법: 집단심상에 대한 융복합연구<br />
  10. 10. 인문사회 융복합 연구과제<br />연구방법<br />1단계: 웹보메트릭스(webometrics) 방법론을 활용한 사회네트워크 파악<br />웹보메트릭스 방법:월드 와이드 웹(World Wide Web)의 ‘웹(web)'과 계량적 분석을 뜻하는 ’메트릭스(Metrics)가 합성된 용어로, 인터넷 정보와 기술의 사용을 정량적으로 분석하는 연구<br />2단계: 웹보메트릭스(webometrics) 방법론을 활용한 정보수집<br />3단계: 수집한 텍스트의 성격에 적합한 분석방법 적용<br />소프트웨어를 활용한 단어빈도분석<br />메시지 생산자의 인지심리학적 태도 추론<br />이미지 테크놀로지를 이용한 영상 감성정보 분석<br />언어 감성 분석 및 비판적 담화분석<br />문자·영상·뉴 미디어 텍스트에 대한 사회문화적(cultural studies) 분석<br />
  11. 11. 표정 관련 기존 연구<br />표정인식:<br /> Facial Expression Analysis using Nonlinear Decomposable Generative Models(ICPR06)<br /><ul><li>Manifold embedding for dynamics of facial expression</li></ul>Conceptual Manifold embedding<br /><ul><li>Multilinear Analysis</li></ul>Decomposition on the mapping space<br />
  12. 12. 표정 관련 기존 연구<br />표정인식:<br /> Facial Expression Analysis using Nonlinear Decomposable Generative Models(ICPR06)<br />
  13. 13. 표정 관련 기존 연구<br />표정추적:<br /> Nonlinear Dynamic Shape and Appearance Models for Facial Motion Tracking(PSIVT07)<br /><ul><li>Nonlinear shape and appearance models(NAAM)</li></ul>- TPS(Thin-Plate-Spline) for Facial Appearance Warping to mean shape<br />- Decomposible generative models<br /><ul><li> Combination of Global shape estimation and local deformation</li></ul>- Global shape estimation based on parameter estimation of the global nonlinear model(Particle Filtering)<br />- TPS deformation estimation with adaptive appearance models<br />
  14. 14. 표정 관련 기존 연구<br />표정추적:<br /> Nonlinear Dynamic Shape and Appearance Models for Facial Motion Tracking(PSIVT07)<br />Local deformation<br />Global deformation<br />Global deformation<br />+<br />Local deformation<br />
  15. 15. 긍정 및 비긍정 표정인식<br />연구방법1:<br />얼굴검출기반 정적(static) 긍정/비긍정표정인식<br /><ul><li>Positive/Nonpositive Facial Expression Analysis from detected static face</li></ul>-Frame by Frame facial expression analysis<br />Step 1: Face detection using boosting algorithms<br />Step 2: Normalization and facial feature descriptions<br />Step 3: Binary classification after learning <br /> from training data<br />표정인식용<br />학습데이터<br />분석용<br />이미지 <br />획득<br />얼굴검출<br />인식용 특징추출<br />표정인식<br />표정인식<br />통계분석<br />
  16. 16. 긍정 및 비긍정 표정인식<br />데이터셋:<br />MPLab GENKI-4K Dataset (http://mplab.ucsd.edu)<br /><ul><li>Image size, resolution, tone, expression style variations
  17. 17. Various kinds of illumination, view, background, occlusion,... </li></ul> - More realistic facial expression dataset compared to traditional facial expression dataset.<br />
  18. 18. 얼굴검출 및 정규화<br />total detected=1280(32%)<br />total undetected=3720(68%)<br />Preprocessing:<br /> Face detection using Adaboost and its variations<br /><ul><li>Many missing face/ many incorrect detection</li></ul> - Smile face: 1~2162detected face:921correct face:720.<br /> - Nonsmile face: 2163~4000detected face:688correct face:565.<br />
  19. 19. 정지영상 표정 인식<br />표정학습 및 인식:<br /> Raw image, LBP등에 대하여 PCA, LDA의 1-NN, SVM등 적용<br /><ul><li>Highest recognition rate by SVM with LBP features</li></ul>-RBF Kernel is used for SVM<br />- SVM shows better accuracy than PCA<br />Without eye alignment<br />
  20. 20. 눈동자 검출<br />얼굴검출을 바탕으로 눈의 위치에 대한 후보공간 구성<br />눈 템플릿 구성(offline-integrodifferential operator 사용)<br />눈 템플릿을 이용한 정밀한 위치 검출<br />눈후보영역<br />눈 템플릿<br />
  21. 21. 얼굴 검출 및 정규화<br />total detected=559+476=1035(25.9%)<br />total undetected = 1603+1352=2965 (74.1%)<br />Normalization:<br /> Face normalization based on eye location<br /><ul><li>Face rotation alignment and face size alignment by detected eye</li></ul> - Horizontal alignment by inverse rotation from the angle o the line of two eyes <br /> location.<br /> - Cropping facial area based on the distance of the two eyes locations <br />2d<br /><br />2.5d<br />d<br />
  22. 22. 정지영상 표정 인식<br />표정학습 및 인식:<br /> Raw image, LBP등에 대하여 PCA, LDA의 1-NN, SVM등 적용<br /><ul><li>Highest recognition rate by SVM with Gabor Filter Bank features</li></ul>-SVM classification of face with feature alignment is better than face without alignment<br />With alignment<br />
  23. 23. 드라마 감성 분석에의 적용<br />연구대상:<br />언덕위의 구름-일본드라마-에 나타난 표정 분석<br /><ul><li>Various lighting and camera location change</li></ul>-Lighting change and sun light and shadows<br />- Camera soom and scaling and translation<br /><ul><li> Various pose change and speaking, and blurring</li></ul>- Hand pose variations and many side view, and mouse movement by speech<br />- Motion blurring due to fast movement<br />
  24. 24. 드라마 감성 분석에의 적용<br />연구목표:<br />언덕위의 구름-일본드라마-에 나타난 표정의 통계적분석<br /><ul><li>Characteristics of frequency of each emotional state to find overall mood of the drama</li></ul>- Analyze characteristics of emotional distribution in different scene and overall scene<br /><ul><li>Characteristics of emotional flow according to stories or background of the drama scene</li></ul>- Analyze characteristics of emotional flow in different in different scene and in different stage<br /><ul><li> Characteristics of the viewers’ emotional state variations during watching the drama</li></ul>- Find the response of the viewers to understand their emotional states<br />
  25. 25. 드라마 감성 분석에의 적용<br />표정학습 및 인식:<br />언덕위의 구름에 대한 적용<br />검출된 <br />Non-Positive 표정<br />검출된 <br />Positive 표정<br />
  26. 26. 드라마 감성 분석에의 적용<br />표정학습 및 인식:<br />언덕위의 구름에 대한 적용<br />3378s-3492s<br />
  27. 27. 드라마 감성 분석에의 적용<br />표정학습 및 인식:<br />언덕위의 구름에 대한 적용<br /><ul><li>1초에 하나씩의 이미지를 분석하여 감정 변화가 일어나는 부분을 파악하였다
  28. 28. 4화의 경우에 검출된 얼굴에 대한 positive/non-positive 평가결과(1-positive, 0-nonpositive) Positive %: 37.29-nonpositive표정의 분포가 더 많다</li></li></ul><li>드라마 감성 분석에의 적용<br />표정학습 및 인식:<br />언덕위의 구름에 대한 적용<br />검출된 <br />Non-Positive 표정<br />검출된 <br />Positive 표정<br />
  29. 29. 드라마 감성 분석에의 적용<br />표정학습 및 인식:<br />언덕위의 구름에 대한 적용<br />검출된 <br />Non-Positive 표정<br />검출된 <br />Positive 표정<br />
  30. 30. 드라마 감성 분석에의 적용<br />
  31. 31. 드라마 감성 분석에의 적용<br />언덕위의 구름에 전체에 대한 분석: 매회에서 긍정 표정의 분포율<br />청년시절<br />유년시절<br />전쟁 승리후<br />청일전쟁<br />러일전쟁<br />영국동맹<br />
  32. 32. 논의 및 추후 연구 계획<br /><ul><li> We have to check the conditions of each experiment and find the factor that important
  33. 33. Eye normalization expected improve the performance a lot, but it is not
  34. 34. Analysis of positive and nonpositive facial expression according to scene of the drama, or according to character of the drama
  35. 35. Understand the emotions in each scene
  36. 36. Understand the emotional flow of each character by combining face identification and facial expression recognition
  37. 37. We have to work on dynamic facial expressions in 2D and 3D</li></ul>- Measure the displacement distance of the facial motion by combination of 2D and 3D<br />
  38. 38. Thank you<br />Q&A?<br />
  39. 39. Gabor Filter Bank<br />Modeling frequency and orientation of texture similar to human visual system for edge detection<br />

×