SlideShare a Scribd company logo
1 of 78
The Art and Science of
 Digital Compositing




         김정근
Chapter 6

Matte Creation and Manipulation
Agenda


 Rotoscoping




 Procedural Matte Extraction




 Matte Manipulations




                                         3
Rotoscoping
Rotoscoping?
Rotoscoping




실사 영상을 매트판에 영사한
 후 애니메이터가 다시 그림




                            영사하는 장비를 로토스코프




         로토스코핑이란 애니메이션에서 쓰기 위해
         프레임마다 실사영상을 따라 그리는 기법
                                             6
Rotoscoping




Bored (Garbage Matte Experiment).mp4


  rotoscoping_thought_of_you_2.avi




                                       7
Rotoscoping




Visual_Effects_100_Years_of_Inspiration_-_YouTube.avi




                                                        8
Rotoscoping



Matte



                  Key


                        9
Rotoscoping



Matte 를 만드는 과정을 설명하기 위한 것 뿐 아니라
합성하는 과정을 포함하여 사용한다는 점에서 광범위한 용어




                   Keying


                                  10
Rotoscoping




3D software 에서의 Matte


                        11
Rotoscoping




Paint?                 Spline?




                                 12
Rotoscoping




              13
Rotoscoping




              다시 그리는 것이
 중간 프레임은 보간      아니라
              포인트가 이동함


                     14
Rotoscoping




   문제가 생기는 프레임마다 수정

(아마도) 모든 프레임을 수정하지는 않을것

     Shape의 일부분만 수정

                          15
Rotoscoping
                    Techniques




spline들이 시퀀스 과정에 걸쳐 정확하게
어떻게 전개되어야할 필요가 있는지?



              spline 으로 분리시킬 필요가 있는 obejct 들중
                     overlapping 되는 것들이 존재하는지?




 모호한 object 를 위해 분리된 mask 를 생성할 필요가 있는지?



                                                 16
Rotoscoping
                Techniques




“Overlap 된 오브젝트는 분리된
              Entity로 제작하며 계층구조로 제작”




                                       17
Rotoscoping
                      Techniques




object간의 계층구조(hierarchy)를 지원하여 mini-animation 시나리오가 가능
        body 를 움직일 수 있고 팔이 parent 에 맞추어 움직이며
                이들 또한 따로 독립적으로도 다뤄짐

                                                         18
Rotoscoping
         Techniques




“프레임 간격 세부적으로 나누어 개선”




                        19
Rotoscoping
   Techniques




                20
Rotoscoping
         Techniques




“가급적 적은 포인트를 사용하여 세팅”




                        21
Rotoscoping
   Techniques




                22
Rotoscoping
      Techniques




“Consistency 일관성”




                    23
Rotoscoping
   Techniques




                24
Rotoscoping
         Techniques




Automatic Interpolation
                          25
Rotoscoping
  Motion Blur




                26
Rotoscoping
  Motion Blur




                27
Rotoscoping
                        Limitations



 마스크 생성하는 방법

 투명성(transparency)

 Hair, Fur 등의 표현(방대한 컨트롤 포인트 수와 Shape)

 Spline 배치의 약간의 불일치로 갑자기 깜박임이나 맞지 않은 공간 발생

 상당한 인력비용

 바람직하지 않은 결과 발생




                                              28
Procedural Matte Extraction
Procedural Matte Extraction

 절차적으로 매트를 추출 하는 방법(Non-Linear Keyer 또는 Keying 방식)

   –   Luma-Key Matte

   –   Chroma-Key Matte

   –   Color Difference Matte


 Keyer Software

   –   Discreet Keyer

   –   Ultimatte Corp의 Ultimatte, Ultimatte Advantage

   –   Photron사의 Primatte, FS-C Keylight

   –   Digital Film Tools의 ZMatte,



                                                        30
Procedural Matte Extraction
                         Keying Based on Luminance




 Luma-Keying



 Matte 로 부터 포함하려는(혹은 제외하려는) 휘도값을 선택하기 위한 image-
  processiong operator



 장면에서 추출하고자 하는 특징이 분리하고자 하는 배경보다 극단적으로 밝
  거나 어두울 때 대부분 유용




                                                     31
Procedural Matte Extraction
       Keying Based on Luminance




                                   32
Procedural Matte Extraction
       Keying Based on Luminance




                                   33
Procedural Matte Extraction
       Keying Based on Luminance




        Contrast Operator
                                   34
Procedural Matte Extraction
       Keying Based on Luminance




       보다 나은 Lumakey
                                   35
Procedural Matte Extraction
                       Keying Based on Chrominance




 Color 혹은 Hue 의 특정 범위를 선택하고, 배경의 일부로써, 이 범위내에 들
  어오는 pixel 들만 정의하는 프로세스



 크로마키는 오브젝트의 칼라에 기반
  –   크로마 키어는 내부적으로 RGB이미지를 HSV 이미지로 전환 하며 속성들은 RGB와 관련된
      것보다는 HSV 어트리뷰트




                                                       36
Procedural Matte Extraction
       Keying Based on Chrominance




                                     37
Procedural Matte Extraction
       Keying Based on Chrominance




                                     38
Procedural Matte Extraction
       Keying Based on Chrominance




                                     39
Procedural Matte Extraction
       Keying Based on Chrominance




                                     40
Procedural Matte Extraction
                 Keying Based on Chrominance




Matte =




                                               41
Procedural Matte Extraction
       Keying Based on Chrominance




        ChromaKey


                                     42
Procedural Matte Extraction
                        The Color Difference Method




 Optical(광학) Matte 추출 Process



 1950년 Petro Vlahos 에 의해 개발



 1959년 Ben Hur(벤허) 란 메이저급 영화 제작을 위해 처음 사용


 선택적으로 결과이미지를 만들기 위한 필름조각에 다른 칼라 레코드(채널들)
  들을 조합하여 쉽게 디지털 공식과 유사하게 변환


 Matte 추출, Color correction, 이미지 합성을 포함한 하나의 조합된 step


                                                         43
Procedural Matte Extraction
 The Color Difference Method – Step 1 : Matte Extraction




                                기존 blue component 가
                                green component 보다
                                intensity(세기)가 큰 모든 픽셀에서
                                blue 채널대신 green 채널로 대체


                                If Blue > Green

                                then NewBlue = Green

                                else NewBlue = Blue




                       순수한 blue backing 에서 green 채널은 값이 0 이므로,
                                 이러한 색의 대체의 결과는
                          blue background 가 black 이 되버리는 것

                                                             44
Procedural Matte Extraction
     The Color Difference Method – Step 2 : Matte Generation




Matte = Blue - Maximum(Green,Red)
         (배경 스크린색을 무슨색으로 썼냐에 따라)



 R - Max(G, B) 또는 G - Max(R, B)

                  반전된 matte 를 생산




                                                               45
Procedural Matte Extraction
 The Color Difference Method – Step 2 : Matte Generation




                               * Background



                                                           46
Procedural Matte Extraction
                  The Color Difference Method – Step 3 : Over Operator




If Blue > Green
                                Matte =
then NewBlue = Green
                                                                    Over Operator
                                Blue -
else NewBlue = Blue             Maximum(Green,Red)




                                                    Channel 간의
                      Threshold 값 조절
                                                     관계 조절




                                                                                    47
Procedural Matte Extraction
                    The Color Difference Method




 단색계열의 backdrop 앞에서 분리하기를 원하는 foreground object 가 있을
  때 유용



 Matte 를 추출하기 전 단계에서, 배경 색깔을 pre-correcting


 keying 의 채널들의 값에 상대적으로 의존하므로, 배경에 고르지 못한 조명이
  비춰져도 양호

 어떤 툴을 사용하든지 간에 다양한 추가 툴들이 주어지므로, color difference
  method 만 사용하는 바람직하지 않음

                                                  bluescreen, greenscreen 이슈는
                                                    챕터 12에서 더 자세히 다룸


                                                                                48
Procedural Matte Extraction
                       The Color Difference Method



 키잉을 하는 데 있어 언제나 에지 부분은 문제

 올바르고 훌륭한 매트를 생성하기 위해서는 촬영시 여러가지를 고려

 Spill 현상은 사람의 머리 부분과 같은 반투명한 부분에 골치 아픈 결과
  –   배경의 스크린 칼라로부터 앞부분의 인물이나 물체에 색이 묻어남


 일반적으로 셋트장이나 로케이션에서 라이팅 시 배경칼라(블루 또는 그린)의
  보색에 해당되는 라이트를 전경에 Back Light 설정
  –   블루 : 경우는 황색계열(또는 85계열)의 젤 필터
  –   그린 : 마젠타 또는 자주색 계열
  –   레드 : 시안칼라




                                                     49
Procedural Matte Extraction
                            Difference Matting




Raw Difference Matte = Abs(R1 - R2) + Abs(G1 - G2) + Abs(B1 - B2)


                                                                    50
Procedural Matte Extraction
       The Color Difference Method




       Difference Matting



                                     51
Procedural Matte Extraction
                        Difference Matting




 object 가 들어있는 이미지에서 배경만 있는 이미지를 Subtract



 약간의 라이팅, 그림자, grain 의 차이경우에는 두 이미지간의 차이를 인식하
  기 힘들어서 결과가 완벽하지 않음



 다른 method들을 second-pass 에서 사용하여 정리



 두개의 이미지 각각에 동일한 라이팅과 카메라 셋업
   –   사이에 카메라 움직임이 완벽하게 동기화되었거나, 혹은 고정카메라를 요구




                                                 52
Matte Manipulation
Matte Manipulation




                     54
Matte Manipulation




                     55
Matte Manipulation




                     56
Matte Manipulation
            Checking the Solidity of your Matte




매트에서 아티팩트를 찾는 것은 힘들다.
  챕터 2 “Judging Color, Brightness, and Contrast”



                                                   57
Matte Manipulation
         Checking the Solidity of your Matte




Brightness                                     Gamma



                                                       58
Matte Manipulation
         Checking the Solidity of your Matte




          리샘플링 된상태




리샘플링된 매트를 수정하기 위해서는 확대하여 확인

                                               59
Matte Manipulation
      Gabage Matte




                     60
Matte Manipulation
                Gabage Matte




특정 문제 영역을 해결하기 위해 로토스코핑 등을 사용
하여 정확한 매트와 함께 바람직하지 않는 개체를 제거

hold-out matte : 전경 요소가 배경 오브젝트를 완전히
어두워지게 하는 것을 예방하기 위해 사용하는 매트




                                       61
Matte Manipulation
      Gabage Matte




                     62
Matte Manipulation
      Gabage Matte




                     63
Matte Manipulation
      Gabage Matte




                     Luma Key

                                64
Matte Manipulation
            Gabage Matte




Luma Key                   Garbage Matte

                                           65
Matte Manipulation
         Gabage Matte




 Garbage Matte + Luma Key

                            66
Matte Manipulation
        Gabage Matte




                      턱주변 일부 원치 않는 투명한 부분이
                     있지만 Lumakey 만 사용할때보다 더 정
 Garbage Matte + Luma Key 상적인 가장자리를 가짐

                                            67
Matte Manipulation
                 Gabage Matte




자동화된 매트 추출 기술은
            high-quality edge 를 가져야 한다.




                                          68
Matte Manipulation
       Edge Matte




                     69
Matte Manipulation
                          Edge Matte




 에지 검출 알고리즘로 추출

 정확한 내부 및 외부 가비지 매트를 생성하는데 사용

 추가 효과를 제어하기 위한 마스크로 유용

  –   전경의 엣지의 부드러움과 투명도를 제어

  –   부드러운 엣지 매트는 엣지 주위로 넘어가는 것을 억제할수 있음


 합성이 완료되었어도 전경과 배경이 만나는 모서리를 따라 블러를 적용




                                           70
Matte Manipulation
       Combining Mattes




매트이미지는
      결합 할수 있다



                          71
Matte Manipulation
        Image Processing on Mattes




매트이미지 또한
      하나의 이미지 이다
    그래서 이미지를 조작할 수 있다




                                     72
Matte Manipulation
                              Image Processing on Mattes




 이미지를 조작하는 것은 이미지의 손실을 가져올 수 있음



 가장자리를 부드럽게 하는 매트 프로세싱은 처음부터 적절하게 키를 가져오
   는 것을 대체하지 못함



 4 Channel Premultiplied Image
    –   이미지의 경우 앞서 배운것과 같이 Premultiplied 되기전 에 수정하거나 Unpremultiplied 한 후
        수정하고 다시 Premultiply




                                                                       73
Matte Manipulation
                          Noise Artifacts




 티끌이나 노이즈로 인해 발생 : 블루스크린과 관련

  –   가비지 매트, 미디언 필터, 블루스크린에 약간의 블러를 적용 등을 이용하여 제거


 전경 매트에 구멍 있을 경우

  –   배경이 전경보다 훨씬 밝거나 어두울 때

  –   전경에 있는 캐릭터가 밝은 빛 앞을 걸어갈 때




                                                     74
Matte Manipulation
                          Hard Edges




 하드 엣지

  –   솔리드한 매트를 만들게 되면 매트 간에 뚜렷한 경계가 보이게 되는 현상

  –   실생활에서 하드엣지가 나타나는 경우는 거의 없으며 약간의 부드러운 엣지가 있어야함

  –   엣지 매트의 사용하여 완화




                                                      75
Matte Manipulation
                              Poor· Fitting Mattes




 매트 혹은 매트의 일부의 범위를 늘리거나 줄일 필요가 있음

 Dilate / Erode




                                                     매트에 블러를 준뒤 만들어진 중간값을
                                                       조작하여 Brightness / Gamma
                                                     오퍼레이터로 조절한것과 유사한 결과
                   원본                                 Dilate Tool
                                                                             76
Q&A
감사합니다

More Related Content

What's hot

Practical methods for texture design web
Practical methods for texture design webPractical methods for texture design web
Practical methods for texture design webCARROTCG
 
[0107 박민근] 쉽게 배우는 hdr과 톤맵핑
[0107 박민근] 쉽게 배우는 hdr과 톤맵핑[0107 박민근] 쉽게 배우는 hdr과 톤맵핑
[0107 박민근] 쉽게 배우는 hdr과 톤맵핑MinGeun Park
 
후처리알아보기
후처리알아보기후처리알아보기
후처리알아보기종규 우
 
Improved techniques for grid mapping with rao blackwellized particle filters 번역
Improved techniques for grid mapping with rao blackwellized particle filters 번역Improved techniques for grid mapping with rao blackwellized particle filters 번역
Improved techniques for grid mapping with rao blackwellized particle filters 번역jdo
 
언차티드4 테크아트 파트4 Special Case Materials - Moss & Wetness & Glass
언차티드4 테크아트 파트4 Special Case Materials - Moss & Wetness & Glass언차티드4 테크아트 파트4 Special Case Materials - Moss & Wetness & Glass
언차티드4 테크아트 파트4 Special Case Materials - Moss & Wetness & GlassDae Hyek KIM
 
언차티드4 테크아트 파트2 mipFog
언차티드4 테크아트 파트2 mipFog언차티드4 테크아트 파트2 mipFog
언차티드4 테크아트 파트2 mipFogDae Hyek KIM
 
Gamma and linear color-space
Gamma and linear color-spaceGamma and linear color-space
Gamma and linear color-space민웅 이
 
논문-정규분포변환
논문-정규분포변환논문-정규분포변환
논문-정규분포변환jdo
 
06_HDR 소개
06_HDR 소개06_HDR 소개
06_HDR 소개noerror
 
Game Visual Art Technologies
Game Visual Art TechnologiesGame Visual Art Technologies
Game Visual Art TechnologiesSangYun Yi
 
120413 making noises
120413 making noises120413 making noises
120413 making noisesCARROTCG
 
A Beginner's guide to understanding Autoencoder
A Beginner's guide to understanding AutoencoderA Beginner's guide to understanding Autoencoder
A Beginner's guide to understanding AutoencoderLee Seungeun
 
120119 ch 7_time_and_temporal_manipulations
120119 ch 7_time_and_temporal_manipulations120119 ch 7_time_and_temporal_manipulations
120119 ch 7_time_and_temporal_manipulationsCARROTCG
 
[GPU Gems3] Chapter 28. Practical Post Process Depth Of Field
[GPU Gems3] Chapter 28. Practical Post Process Depth Of Field[GPU Gems3] Chapter 28. Practical Post Process Depth Of Field
[GPU Gems3] Chapter 28. Practical Post Process Depth Of Field종빈 오
 
[데브루키] Color space gamma correction
[데브루키] Color space gamma correction[데브루키] Color space gamma correction
[데브루키] Color space gamma correctionMinGeun Park
 
[Shader study] Lighting Killzone : Shadow Fall - 발표메모(13.10.14)
[Shader study] Lighting Killzone : Shadow Fall - 발표메모(13.10.14)[Shader study] Lighting Killzone : Shadow Fall - 발표메모(13.10.14)
[Shader study] Lighting Killzone : Shadow Fall - 발표메모(13.10.14)해강
 
09_motionblur
09_motionblur09_motionblur
09_motionblurnoerror
 

What's hot (20)

Practical methods for texture design web
Practical methods for texture design webPractical methods for texture design web
Practical methods for texture design web
 
[0107 박민근] 쉽게 배우는 hdr과 톤맵핑
[0107 박민근] 쉽게 배우는 hdr과 톤맵핑[0107 박민근] 쉽게 배우는 hdr과 톤맵핑
[0107 박민근] 쉽게 배우는 hdr과 톤맵핑
 
Motion blur
Motion blurMotion blur
Motion blur
 
High dynamic range
High dynamic rangeHigh dynamic range
High dynamic range
 
후처리알아보기
후처리알아보기후처리알아보기
후처리알아보기
 
Improved techniques for grid mapping with rao blackwellized particle filters 번역
Improved techniques for grid mapping with rao blackwellized particle filters 번역Improved techniques for grid mapping with rao blackwellized particle filters 번역
Improved techniques for grid mapping with rao blackwellized particle filters 번역
 
언차티드4 테크아트 파트4 Special Case Materials - Moss & Wetness & Glass
언차티드4 테크아트 파트4 Special Case Materials - Moss & Wetness & Glass언차티드4 테크아트 파트4 Special Case Materials - Moss & Wetness & Glass
언차티드4 테크아트 파트4 Special Case Materials - Moss & Wetness & Glass
 
언차티드4 테크아트 파트2 mipFog
언차티드4 테크아트 파트2 mipFog언차티드4 테크아트 파트2 mipFog
언차티드4 테크아트 파트2 mipFog
 
Gamma and linear color-space
Gamma and linear color-spaceGamma and linear color-space
Gamma and linear color-space
 
논문-정규분포변환
논문-정규분포변환논문-정규분포변환
논문-정규분포변환
 
06_HDR 소개
06_HDR 소개06_HDR 소개
06_HDR 소개
 
Game Visual Art Technologies
Game Visual Art TechnologiesGame Visual Art Technologies
Game Visual Art Technologies
 
120413 making noises
120413 making noises120413 making noises
120413 making noises
 
A Beginner's guide to understanding Autoencoder
A Beginner's guide to understanding AutoencoderA Beginner's guide to understanding Autoencoder
A Beginner's guide to understanding Autoencoder
 
120119 ch 7_time_and_temporal_manipulations
120119 ch 7_time_and_temporal_manipulations120119 ch 7_time_and_temporal_manipulations
120119 ch 7_time_and_temporal_manipulations
 
[GPU Gems3] Chapter 28. Practical Post Process Depth Of Field
[GPU Gems3] Chapter 28. Practical Post Process Depth Of Field[GPU Gems3] Chapter 28. Practical Post Process Depth Of Field
[GPU Gems3] Chapter 28. Practical Post Process Depth Of Field
 
[데브루키] Color space gamma correction
[데브루키] Color space gamma correction[데브루키] Color space gamma correction
[데브루키] Color space gamma correction
 
20120824
2012082420120824
20120824
 
[Shader study] Lighting Killzone : Shadow Fall - 발표메모(13.10.14)
[Shader study] Lighting Killzone : Shadow Fall - 발표메모(13.10.14)[Shader study] Lighting Killzone : Shadow Fall - 발표메모(13.10.14)
[Shader study] Lighting Killzone : Shadow Fall - 발표메모(13.10.14)
 
09_motionblur
09_motionblur09_motionblur
09_motionblur
 

Similar to 120106 ch 6_matte_creation_and_manipulation_web

구세대 엔진 신데렐라 만들기 최종본 유트브2
구세대 엔진 신데렐라 만들기 최종본 유트브2구세대 엔진 신데렐라 만들기 최종본 유트브2
구세대 엔진 신데렐라 만들기 최종본 유트브2Kyoung Seok(경석) Ko(고)
 
111118 ch 4_basic image manipulation_web
111118 ch 4_basic image manipulation_web111118 ch 4_basic image manipulation_web
111118 ch 4_basic image manipulation_webCARROTCG
 
인공지능, 기계학습 그리고 딥러닝
인공지능, 기계학습 그리고 딥러닝인공지능, 기계학습 그리고 딥러닝
인공지능, 기계학습 그리고 딥러닝Jinwon Lee
 
120427 celluar texture
120427 celluar texture120427 celluar texture
120427 celluar textureCARROTCG
 
Chapter 12 applications - 1
Chapter 12 applications - 1Chapter 12 applications - 1
Chapter 12 applications - 1KyeongUkJang
 
Learning Less is More - 6D Camera Localization via 3D Surface Regression
Learning Less is More - 6D Camera Localization via 3D Surface RegressionLearning Less is More - 6D Camera Localization via 3D Surface Regression
Learning Less is More - 6D Camera Localization via 3D Surface RegressionBrian Younggun Cho
 
9강 camera advanced light2
9강 camera advanced light29강 camera advanced light2
9강 camera advanced light2JP Jung
 

Similar to 120106 ch 6_matte_creation_and_manipulation_web (8)

Deep learning overview
Deep learning overviewDeep learning overview
Deep learning overview
 
구세대 엔진 신데렐라 만들기 최종본 유트브2
구세대 엔진 신데렐라 만들기 최종본 유트브2구세대 엔진 신데렐라 만들기 최종본 유트브2
구세대 엔진 신데렐라 만들기 최종본 유트브2
 
111118 ch 4_basic image manipulation_web
111118 ch 4_basic image manipulation_web111118 ch 4_basic image manipulation_web
111118 ch 4_basic image manipulation_web
 
인공지능, 기계학습 그리고 딥러닝
인공지능, 기계학습 그리고 딥러닝인공지능, 기계학습 그리고 딥러닝
인공지능, 기계학습 그리고 딥러닝
 
120427 celluar texture
120427 celluar texture120427 celluar texture
120427 celluar texture
 
Chapter 12 applications - 1
Chapter 12 applications - 1Chapter 12 applications - 1
Chapter 12 applications - 1
 
Learning Less is More - 6D Camera Localization via 3D Surface Regression
Learning Less is More - 6D Camera Localization via 3D Surface RegressionLearning Less is More - 6D Camera Localization via 3D Surface Regression
Learning Less is More - 6D Camera Localization via 3D Surface Regression
 
9강 camera advanced light2
9강 camera advanced light29강 camera advanced light2
9강 camera advanced light2
 

More from CARROTCG

20120713 ch13
20120713 ch1320120713 ch13
20120713 ch13CARROTCG
 
20120713 ch12
20120713 ch1220120713 ch12
20120713 ch12CARROTCG
 
Procedural synthesis of geometry
Procedural synthesis of geometryProcedural synthesis of geometry
Procedural synthesis of geometryCARROTCG
 
Texture Modeling a Procedual Approach Chater 2 : Building Procedural Textures
Texture Modeling a Procedual Approach Chater 2 : Building Procedural TexturesTexture Modeling a Procedual Approach Chater 2 : Building Procedural Textures
Texture Modeling a Procedual Approach Chater 2 : Building Procedural TexturesCARROTCG
 
Volumetric cloud modeling with implicit functions web
Volumetric cloud modeling with implicit functions webVolumetric cloud modeling with implicit functions web
Volumetric cloud modeling with implicit functions webCARROTCG
 
Texture Modeling a Procedual Approach #01
Texture Modeling a Procedual Approach #01Texture Modeling a Procedual Approach #01
Texture Modeling a Procedual Approach #01CARROTCG
 
120216 ch 12_creating_elements
120216 ch 12_creating_elements120216 ch 12_creating_elements
120216 ch 12_creating_elementsCARROTCG
 
120106 ch 5_basic image compositing_re
120106 ch 5_basic image compositing_re120106 ch 5_basic image compositing_re
120106 ch 5_basic image compositing_reCARROTCG
 
111028 ch 3_the digital representation of visual information
111028 ch 3_the digital representation of visual information111028 ch 3_the digital representation of visual information
111028 ch 3_the digital representation of visual informationCARROTCG
 
The Art and Science of Digital Compositing Chapter 1,2
The Art and Science of Digital Compositing Chapter 1,2The Art and Science of Digital Compositing Chapter 1,2
The Art and Science of Digital Compositing Chapter 1,2CARROTCG
 

More from CARROTCG (12)

20120921
2012092120120921
20120921
 
20120810
2012081020120810
20120810
 
20120713 ch13
20120713 ch1320120713 ch13
20120713 ch13
 
20120713 ch12
20120713 ch1220120713 ch12
20120713 ch12
 
Procedural synthesis of geometry
Procedural synthesis of geometryProcedural synthesis of geometry
Procedural synthesis of geometry
 
Texture Modeling a Procedual Approach Chater 2 : Building Procedural Textures
Texture Modeling a Procedual Approach Chater 2 : Building Procedural TexturesTexture Modeling a Procedual Approach Chater 2 : Building Procedural Textures
Texture Modeling a Procedual Approach Chater 2 : Building Procedural Textures
 
Volumetric cloud modeling with implicit functions web
Volumetric cloud modeling with implicit functions webVolumetric cloud modeling with implicit functions web
Volumetric cloud modeling with implicit functions web
 
Texture Modeling a Procedual Approach #01
Texture Modeling a Procedual Approach #01Texture Modeling a Procedual Approach #01
Texture Modeling a Procedual Approach #01
 
120216 ch 12_creating_elements
120216 ch 12_creating_elements120216 ch 12_creating_elements
120216 ch 12_creating_elements
 
120106 ch 5_basic image compositing_re
120106 ch 5_basic image compositing_re120106 ch 5_basic image compositing_re
120106 ch 5_basic image compositing_re
 
111028 ch 3_the digital representation of visual information
111028 ch 3_the digital representation of visual information111028 ch 3_the digital representation of visual information
111028 ch 3_the digital representation of visual information
 
The Art and Science of Digital Compositing Chapter 1,2
The Art and Science of Digital Compositing Chapter 1,2The Art and Science of Digital Compositing Chapter 1,2
The Art and Science of Digital Compositing Chapter 1,2
 

120106 ch 6_matte_creation_and_manipulation_web

  • 1. The Art and Science of Digital Compositing 김정근
  • 2. Chapter 6 Matte Creation and Manipulation
  • 3. Agenda  Rotoscoping  Procedural Matte Extraction  Matte Manipulations 3
  • 6. Rotoscoping 실사 영상을 매트판에 영사한 후 애니메이터가 다시 그림 영사하는 장비를 로토스코프 로토스코핑이란 애니메이션에서 쓰기 위해 프레임마다 실사영상을 따라 그리는 기법 6
  • 7. Rotoscoping Bored (Garbage Matte Experiment).mp4 rotoscoping_thought_of_you_2.avi 7
  • 10. Rotoscoping Matte 를 만드는 과정을 설명하기 위한 것 뿐 아니라 합성하는 과정을 포함하여 사용한다는 점에서 광범위한 용어 Keying 10
  • 12. Rotoscoping Paint? Spline? 12
  • 14. Rotoscoping 다시 그리는 것이 중간 프레임은 보간 아니라 포인트가 이동함 14
  • 15. Rotoscoping 문제가 생기는 프레임마다 수정 (아마도) 모든 프레임을 수정하지는 않을것 Shape의 일부분만 수정 15
  • 16. Rotoscoping Techniques spline들이 시퀀스 과정에 걸쳐 정확하게 어떻게 전개되어야할 필요가 있는지? spline 으로 분리시킬 필요가 있는 obejct 들중 overlapping 되는 것들이 존재하는지? 모호한 object 를 위해 분리된 mask 를 생성할 필요가 있는지? 16
  • 17. Rotoscoping Techniques “Overlap 된 오브젝트는 분리된 Entity로 제작하며 계층구조로 제작” 17
  • 18. Rotoscoping Techniques object간의 계층구조(hierarchy)를 지원하여 mini-animation 시나리오가 가능 body 를 움직일 수 있고 팔이 parent 에 맞추어 움직이며 이들 또한 따로 독립적으로도 다뤄짐 18
  • 19. Rotoscoping Techniques “프레임 간격 세부적으로 나누어 개선” 19
  • 20. Rotoscoping Techniques 20
  • 21. Rotoscoping Techniques “가급적 적은 포인트를 사용하여 세팅” 21
  • 22. Rotoscoping Techniques 22
  • 23. Rotoscoping Techniques “Consistency 일관성” 23
  • 24. Rotoscoping Techniques 24
  • 25. Rotoscoping Techniques Automatic Interpolation 25
  • 28. Rotoscoping Limitations  마스크 생성하는 방법  투명성(transparency)  Hair, Fur 등의 표현(방대한 컨트롤 포인트 수와 Shape)  Spline 배치의 약간의 불일치로 갑자기 깜박임이나 맞지 않은 공간 발생  상당한 인력비용  바람직하지 않은 결과 발생 28
  • 30. Procedural Matte Extraction  절차적으로 매트를 추출 하는 방법(Non-Linear Keyer 또는 Keying 방식) – Luma-Key Matte – Chroma-Key Matte – Color Difference Matte  Keyer Software – Discreet Keyer – Ultimatte Corp의 Ultimatte, Ultimatte Advantage – Photron사의 Primatte, FS-C Keylight – Digital Film Tools의 ZMatte, 30
  • 31. Procedural Matte Extraction Keying Based on Luminance  Luma-Keying  Matte 로 부터 포함하려는(혹은 제외하려는) 휘도값을 선택하기 위한 image- processiong operator  장면에서 추출하고자 하는 특징이 분리하고자 하는 배경보다 극단적으로 밝 거나 어두울 때 대부분 유용 31
  • 32. Procedural Matte Extraction Keying Based on Luminance 32
  • 33. Procedural Matte Extraction Keying Based on Luminance 33
  • 34. Procedural Matte Extraction Keying Based on Luminance Contrast Operator 34
  • 35. Procedural Matte Extraction Keying Based on Luminance 보다 나은 Lumakey 35
  • 36. Procedural Matte Extraction Keying Based on Chrominance  Color 혹은 Hue 의 특정 범위를 선택하고, 배경의 일부로써, 이 범위내에 들 어오는 pixel 들만 정의하는 프로세스  크로마키는 오브젝트의 칼라에 기반 – 크로마 키어는 내부적으로 RGB이미지를 HSV 이미지로 전환 하며 속성들은 RGB와 관련된 것보다는 HSV 어트리뷰트 36
  • 37. Procedural Matte Extraction Keying Based on Chrominance 37
  • 38. Procedural Matte Extraction Keying Based on Chrominance 38
  • 39. Procedural Matte Extraction Keying Based on Chrominance 39
  • 40. Procedural Matte Extraction Keying Based on Chrominance 40
  • 41. Procedural Matte Extraction Keying Based on Chrominance Matte = 41
  • 42. Procedural Matte Extraction Keying Based on Chrominance ChromaKey 42
  • 43. Procedural Matte Extraction The Color Difference Method  Optical(광학) Matte 추출 Process  1950년 Petro Vlahos 에 의해 개발  1959년 Ben Hur(벤허) 란 메이저급 영화 제작을 위해 처음 사용  선택적으로 결과이미지를 만들기 위한 필름조각에 다른 칼라 레코드(채널들) 들을 조합하여 쉽게 디지털 공식과 유사하게 변환  Matte 추출, Color correction, 이미지 합성을 포함한 하나의 조합된 step 43
  • 44. Procedural Matte Extraction The Color Difference Method – Step 1 : Matte Extraction 기존 blue component 가 green component 보다 intensity(세기)가 큰 모든 픽셀에서 blue 채널대신 green 채널로 대체 If Blue > Green then NewBlue = Green else NewBlue = Blue 순수한 blue backing 에서 green 채널은 값이 0 이므로, 이러한 색의 대체의 결과는 blue background 가 black 이 되버리는 것 44
  • 45. Procedural Matte Extraction The Color Difference Method – Step 2 : Matte Generation Matte = Blue - Maximum(Green,Red) (배경 스크린색을 무슨색으로 썼냐에 따라) R - Max(G, B) 또는 G - Max(R, B) 반전된 matte 를 생산 45
  • 46. Procedural Matte Extraction The Color Difference Method – Step 2 : Matte Generation * Background 46
  • 47. Procedural Matte Extraction The Color Difference Method – Step 3 : Over Operator If Blue > Green Matte = then NewBlue = Green Over Operator Blue - else NewBlue = Blue Maximum(Green,Red) Channel 간의 Threshold 값 조절 관계 조절 47
  • 48. Procedural Matte Extraction The Color Difference Method  단색계열의 backdrop 앞에서 분리하기를 원하는 foreground object 가 있을 때 유용  Matte 를 추출하기 전 단계에서, 배경 색깔을 pre-correcting  keying 의 채널들의 값에 상대적으로 의존하므로, 배경에 고르지 못한 조명이 비춰져도 양호  어떤 툴을 사용하든지 간에 다양한 추가 툴들이 주어지므로, color difference method 만 사용하는 바람직하지 않음 bluescreen, greenscreen 이슈는 챕터 12에서 더 자세히 다룸 48
  • 49. Procedural Matte Extraction The Color Difference Method  키잉을 하는 데 있어 언제나 에지 부분은 문제  올바르고 훌륭한 매트를 생성하기 위해서는 촬영시 여러가지를 고려  Spill 현상은 사람의 머리 부분과 같은 반투명한 부분에 골치 아픈 결과 – 배경의 스크린 칼라로부터 앞부분의 인물이나 물체에 색이 묻어남  일반적으로 셋트장이나 로케이션에서 라이팅 시 배경칼라(블루 또는 그린)의 보색에 해당되는 라이트를 전경에 Back Light 설정 – 블루 : 경우는 황색계열(또는 85계열)의 젤 필터 – 그린 : 마젠타 또는 자주색 계열 – 레드 : 시안칼라 49
  • 50. Procedural Matte Extraction Difference Matting Raw Difference Matte = Abs(R1 - R2) + Abs(G1 - G2) + Abs(B1 - B2) 50
  • 51. Procedural Matte Extraction The Color Difference Method Difference Matting 51
  • 52. Procedural Matte Extraction Difference Matting  object 가 들어있는 이미지에서 배경만 있는 이미지를 Subtract  약간의 라이팅, 그림자, grain 의 차이경우에는 두 이미지간의 차이를 인식하 기 힘들어서 결과가 완벽하지 않음  다른 method들을 second-pass 에서 사용하여 정리  두개의 이미지 각각에 동일한 라이팅과 카메라 셋업 – 사이에 카메라 움직임이 완벽하게 동기화되었거나, 혹은 고정카메라를 요구 52
  • 57. Matte Manipulation Checking the Solidity of your Matte 매트에서 아티팩트를 찾는 것은 힘들다. 챕터 2 “Judging Color, Brightness, and Contrast” 57
  • 58. Matte Manipulation Checking the Solidity of your Matte Brightness Gamma 58
  • 59. Matte Manipulation Checking the Solidity of your Matte 리샘플링 된상태 리샘플링된 매트를 수정하기 위해서는 확대하여 확인 59
  • 60. Matte Manipulation Gabage Matte 60
  • 61. Matte Manipulation Gabage Matte 특정 문제 영역을 해결하기 위해 로토스코핑 등을 사용 하여 정확한 매트와 함께 바람직하지 않는 개체를 제거 hold-out matte : 전경 요소가 배경 오브젝트를 완전히 어두워지게 하는 것을 예방하기 위해 사용하는 매트 61
  • 62. Matte Manipulation Gabage Matte 62
  • 63. Matte Manipulation Gabage Matte 63
  • 64. Matte Manipulation Gabage Matte Luma Key 64
  • 65. Matte Manipulation Gabage Matte Luma Key Garbage Matte 65
  • 66. Matte Manipulation Gabage Matte Garbage Matte + Luma Key 66
  • 67. Matte Manipulation Gabage Matte 턱주변 일부 원치 않는 투명한 부분이 있지만 Lumakey 만 사용할때보다 더 정 Garbage Matte + Luma Key 상적인 가장자리를 가짐 67
  • 68. Matte Manipulation Gabage Matte 자동화된 매트 추출 기술은 high-quality edge 를 가져야 한다. 68
  • 69. Matte Manipulation Edge Matte 69
  • 70. Matte Manipulation Edge Matte  에지 검출 알고리즘로 추출  정확한 내부 및 외부 가비지 매트를 생성하는데 사용  추가 효과를 제어하기 위한 마스크로 유용 – 전경의 엣지의 부드러움과 투명도를 제어 – 부드러운 엣지 매트는 엣지 주위로 넘어가는 것을 억제할수 있음  합성이 완료되었어도 전경과 배경이 만나는 모서리를 따라 블러를 적용 70
  • 71. Matte Manipulation Combining Mattes 매트이미지는 결합 할수 있다 71
  • 72. Matte Manipulation Image Processing on Mattes 매트이미지 또한 하나의 이미지 이다 그래서 이미지를 조작할 수 있다 72
  • 73. Matte Manipulation Image Processing on Mattes  이미지를 조작하는 것은 이미지의 손실을 가져올 수 있음  가장자리를 부드럽게 하는 매트 프로세싱은 처음부터 적절하게 키를 가져오 는 것을 대체하지 못함  4 Channel Premultiplied Image – 이미지의 경우 앞서 배운것과 같이 Premultiplied 되기전 에 수정하거나 Unpremultiplied 한 후 수정하고 다시 Premultiply 73
  • 74. Matte Manipulation Noise Artifacts  티끌이나 노이즈로 인해 발생 : 블루스크린과 관련 – 가비지 매트, 미디언 필터, 블루스크린에 약간의 블러를 적용 등을 이용하여 제거  전경 매트에 구멍 있을 경우 – 배경이 전경보다 훨씬 밝거나 어두울 때 – 전경에 있는 캐릭터가 밝은 빛 앞을 걸어갈 때 74
  • 75. Matte Manipulation Hard Edges  하드 엣지 – 솔리드한 매트를 만들게 되면 매트 간에 뚜렷한 경계가 보이게 되는 현상 – 실생활에서 하드엣지가 나타나는 경우는 거의 없으며 약간의 부드러운 엣지가 있어야함 – 엣지 매트의 사용하여 완화 75
  • 76. Matte Manipulation Poor· Fitting Mattes  매트 혹은 매트의 일부의 범위를 늘리거나 줄일 필요가 있음  Dilate / Erode 매트에 블러를 준뒤 만들어진 중간값을 조작하여 Brightness / Gamma 오퍼레이터로 조절한것과 유사한 결과 원본 Dilate Tool 76
  • 77. Q&A