• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
05 Video
 

05 Video

on

  • 3,611 views

 

Statistics

Views

Total Views
3,611
Views on SlideShare
3,611
Embed Views
0

Actions

Likes
1
Downloads
67
Comments
0

0 Embeds 0

No embeds

Accessibility

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    05 Video 05 Video Document Transcript

    • Multimedia Communications Chapter 4 Video Compression Techniques (2) 아주대학교 정보및컴퓨터공학부 모바일 멀티미디어통신 연구실 (http://mmcn.ajou.ac.kr) 노병희 (bhroh@ajou.ac.kr) Contents Video Compression Basics Video Compression Standards : H.26x H.261 H.263 MPEG Video Compression Standards MPEG-1 MPEG-2 (H.262) MPEG-4 H.264 1
    • MPEG-1 개요 MPEG-1 ISO/IEC 11172-1,2,3,4,5 Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s MPEG 압축 기법 개요 MPEG 표준화 ISO의 MPEG (Moving Picture Experts Group)에 의하여 표준화 됨 MPEG 표준 방법들 • MPEG-1 – CD-ROM과 같은 디지털 저장 매체에 VHS 테이프 수준의 동영상과 음향을 최대 1.5 Mbps 로 압축 저장하기 위하여 개발 • MPEG-2 – MPEG-1의 확장형 – 디지털 TV방송, HDTV, 대화형 TV등 더욱 높은 화질과 음질을 필요로 하는 응용 분야에 더 높은 비트율에서 영상과 음향을 압축하기 위한 목적으로 개발 • MPEG-4 – 높은 비트 효율이 요구되는 원격회의나 관련 응용을 위해 아주 낮은 비트율을 사용하는 압축 표준 2
    • MPEG-1 개요 MPEG-1 표준 개요 표준화 추진 기구 • ISO/IEC JTC1 산하의 The Moving Picture Experts Group (MPEG)에서 표준화 작업 • 1988년에 시작하여 1992년에 표준화 완료 디지털 저장 매체를 대상으로 함 • CD, VTR과 같은 디지털저장 매체에 1.5 Mbps 이내로 동영상과 음향을 압축하여 다중화 하기 위한 표준 디코더 부분이 표준화 대상 • MPEG 표준은 저장 및 전송을 위한 Syntax를 지정하고, 디코딩 프로세스를 정의함 • 인코딩은 표준화 대상이 아님 – 인코더는 표준을 따르는 압축 비트 스트림을 생성하면 되고, 인코딩 메커니즘은 독자적인 방법을 사용 가능 MPEG-1 개요 MPEG-1 표준 구성 MPEG-1 Video : at < 1.5 Mbps MPEG-1 Audio : at the rates of 64, 128, 192 kpbs per channel MPEG-1 System : 여러 압축된 A/V 스트림의 다중화 및 동기화. ISO/IEC 11172-2 ’92.11 ISO/IEC 11172-1 ’92.11 Decoded Video Video Decoder Medium System Clock Specific Decoder Control Digital Decoder Storage Medium Decoded Audio Audio Decoder ISO/IEC 11172-3 ’92.11 3
    • MPEG-1 기본 특징 MPEG-1 비디오 표준 부호화 기법의 기본 특징 임의 접근성 (random access)의 제공 • GOP (Group Of Picture) 형식에 의함 편집 가능성 • 화면을 정렬하거나 부분적 사용을 위하여 GOP 단위의 편집 기능 제공 고속의 순방향 탐색, 역방향 탐색 및 역방향 재생 음성-영상 동기화 형태의 유연성 • 부호화 화면의 크기와 프레임율을 조절 가능. MPEG-1 기본 특징 MPEG-1 비디오 입력 영상 스케닝 방식 : progressive scan 만을 사용함. 화면 크기 : SIF (source input format)만을 사용 • Y, CB, CR 칼라 표현 방식만 지원 • 4:2:0 칼라 샘플링 방식만 지원 • NTSC, PAL, SECAM등 표준 TV 와 호환성 Size Type NTSC (525) PAL (625) Luminance ITU-R 720x480 720x576 (Y) SIF 360x240 360x288 SPA 352x240 352x288 Color ITU-R 360x240 360x288 (Cr, Cb) SIF 180x120 180x144 SPA 176x120 176x144 SPA (Significant Pixel Area) : MPEG에서의 움직임 보상 단위인 16x16의 매크로 블록 크기에 맞춘 실제로 부호화에 유효한 면적 4
    • MPEG-1 화면 형태 MPEG 의 화면 형태 I-picture (Intra-coded Picture) • 다른 픽쳐의 참조없이 자신만을 이용하여 JPEG으로 부호화 • 임의 접근성(random access)을 제공하는 기준 화면 P-picture (Predictive Coded Picture) • 바로 이전의 I- 또는 P-픽쳐로 부터 움직임 예측 및 보상 방식을 사용하여 부호화 • H.261의 inter-frame 모드와 유사 • I-픽쳐에 비하여 비트량이 30-50% 정도임 B-picture (Bidirectionally Predictive Coded Picture) • 바로 이전 이후의 I-또는 P-픽쳐들을 참조하여 부호화 • P-픽쳐에 비하여 비트량이 50% 정도임 D-picture • DCT DC 계수만을 사용하는 특수한 화면 • 고속 탐색등과 같은 기능을 제공하기 위하여 사용 MPEG-1 화면 형태 P-picture : 바로 이전의 I 또는 P 프레임을 참 조한 움직임 예측을 통하여 부호화됨 I P P I-picture: 이전 또는 B B B B 이후 프레임들과 상관 없이 부호화됨 B-picture : 바로 이전과 이후의 I 또는 P 프레임 을 참조한 움직임 예측을 통하여 부호화됨 5
    • MPEG-1 화면 형태 B-picture Interpolated Position Trajectory Previous Current Futere frame (n-1) frame (n) frame (n+1) Bidirectional (B) frames = Previous frame - Futere frame + Bidirectinal motion vectors MPEG-1 화면 형태 전형적인 MPEG의 비트 발생 형태 발생 비트수 : I-picture >> P-picture >> B-picture 4 12x10 4 10x10 화면당 발생 비트수 4 8x10 GOP 6x10 4 I-화면 4 4x10 4 2x10 B-화면 P-화면 0 0 50 100 150 200 300 화면 번호 6
    • MPEG-1 화면 형태 비트율의 조정 일반적으로 다음과 같은 상황에서 좋은 결과가 나옴 • I-picture와 P-picture의 화질을 비슷하게 유지 • B-picture의 화질을 상대적으로 낮게 유지 • 위와 같이 함으로써 – 전체적으로 느껴지는 화질을 일정수준이상 가능하고 – 비트율을 큰 폭으로 감축시킬수 있음 일반적으로 • 일반적인 자연 장면들의 경우 – P-picture 비트수는 B-picture 비트수의 2~5배정도 – I-picture 비트수는 P-picture 비트수의 3배정도 • 움직임이 적은 경우 – I-picture에 더 많은 비트수를 할당 • 움직임이 많은 경우 – I-picture의 비트수를 줄이고, 그만큼을 P-picture에 할당 MPEG-1 화면의 구성 GOP (Group of Pictures) 비디오 시퀀스에의 임의 접근 및 독립적인 편집 기능 하나 이상의 픽쳐들의 집합으로 구성 • N : 한 GOP를 구성하는 픽쳐의 수 • M : 인접한 I-화면과 P-화면 사이의 프레임 수 GOP (N=9) M=3 I B B P B B P B B I B B P 7
    • MPEG-1 화면 처리 순서 화면 처리 순서 화면이 발생된 순서와 화면이 부호화되고 전송되는 순서는 달라짐 • B-picture의 갯수만큼씩 차이가 남 (지연 발생) • Encoder/Decoder 모두 이를 위한 프레임 버퍼가 필요함 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 원래 화면 I B B P B B P B B I B B P B B 순서 1 4 2 3 7 5 6 10 8 9 13 11 12 16 14 화면 전송 I P B B P B B I B B P B B P B 순서 MPEG-1 화면 손실의 효과 (1) I-picture의 손실 I B B P B B P B B I B B P B B P B B I B loss or damage un-decodable I B B P B B P I B B B I B B P B B P B B 8
    • MPEG-1 화면 손실의 효과 (2) P-picture의 손실 I B B P B B P B B I B B P B B P loss or damage un-decodable I I B B P B B P B B P B B P B B MPEG-1 화면 손실의 효과 (3) B-picture의 손실 I B B P B B P B B I B B P B B P loss or damage no effects to other pictures I B P B B P B B I B B P B B P B 9
    • MPEG-1 데이터 스트림 구조 MPEG-1 비디오 데이터 스트림 구조 (1) Video Sequence GOP GOP 1 2 3 4 5 6 Slice Slice A Slice 1 2 5 6 CB CR Picture 3 4 Y Macro-Block Block (4:2:0) (8x8 pixels) MPEG-1 데이터 스트림 구조 MPEG-1 비디오 데이터 스트림 구조 (2) 비디오 시퀀스 (video sequence) • 영상 및 부호화의 기본 정보 GOP (Group of Pictures) • 비디오 시퀀스에의 임의 접근 기능 Pictures (픽쳐) • TV또는 모니터에 display의 기본 단위이고 예측 기능 • I, P, B의 세가지 형태의 픽쳐가 존재 Slice (슬라이스) • 픽쳐내에서 하나이상의 연속된 매크로 블럭들로 구성. • 오류(error)를 처리하는데 주요한 역할을 함 – 한 슬라이스에서 비트 스트림에 오류 발생시, 디코더는 다음 슬라이스로 skip • 시간 재동기 기능을 갖음 10
    • MPEG-1 데이터 스트림 구조 MPEG-1 비디오 데이터 스트림 구조 (3) Macro-Block (매크로 블록) • 16x16 크기의 블록 • 움직임 예측 및 보상의 기본 단위가 됨 Block(블록) • 8x8 크기의 블록 • DCT의 기본 단위가 됨 MPEG-1 : Encoder MPEG-1 부호화기 MPEG-1 표준은 부호기(encoder)를 정의하지 않고 복호기(decoder)만 정의한다. • encoder는 MPEG-1 표준에서 규정된 비트열의 데이터 구조와 의미( syntax와 semantics)에 따라 복호화될 수 있는 적합한 비트열을 생성하기만 하면 됨. MPEG-1 부호화 방식의 세가지 기본 단계 • 대역폭 축소 단계 – 입력 신호원의 해상도를 목표 해상도에 맞추고, 색조의 해상도를 주관적으로 만족할 만한 비율로 낮춤 • 손실 압축 단계 – 시간 중복성 제거 : 16x16크기 매크로블록 기반의 움직임 보상 – 공간 중복성 제거 : 8x8 블록 단위 DCT-기반의 압축 • 무손실 압축 단계 – VLC등을 사용하여 정보를 손실없이 비트열로 대응 시킴 11
    • MPEG-1 : Encoder MPEG-1 부호화기 구조의 예 H.261과 유사한 구조 화면모음(GOP) 버퍼 제어 화면순서 재배열 + DCT 양자화 + - 역양자화 VLC + IDCT 다중화 예측 메모리1 버퍼 움직임 움직임 보상 추정 예측 예측 메모리2 비트열 MPEG-1 : Decoder Decoder 모델 비트열 수신버퍼 VLC 역양자 IDCT + Decoder 화 화면 순서 재배열 부가 정보 예측메모리 움직임 벡터 및 예측기 출력 화면 12
    • MPEG-1 과 H.261의 비교 비교 대상 H.261 MPEG-1 주요 응용 대상 통신 미디어 디지털 저장 미디어 부호화 비트율 Px64 kbps (p = 1~30) 약 1.5 Mbps 까지 복호 시작 시점 통신 개시 GOP 와 화면열 헤더 화면의 부호화 형태 기본적으로 한 종류(P) 세 종류 (I,P.B) 화면의 누락 있음 없음 예측 구조 순방향 예측 순방향/쌍방향 예측 화면내 구조 GOB 슬라이스 매크로블록 위치정보 MBA(macroblock address) MBA 확장(extension) 매크로블록 형태 MB 타입 화면 유형별 MB 타입 양자화 선택 단위 MQUANT MQUANT, 양자화 행렬 움직임 벡터의 단위 정수 화소 단위 반화소 단위 루프 필터 있음 없음 CBP (coded block pattern) 있음 있음 변환 계수 부호화 2 차원 VLC 2 차원 VLC 공간 부호화 DCT DCT MPEG-2 개요 MPEG-2 ISO/IEC 13818-1,2,3,4,5,6,7,9,10 Generic coding of moving pictures and associated audio information 13
    • MPEG-2 개요 MPEG-2 관련 표준들 ISO/IEC 13818-1 : System ISO/IEC 13818-2 : Video ISO/IEC 13818-3 : Audio ISO/IEC 13818-4 : Conformance Testing ISO/IEC 13818-5 : Software Simulation ISO/IEC 13818-6 : Extension for DSM-CC (Digital Storage Media- Command and Control) ISO/IEC 13818-7 : Advanced Audio Coding (AAC) ISO/IEC 13818-9 : Extension for Real Time Interface for Systems Decoders ISO/IEC 13818-10 : Conformance Extensions for DSM-CC MPEG-2 개요 ISO/IEC 13818-1 ’94.11 ISO/IEC 13818-2 ’94.11 Video D ISO/IEC 13818-3 e ’94.11 Source Delivery m u Audio x ISO/IEC 13818-6 ’96.7 Interaction 14
    • MPEG-2 비디오 : 압축 개요 입출력 영상 scanning mode • interlaced 와 progressive를 모두 지원 • 디지털 위성방송, 디지털 TV방송, 케이블 TV, 고선명 그래픽, 의료장비, 극장등 다양한 응용분야 적용 가능 color sampling • 4:2:0, 4:2:2, 4:4:4 를 모두 지원함 영상의 크기 및 압축률 • profile/level에 따라 달라짐 • 3~5 Mbps : 일반 방송 (NTSC/PAL/SECAM) 수준 • 8~10 Mbps : CCIR 601 표준에 근접한 화질 – CCIR 601 - 방송 TV 신호의 디지털 표현을 규정 • 40Mbps이상 : HDTV 화질 MPEG-2 비디오 : Profile 과 Level Profile 과 Level 다양한 서비스를 제공하기 위한 부호화기 구현의 선택 범위 Profile • MPEG-2의 여러 기능들중에서 목적별로 필요한 부분만을 모은 집함으로서 알고리즘의 차이로써 나타남 • 영상 비트 스트림의 syntax의 차이, 즉, 기능상의 차이를 표현 Level • 특정 profile에서 관련되는 변수들에 대한 제한 조건을 표현 – 예: 입력영상의 크기, 초당 화면수, 초당 전송 비트량등 표기 예 • MP@ML (Mail Profile at Main Level) 15
    • MPEG-2 비디오 : Profile 과 Level Profile profile Simple Main Spatial SNR High (SP) (MP) Scaleable Scaleable (HP) features (Spatial) (SNR) 지원 색도 4:2:0 4:2:0 4:2:0 4:2:0 4:2:2 or 형식 4:2:0 픽쳐 형태 I, P I, P, B I, P, B I, P, B I, P, B 확장성 no no yes yes yes 확장 모드 none none SNR SNR or SNR or Spatial Spatial – SP는 소프트웨어 디코더를 위함. – MP는 cable TV나 위성 방송등을 위하여 저가의 단일 칩으로 구현 가능한 MPEG 부호화기를 대상으로 함. – Spatial은 HDTV급의 부호화기 MPEG-2 비디오 : Profile 과 Level 확장성(scalability) MPEG-2를 다양한 응용에 적용할 수 있도록 하는 기능 선별적인 서비스 제공이 가능 5가지 scalability • Satial Scalability • Temporal Scalability • SNR (signal to noise ratio) Scalability • Data partitioning Scalability • Hybrid Scalability 16
    • MPEG-2 비디오 : Profile 과 Level Spatial Scalability • 낮은 해상도를 지원하는 base layer를 높은 해상도를 지원하는 enhanced layer간의 확장성 base layer enhanced Temporal Scalability layer • 공간적으로 해상도는 같으나, 시간 해상도를 높여줌 – 예. base layer(odd field) ->base layer+enhanced layer (even) base layer enhanced layer MPEG-2 비디오 : Profile 과 Level SNR (signal to noise ratio) Scalability • 양자화 간격 크기에 따라 영상의 화질과 전송 대역폭이 달라짐 • 예. base layer(큰 양자화 간격) -> enhanced layer(차이신호에 대하여 조밀한 양자화기로 부호화) Data partitioning Scalability • 비디오 비트 스트림을 두개 이상의 계층으로 나눔 • 예. base layer (DCT 저주파 성분) -> enhanced layer (DCT 고주파 성분) Hybrid Scalability • 서로 다른 두가지 형태의 scalability의 조합으로 구성 17
    • MPEG-2 비디오 : Profile 과 Level Level Level features 전송속도 화면크기 프레임/초 Application Level (Mbits/sec) Low Level 4 352x240 30 VHS equipment (LL) Main Level 15 / 20(HP) 720x480 30 Broadcast quality (ML) High-1440 60 / 80(HP) 1440x1152 60 HDTV (H14) High Level 80 / 100(HP) 1920x1080 60 Film production (HL) 기본적으로, SP@ML 부터 HP@HL 방향으로 forward compatibility가 성립된다. 모든 Profile/Level의 디코더는 MPEG-1 비디오 데이터를 디코딩 할 수 있다. MPEG-2 비디오 : Profile 과 Level MP@ML의 주요 특징 DVD, DTV-DBS 방송에 적용 항목 내용 해상도 720x480 (59.94 field/sec), 720x576 (50 field/sec) 스캐닝 방식 interlaced, progressive 컬러 샘플링 4:2:0 비트율 up to 15 Mbps 버퍼크기 1.75 Mbits 예측모드 adaptive field/frame, dual prime only for successive P-pictures 호환성 MPEG-1 forward compatibility DCT only 8x8 2D DCT 움직임 추정블록 크기 16x16 (frame mode), 16x8 (field) DCT 계수 스캐닝 zigzag scanning, alternative scanning 입력데이터 표시 8 bits/pixel scalability 수용하지 않음 18
    • MPEG-2 비디오 : 부호화 주요 특징들 MPEG-2 부호화 구조 기본 구조는 MPEG-1과 동일 다양한 응용과 기능 지원을 위하여 세부적으로 MPEG-2 에서 확장된 기능을 갖음 입력 영상의 형태 MPEG-2에서는 영상을 홀수필드 짝수필드 홀수필드 짝수필드 화면(picture)라는 단위로 표현 픽쳐는 프레임(frame) 필드 구조 Interlaced scanning 화면과 필드(field) 1/60 초 화면의 두 종류가 있음 1/30초 시간 프레임 Progressive 구조 scanning MPEG-2 비디오 : 부호화 주요 특징들 움직임 예측 및 보상 방법 interaced 방식 지원에 의한 네가지 예측 방법이 적용됨 예측 화면 프레임 구조 필드 구조 필드 예측 MV 2 개 MV 1 개 16×8 필드 예측 − MV 2 개 프레임 예측 MV 1 개 − 듀얼 프라임 예측 MV 1 개와 DMV 1 개 MV 1 개와 DMV 1 개 16x8 필드 예측 16x8 블록에 대하여 필드 화면에서의 각각 움직임 보상 16x16 매크로 블록 Motion Vector Motion Vector 19
    • MPEG-2 비디오 : 부호화 주요 특징들 DCT 변환과 Alternate Scan X Y (a) 프레임 DCT 변환 블록 alternate scan (b) 필드 DCT 변환 블록 MPEG 압축 성능 비교 Picture Quality MPEG-2 10 4:2:2@ML IBP MPEG-2 IP MP@ML I 5 MPEG-1 0 0 5 10 20 30 40 Bit rates (Mbps) 주: 위의 성능 관계는 일반적인 경우에 대한 것이며, profile, GOP등에 따라 달라 질 수 있음 20
    • MPEG-2 비디오 : MPEG-1과의 비교 MPEG-1과 MPEG-2의 비교 MPEG-1 MPEG-2 디지털저장매체, 디저털 TV 방송, 디지털 응용 대상 디지털 저장매체 통신등 다양 SIF(360x240) ITU-R 601 (720x480), 최대 1920x1152 입력 영상의 형태 4:2:0 4:2:0, 4:2:2, 4:4:4 스캐닝 방식 Progressive Progressive, Interaced 부호화 비트율 약 1.5Mbps 까지 약 100Mbps 까지 공간적 확장성, 시간적 확장성, SNR 확 확장성 (scalability) 해당사항 없음 장성 순방향, 역방향, 상향, 호환성 (compatibility) 해당사항 없음 하향 호환성 지원 non-interlaced scan 을 위 DCT 방법 프레임 DCT / 필드 DCT 한 DCT non-interlaced scan 을 위 프레임 예측, 필드 예측, 16×8 필드 예측, 움직임 추정 방법 한 움직임 추정 듀얼 프라임 예측 P, B-화면에 대해 움직임 P, B-화면 뿐만 아니라 I-화면에 대해 오 움직임 벡터 벡터 할당 류 은닉을 위한 움직임 벡터 할당 DCT 계수 zig-zag scan 방식 / 필드 구조를 위한 zig-zag scan 방식 주사 방법 alternate scanning 방식 지원 MPEG-2 시스템 : DTV 표준 디지털 TV 표준 주도 기관 : ATSC (미국), DVB (유럽) 비디오 : MPEG-2 (SD급과 HD급으로 분류됨) • SD : MPEG-2 MP@ML (720x576, 30fps, 4/6 Mbps) • HD : MPEG-2 MP@HL (1920x1080, 60fps) 오디오 : 돌비 AC3 (미국), MPEG-1/2 (유럽) 전송 : MPEG-2 TS (Transport Stream) 변조방식 • 위성 : QPSK • 케이블 : QAM • 지상파 : 8VSB (미국), COFDM (유럽), BST-OFDM (일본) 21
    • MPEG-2 시스템 : 개요 ISO/IEC IS 13818 Part1 - MPEG-2 Systems 디지털 오디오와 비디오 데이터를 동기화하여 다중화하기 위한 비트 스트림에 대한 syntax와 semantics를 정의 • 다중화 되는 오디오와 비디오는 MPEG 압축에 대한 제약이 없음 디지털 TV 방송에서의 전송 표준 규격으로 사용됨 다중화되는 신호들간의 동기화를 이룸 • 비디오 • 오디오 • 기타 개별 용도의 데이터 • 시간 동기화 정보 • 서비스와 제어 정보 MPEG-2 시스템 : 다중화 과정 MPEG-2 시스템 다중화 과정 ES PES (Elementary (Packetized Stream) Elementary Stream) Digital Video PES Video Encoder Packetizer Multiplexer TS or PS Digital TS (Transport Audio Audio PES Stream) Encoder Packetizer PS (Program Stream) Private Data Scope Of MPEG-2 System Time Sync. Information Service and Control Information 22
    • MPEG-2 시스템 : 계층 구조 MPEG-2 시스템 계층 구조 ES (Elementary Stream) • 비디오 또는 오디오 부호기로 부터의 개별 출력 PES (Packetized Elementary Stream) • 비디오 : 한 화면에 대한 압축 비트열에 헤더를 붙여 하나의 PES 패킷 구성 • 오디오: 한 압축 프레임 단위 (MPEG-1 Layer II의 경우 1152 샘플에 해당)에 헤더를 붙여 하나의 PES 패킷 구성 PES Header ES 비디오 비디오 비디오 1 2 N 오디오 오디오 오디오 1 2 N PES ES Header MPEG-2 시스템 : 계층 구조 MPEG-2 시스템 계층 구조 (cont’d) PS (Program Stream) • 한 개의 TV 프로그램에 관련된 – 오디오와 비디오 등의 PES 패킷을 다중화 하고 – 이 프로그램에 관련된 오디오와 비디오등의 PES 패킷들을 다중화함 • 전달과정이 단순한 디지털 저장 매체 응용을 전제로 한 MPEG-1 다중화 시스템임 TS (Transport Stream) • PES 패킷을 세분화하여 188 바이트의 길이가 되도록 만들어진 패킷 • 4 바이트의 헤더 + 184 바이트의 적응필드와 유료부하 로 구성됨 • 오류가 심한 채널을 통하여 전달하는 것을 목적으로 함 – 오류 복원, 타이밍과 기타 부가 정보를 포함 23
    • MPEG-2 시스템 : 계층 구조 MPEG-2 시스템 계층 구조 PES 패킷 계층 PS PS TS TS 팩(Pack) 압축 패킷 계층 계층 계층 시스템 계층 MPEG-2 시스템 :Transport Stream TS 패킷 생성 과정 variable variable variable Elementary Stream Access Unit: I-Picture P-Picture Pictures Packettized Elementary Stream PES Packets PES Header Data from I-Picture PES Header Data from P-Picture variable variable Transport Stream TS Packets TS Data from TS Data from TS Data from Header PES Packet Header PES Packet Header PES Packet fixed fixed fixed 24
    • MPEG-2 시스템 : Transport Stream Mapping of MPEG-2 TS to AAL5 188 bytes 188 bytes MPEG-2 Transprt Packet MPEG-2 Transprt Packet AAL5 CPCS-PDU Payload CPCS-Trailer 376 bytes 8 bytes MPEG-2 시스템 : Transport Stream 타이밍 모델 일정 지연 (constant delay) 전송 채널 비디오 비디오 입력 비디오 PES PES 비디오 출력 부호기 패킷화기 역 패킷화기 복호기 PS, PS, PTS, DTS TS TS PTS, DTS 다중화 역다중화 오디오 오디오 입력 오디오 PES PES 오디오 출력 부호기 패킷화기 역 패킷화기 복호기 PTS SCR, SCR, PTS PCR PCR STC STC 송신부 수신부 STC: System Time Clock PTS: Presentation Time Stamp SCR: System Clock Reference DTS: Decoding Time Stamp PCR: Program Clock Reference 25
    • MPEG-4 MPEG-4 ISO/IEC 14496 Information Technology - Coding of Audio-Visual Objects MPEG-4 개요 MPEG-4 표준화 배경 이전의 통신용 부호화 기법과 고화질 부호화 기법 • 비디오 카메라를 사용하여 얻어진 자연 영상 (natural image)의 압축 및 재생을 목적으로 함 새로운 영상 형태의 등장 • 컴퓨터 그래픽에 의한 인공 영상 (artificial image) • 다양한 화면으로 만들어진 합성 영상 (synthetic image) • 새로운 형태의 부호화 기법이 필요 MPEG-4 • 새로운 영상 형태에 대한 응용들을 목적으로 함 – 1993 - 표준화 시동 – 1999 - MPEG-4 Visual Part 표준 – 2001 - MPEG-4 Edition 2 표준 – 2003 - H.264/MPEG-4 Part 10 (Advanced Video Coding) 표준 26
    • MPEG-4 개요 MPEG-4 관련 표준들 ISO/IEC 14496-1 : System ISO/IEC 14496-2 : Visual ISO/IEC 14496-3 : Audio ISO/IEC 14496-4 : Conformance Testing ISO/IEC 14496-5 : Reference Software ISO/IEC 14496-6 : Delivery Multimedia Integration Framework (DMIF) ISO/IEC 14496-7 : Optimized Reference Software ISO/IEC 14496-8 : Carriage of MPEG-4 Content Across IP Networks ISO/IEC 14496-9 : Reference Hardware Description MPEG-4 개요 Overview of the Parts of the MPEG-4 standard Ref: K. Diepold, S. Moeritz, Understanding MPEG-4, Elsvier, 2005 27
    • MPEG-4 Visual Objects MPEG-1/2 비디오와의 비교 MPEG-1/2 비디오 • 프레임 기반의 부호화 기술 – 사각형의 비디오 프레임이 압축의 기본 단위로 사용됨 • 압축을 최대로 하는 것이 기본 고려 사항 MPEG-4 비디오 • 객체(object) 기반의 부호화 기술 – 객체는 자연적(natural)이거나 인공적(synthetic)일수 있음 • 객체단위의 압축율의 향상 뿐만이 아니라, 디지털 비디오의 합성(composition), 조작(manipulation), 인덱싱 (indexing), 검색(retireval)등이 가능함 MPEG-4 Visual Objects Object-based Representation Architecture (1/2) Production stage Precoded Objects Multiplexing & Synchronization Compos. Encoder Object 1 Scene Encoder Definition Object 2 Encoder Object N 서울-대체로맑음 Encoder 28
    • MPEG-4 Visual Objects Object-based Representation Architecture (2/2) Consumption stage Precoded Noncoded Objects Objects Object M Decoder Compos. Decoder Demultiplexing composito Object 1 Decoder r 내일의 날씨 Object 2 Decoder 서울-대체로맑음 Object N Decoder MPEG-4 Visual Objects 객체기반 움직임 예측 (1/3) 비디오 시퀀스 29
    • MPEG-4 Visual Objects 객체기반 움직임 예측 (2/3) MPEG-1/2의 경우 MPEG-4 Visual Objects 객체기반 움직임 예측 (3/3) MPEG-4의 객체기반 움직임 예측 30
    • MPEG-4 Visual Objects Four Types of Objects Ref: J. Watkinson, The MPEG Handbook : MPEG-1, MPEG-2, MPEG-4, 2nd ed., Elsevier, 2004, pp.287 MPEG-4 Natural Video Coding MPEG-4 비디오 비트스트림의 계층 구조 (1/3) Visual Object Sequence (VS) VS1 VS2 Visual Object (VO) VO1 VO2 Video Object Layer VOL1 VOL2 (VOL) Group Of VOPs (GOV) GOV1 GOV2 Video Object Plane (VOP) VOP1 VOPK VOPK+1 VOP1 VOP2 31
    • MPEG-4 Natural Video Coding MPEG-4 비디오 비트스트림의 계층 구조 (2/3) Visual Object Sequence (VS) • 2D 또는 3D의 natural 또는 synthetic object를 포함하는 완전한 MPEG-4 visual scene를 포함 Visual Object (VO) • scene 내의 특정 객체로서 • 객체 또는 scene의 배경에 해당하는 arbitrary (nonrectangular) shape일수 있음 Video Object Layer (VOL) • (multilayered) scalable coding 을 지원하기 위한 방법을 제공 • 공간적 해상도나 이미지 품질과 관련됨 Group of Video Object Planes (GOV) • 연속된 VOP들의 집합 (optional level) • GOV는 임의 접근, 재동기화에 사용되는 헤더 정보를 포함 MPEG-4 Natural Video Coding MPEG-4 비디오 비트스트림의 계층 구조 (3/3) Video Object Plane (VOP) • 임의의 모양(arbitrary shape)을 갖는 이미지 • VO(visual object)의 모양, 배경, 움직임 파라메터를 반영하는, 특정 순간에서의 VO의 모습 de yp ct vi of t bje e O lO (V ua o s ) Vi time VOP (YUV) VOP (shape) 32
    • MPEG-4 Natural Video Coding Video Object Plane (VOP) • Features of MPEG-4 Video Coding * VLBV (Very Low Bitrate Video) MPEG-4 Natural Video Coding Visual Object Example (1/2) Video Scene consisting of three VOs 33
    • MPEG-4 Natural Video Coding Visual Object Example (2/2) Video Scene composed of VOs from separate sources MPEG-4 Natural Video Coding Video Object Plane (VOP) VOP Encoder Structure 34
    • MPEG-4 Natural Video Coding MPEG-4 Natural Video Coding (1/2) Coding of Rectangular Video Objects Coding of Arbitrarily Shaped Video Objects • Binary Shape Coding • Gray-Level Shape Coding • Coding of Boundary Macroblocks Scalable Video Coding • Spatial and Temporal Scalability • SNR Fine Granularity Scalability Special Video Coding Tools • Interlaced Coding • Error-Resilient Coding • Reduced Resolution Coding, Sprite Coding MPEG-4 Natural Video Coding MPEG-4 Natural Video Coding (2/2) Visual Texture Coding (VTC) • VTC tools • Wavelet Coding • Shape-Adaptive Wavelet Coding • Spatial and Quality Scalability • Bitstream Packetization • Tiling 35
    • MPEG-4 Visual SNHC Coding SNHC (Synthetic and Natural Hybrid Coding) 자연 영상 정보와 컴퓨터 그래픽의 합성 정보를 포함한 다양한 종류의 멀티미디어 정보를 효율적으로 표현하고 조작하기 위함 • 자연적인 영상 정보에 움직이는 2차원 또는 3차원 컴퓨터 그래픽과 인위적으로 만든 영상이나 소리를 융합하는데 그 목적을 두고 있음 인공적으로 소리를 만드는 방법도 제공함. 응용 분야 • 인공의 모델과 동기가 맞추어져 가상 현실을 적용한 비디오 영상 회의, 네트워크 대화 게임, 원격 교육 등에 이용될 수 있음 MPEG-4 Visual SNHC Coding MPEG-4 SNHC Tools (1/3) 2D Mesh Coding • 그물 객체 (mesh object) – 삼각형 조각들로 분할된 구조 – 시간이 변함에 따라 움직이는 하나의 객체를 표현하는데 적합 • 컴퓨터 그래픽 분야에서 3차원 물체를 표현하기 위하여 널리 사용됨 움직임 이전 움직임 이후 36
    • MPEG-4 Visual SNHC Coding MPEG-4 SNHC Tools (2/3) 3D Mesh Coding • 얼굴 객체 (FO, face object), 신체 객체 (BO, body object) – 인간의 얼굴과 신체를 표현하기 위하여 사용됨 – 아주 낮은 비트율에서 다양한 형태와 표정을 갖는 얼굴 또는 신체를 묘사하는 것이 가능 MPEG-4 Visual SNHC Coding MPEG-4 SNHC Tools (3/3) View-Dependent Scalability 37
    • MPEG-4 System MPEG-4 System 기존의 MPEG-1/2 System • 오디오와 비디오 정보를 다중화하고 동기화하는 것에 초점을 맞춘 시스템 디코더 모델 MPEG-4 시스템 • 오디오, 비디오 컴퓨터그래픽스, 아바타등의 멀티미디어 객체의 가상 시공간상의 배치 • 사용자 상호작용의 지원 • 저작권 보호기술과 메타데이터 기술을 통합한 일반적인 멀티미디어 컨텐츠의 부호 표준 • BIFS (Binary Formatted Scene Description) – MPEG-4 시스템 분야의 표준 BIFS 응용 양방향 데이터 서비스 (T-DMB) 38
    • BIFS 응용 Hot Spot Service (T-DMB) MPEG-4 System DMIF DSM-CC (Digital Storage Media-Command and Control) • MPEG-2에서의 전송규약 • 혼합망 환경에서 VoD (Video on Demand)와 같은 특정 응용을 목표로 함 DMIF (Delivery Multimedia Integration Framework) • MPEG-4의 전송규약 • 방송, 네트워크, 저장 매체등 서로 다른 전송 방식을 통하여 전송되는 멀티미디어 스트림들을 응용 프로그램에서 통합하여 사용하는 것을 지원하는 보다 일반적인 전송규약 • FlexMux – 미디어 스트림들의 효율적인 멀티플렉싱 기능을 지원 • TransMux – 미디어 스트림의 QoS를 지원 39
    • MPEG-4 System MPEG-4 System과 DMIF간의 관계 MPEG-4 오디오 MPEG-4 비디오 기타 데이터 MPEG-4 시스템 media-related part network-related part DMIF H.223 MPEG-2 TS RTP MPEG-2 PS 통신 방송 인터넷 저장미디어 MPEG-4 System MPEG-4 Standard Structure Composition Media Aware, delivery unaware : ODs Scene 14496-2/3 Audio and Visual 14496-1 Scene Description CL CL CL and Object Descriptor Protocol ES ES ES ES ES ES ESI Media and Delivery unaware : 14496-1 Systems, adaptation Sync. Layer SL SL SL SL SL SL of the MPEG-2 traditional activities DAI Delivery Aware, media unaware : Delivery Layer FlexMux 14496-6 DMIF FlexMux FlexMux Tool 14496-1 FlexMux DNI DMIF (Delivery Multimedia Integration TransMux Tool Various Transport Protocols (MPEG-2, UDP/IP, Framwork) ATM, PSTN, DAB, etc) ESI (Elementary Stream Interface) DAI (DMIF-Application Interface) 40
    • MPEG-4 System 데이터 전송 (예) MPEG4 MPEG-4 compression layer data elementary stream SL MPEG4 MPEG-4 sync layer header data SL packet stream FlexMux SL MPEG4 FlexMux layer MPEG-4 Delivery layer header header data FlexMux stream RTP FlexMux SL MPEG4 header header header data Transport layer UDP RTP FlexMux SL MPEG4 Transport layer header header header header data IP UDP RTP FlexMux SL MPEG4 Network layer header header header header header data TransMux stream 20 8 16 3 3 DMIF MPEG-4 스트리밍 아키텍쳐 41
    • H.264/MPEG-4 Part 10/H.264 MPEG-4 ISO/IEC 14496-10 Advanced Video Coding MPEG-4 Part10/H.264 H.264 ISO/IEC와 ITU-T의 공동 표준 • ISO/IEC MPEG의 JVT(Joint Video Team) – ISO/IEC MPEG-4 Part 10 • ITU-T VCEG (Video COding Experts Group) – ITU-T H.264 초기에 H.26L로 이름이 붙여져 연구가 시작되어 2003년에 완성됨 성능 향상 정도 • MPEG-2에 비하여 50% • H.263+와 MPEG-4의 advanced simple profile에 비하여 30% MPEG-2보다 월등한 압축 성능으로 HDTV 비디오 컨텐츠를 전달하기 위한 강력한 후보로서 여겨지고 있음 42
    • MPEG-4 Part10/H.264 History MPEG-4 Part10/H.264 H.264 Profiles Core 기능들 • VLC-based Entory Decoding • Motion Compensation (P-Prediction) • Intra Prediction (I-Prediction) • 4x4 단위의 DCT와 Nonlinear Quantization • In-Loop Deblocking Filters에 의한 주관적 화질의 개선 Baseline Profile 기능들 • 화상회의와 같은 실시간 대화형 응용을 위한 기능들 – Arbitrary Slice Order – Flexible Macroblock Order – Redundant Slices 43
    • MPEG-4 Part10/H.264 H.264 Profiles (계속) Main Profile 기능들 • 방송, 저장매체와 같은 지연에 문제가 없는 응용들을 위하여 최대의 압축 효율을 목적으로 함 – B Slices – Context Adaptive Binary Arithmetic Coding – Weighted Prediction Extended Profile 기능들 • 비디오 스트리밍 응용들을 위하여 설계됨 • 지연을 허용하며, 비트스트림 스위칭 기능, 오류 강인성을 제공함 – B Slices – Weighted Prediction – Slice Data Partitioning – SP and SI Slice Types MPEG-4 Part10/H.264 H.264 Profiles (계속) Ref: J. Watkinson, The MPEG Handbook : MPEG-1, MPEG-2, MPEG-4, 2nd ed., Elsevier, 2004 44
    • MPEG-4 Part10/H.264 Performances Ref: W. Cliff, A Practical Guide to Video and Audio Compression: From Sprockets and Rasters to Macroblocks, Elsevier, 2005 (pp.239) MPEG-4 Part10/H.264 Comparisons with MPEG-2 MPEG-2 Ref: W. Cliff, A Practical Guide to Video and Audio Compression: From Sprockets and Rasters to Macroblocks, Elsevier, 2005 (pp.245) 45
    • MPEG-4 Part10/H.264 Comparisons with MPEG-2 H.264 Ref: W. Cliff, A Practical Guide to Video and Audio Compression: From Sprockets and Rasters to Macroblocks, Elsevier, 2005 (pp.246) MPEG-4 Part10/H.264 Comparisons with MPEG-4 Visual MPEG-4 Visual H.264 Rectangular Video Frames and Fields Arbitrary-shpaed Video Objects Supported data Still Textures and Sprites Rectangular Video Frames and Fields types Synthetic or Synthetic-Natural Hybrid Video Objects 2D and 3D mesh objects Number of 19 3 Profiles Compression Medium High Efficiency Minimum MB 8x8 4x4 size MV accuracy Half or quarter-pixel Quarter-pixel Transform 8x8 DCT 4x4 DCT approximation License Probably not (for baseline profile) Yes for commercial implementation Payment Probably (main and extended profiles) 46
    • MPEG-4 Part10/H.264 MPEG-4 Simple Profile MPEG-2 H.264 Baseline Profile MPEG-4 정리 기존 방식과의 비교 기존 방식들 MPEG-4 2D 와 3D 컨텐츠 대부분 2D 컨텐츠 자연적인 오디오와 비디오와 컴퓨터에 의하여 생 카메라 또는 마이크를 사용한 자연 성된 오디오와 비디오가 결합된 컨텐츠 컨텐츠 생성 영상 및 음성 컨텐츠 전통적인 사각형 형태와 특정부분만을 갖는 다양 (Production) 생성 단계에서 객체들의 혼합 한 형태의 비디오 컨텐츠 (mixing)이 이루어짐 분리된 객체들의 임의적 결합을 제공하는 부호화 방식 제한된 네트워크 (satellite, LAN, 모든 네트워크 환경에서의 멀티미디어 정보의 전 ISDN)을 통한 멀티미디어 정보 전 달 달 가능 전달 네트워크에 독립적인 공통적인 컨텐츠 표현 방식 네트워크마다 고유의 컨텐츠 표현 (Delivery) 의 제공 방식을 갖음 여러 종류의 이종(heterogeneous) 네트워크를 통 동종(homogeneous) 네트워크를 통 한 통신과 전달 방식을 제공 한 통신 및 전달 소비 단계에서 객체들의 임의 결합에 의한 정보 대부분 수동적인 컨텐츠 표현 가능 소비 사전에 제작되어 변경 불가능한 컨 정보는 상호적(interactive)이고 개인화된 (Consumption) 텐츠 (personalized) 용도로 읽혀지고, 보여지고, 들려질 수 있음 47
    • MPEG-4 정리 MPEG-1/2 참조 모델 ISO/IEC 13818-1 ’94.11 ISO/IEC 13818-2 ’94.11 Video D ISO/IEC 13818-3 e ’94.11 Source Delivery m u Audio x ISO/IEC 13818-6 ’96.7 Interaction MPEG-4 정리 MPEG-4 참조 모델 BIFS Audio Composition Presentation D e Video Source m Delivery u x Animaiton Text Interaction 48
    • Q&A 49