Dokumen tersebut membahas tentang multimedia dan computer vision, yang mencakup tantangan teknis seperti pengelolaan data besar dan sinkronisasi antar komponen teknologi. Juga dibahas volume data yang besar pada berbagai media seperti suara, citra, dan video, serta format-format file multimedia seperti JPEG dan GIF.
2. Tantangan Teknis :
Butuh pengelolaan ragam data dan
volume data besar
Waktu proses data dan komunikasi antara
komponen-komponen teknologi bersifat real-
time.
Butuh sinkronisasi kerja antar komponen
teknologi
5. Suatu dokumen yang berisikan dua atau lebih
elemen-elemen multimedia (media) dari sumber
yang berbeda ( teks, citra, video, audio, …)
Dokumen multimedia disimpan dalam satu atau
beberapa file secara tersinkronisasi terhadap
dasar waktu yang sama.
Dokumen multimedia :
Contoh :
Suatu reportase pada siaran televisi akan susah difahami jika
komentar seorang jurnalis memiliki delay waktu terhadap
video dan/atau juga terhadap ilustrasi grafik yang ditayangkan.
7. Layanan Residential
Video-on-demand
Video phone/Conference
Multimedia home shopping (MM catalogs,
product demos and presentation)
Layanan Business Services
Corporate training
Desktop MM conferencing, MM e-mail
8. 8
Vidéo conférence
1. Volume data multimedia sangat besar
2. Bandwidth jaringan terbatas dan mahal
3. Delay waktu transmisi besar
9. Pendidikan
Pembelajaran jarak jauh
Repository video pembelajaran
Akses ke MM digital libraries
Kedokteran
Diagnosis, pengobatan dan pengarsipan
Basis data multimedia
14. • Kompresi data teks (Huffman coding,
RLE coding, LZW coding, arithmetic coding
• Representasi dan kompresi data suara
dan audio
• Representasi dan kompresi citra
• Representasi dan kompresi video
15. • Metode representasi data/informasi kedalam
ukuran yang lebih kecil sehingga dapat
mempercepat waktu transmisinya dan memperkecil
penggunaan memori penyimpanan
• Kompresi dapat dilakukan tanpa kehilangan
atau perubahan data (Lossless compression)
• Kompresi dapat dilakukan dengan kehilangan atau
perubahan data (lossy compression)
16. • Pengkodean (coding) data atau informasi
yang memiliki redundancy (kerangkapan)
kedalam jumlah bit yang lebih kecil.
• Digunakan untuk kompresi teks atau
citra/video tanpa kehilangan/perubahan data
(citra/video medis)
• Beberap contoh coding : Huffman, arithmetic,
statistik, RLE (run-length encoding), Lempel-
Ziv, Lempel-Ziv-Welch,
17. • Huffman Coding (David Albert Huffman 1952)
- Berbasis pada perhitungan statistik
- Mengunakan bantuan pohon biner
- Data yang frekuensi munculnya paling
banyak dikode dengan jumlah bit terkecil
- Data yang frekuensi munculnya paling
sedikit dikode dengan jumlah bit terbesar
18. • Huffman Coding
Contoh : "this is an example of a huffman tree"
- statistik munculnya karakter : “ “= 7, a=4,
e=4, f=3, t=2, h=2, i=2, s=2, n=2, m=2, x=1,
p=1, l=1, u=1, 0=1, r=1.
- Probabilitas munculnya karakter : “ “= 0.1944…,
a=e=0.1111…, f=0.0833…, t=h=i=s=n=m=0.0556,
x=p=l=u=o=r=0.0278.
19. • Huffman Coding Pohon biner :
““= 7
a=4
e=4
f=3
t=2
h=2
i=2
s=2
n=2
m=2
x=1
p=1
l=1
u=1
0=1
r=1
2
2
2 4
4
4
4
5
8
8
8
12
16
20 36
“ “= 000
a = 010
e = 011
f = 0010
t = 0011
h = 1000
i = 1001
s = 1010
n = 1011
m = 1100
x = 11010
p = 11011
l = 11100
u = 11101
o = 11110
r = 11111288 bit 195 bit
0 0 0
0 1
1
0 1
1
0 0 0 1
1
0 1
1
0 0 1
0 1
1
0 0 1
1
0 1
1
20. • Huffman Coding
1. digunakan untuk pengkodean teks, citra
dan video
2. Ada 3 jenis algorithme Huffman coding,
Masing masing berhubungan dengan
metode pembuatan pohon biner :
21. • Huffman Coding
statik : code setiap karakter ditentukan
langsung oleh algoritma (contoh : teks
berbahasa Prancis, dimana frekuensi
kemunculan huruf e sangat banyak sehingga
code bitnya kecil.
semi-adaptatif : teks harus dibaca terlebih dulu
untuk menghitung frekuensi munculnya setiap
karakter, kemudian membentuk pohon
binernya.
22. • Huffman Coding
adaptatif : Metode ini memberikan rasio kompresi
yang tinggi karena pohon biner Dibentuk secara
dinamik mengikuti tahapan compresi. Namun dari
sisi kecepatan eksekusi membutuhkan waktu yang
lebih lama karena satiap saat pohon binernya akan
beruabah mengikuti perubahan frekuensi munculnya
setiap karakter.
23. • Kelemahan Huffman Coding
- Bila frekuensi munculnya setiap karakter dalam
suatu dokumen adalah sama semua.
- File kompresinya bisa sama atau lebih besar dari
file aslinya
- Solusi yang mungkin adalah kompresi per blok
karekter dari dokumen tersebut
Entropi H :
Entropi H :
24. • Run-length encoding
- RLE coding telah diaplikasikan khususnya pada scanner
hitam putih (biner)
- Prinsip dasarnya adalah menghitung jumlah/panjang data
yang sama dalam serangkain data yang akan dikompres
- Contoh pada dokumen hitam H (tulisan) dan putih P (latar
belakang dokumen), berikut misalnya data pada satu baris
dokumen yang direpresntasikan dalam pixel :
PPPPPPPPPPPPHPPPPPPPPPPPPPPHHHPPPPPPPPPPPPPPPPPPPPPPPHPPPPPPPPPPP
- Bentuk kompresinya adalah : 12P1H14P3H23P1H11P
25. • Aplikasi Run-length encoding
- Kompresi citra format bmp pada Windows dan OS/2 untuk
citra 1, 4 dan 8 bit/pixel
- Citra format PCX 8 dan 24 bit/pixel
- Fax dan scanner hitam putih
26. Format file citra:
• File citra umumnya memiliki :
- header yang menyatakan informasi citra seperti ukuran
citra, format file, dll.
- data citra itu sendiri
• Struktur file berbeda antara satu format dengan format
citra lainnya
• Bisa jadi struktur file untuk format citra yang sama
berbeda dari satu versi ke versi yang lain (contoh : file
TIFF)
27. • Format JPEG mengikuti norm ISO
• Bersifat pengunaan bebas
• Jumlah warna citra 224 = 16777216 warna
• Type kompresi lossy menggunakan DCT
• Kualitas kompresi tergantung pada rasio
kompresi
• Tidak memiliki sifat warna transparan
• Bukan format animasi
28. • JPEG 2000 masih dibawah proteksi hak paten
• Type kompresi lossy dan lossless menggunakan
Wavelet Transform
• Jumlah warna citra 224 = 16777216 warna
• Kualitas kompresi dapat diatur secara lokal atau
global
• Dapat ditampilkan dengan ukuran yang berbeda
• Bukan format animasi
• Tidak memiliki sifat warna transparan
29. • Bersifat pengunaan bebas
• Type kompresi lossless baik untuk citra
berwarna maupun citra gray-level
• Memiliki sifat warna transparan
• Bukan format animasi
• Versi format animasinya adalah MNG
30. • Bersifat dilindungi oleh hak paten
• Jumlah warna citra 256 (sistem pallet)
• Dapat memiliki sifat warna transparan
• Dapat merupakan format animasi
• Penggunaa umum adalah untuk logo dan
citra yang memiliki jumlah warna sedikit
31. Pembagian citra
dalam blok
8x8 pixel
Transformasi
warna
DCT Kuantisasi
Coding RLE
&
Huffman
Tabel
Kuantisasi
Tabel
coding
Rekonstruksi
Blok citra
Transformasi
Warna
invers
IDCT
Kuantisasi
Inverse
Decoding RLE
&
Huffman
Citra terkompresi
JPEG
Citra asli
Kompresi JPEG
Rekonstruksi JPEG
Bagan standar kompresi citra JPEG
Matrice d’origine.
32. Matrice d’origine. Matrice transformée DCT
DCT
Matrice de quantification
Matrice quantifiée.
÷
1260 rata2 dari
seluruh matrik asli
-1, 1, -3, 2 deviasi
33.
1
0
2
2
).12(
cos).,()(.),(
N
x
NX
N
ix
yxPixeliCyiDCT
1
0
1
0 2
).12(
cos.
2
).12(
cos).,()().(.
2
),(
N
x
N
y N
jy
N
ix
yxPixeliCjC
N
jiDCT
1
0
2
2
).12(
cos.),()(.),(
N
y
XN
N
jy
yiDCTjCjiDCT
Transformasi DCT
1
0
1
0 2
).12(
cos.
2
).12(
cos).,()().(.
2
),(
N
i
N
j N
jy
N
ix
jiDCTiCjC
N
yxPixel
1
0
2
2
).12(
cos).,()(.),(
N
j
NX
N
jy
jiDCTjCyiIDCT
1
0
2
2
).12(
cos.),()(.),(
N
i
XN
N
ix
yiIDCTiCyxPixel
Transformasi DCT invers.
Implementasi 1D :
Implementasi 1D :
36. Zigzag coding : urutan pengkode
menurut norm JPEG.
20 -10 11 1 -9 2 -2 -4 -8 -1 0 1 2 3 -1 0 0 0 0 -1 EOB
• DC adalah nilai rata-rata matriks dan merepresentasikan
informasi global matriks (frekuensi rendah)
• AC merepresentasikan informasi detail matriks (frek. tinggi)
• Penkodean dilakukan dalam bentuk zigzag :
39. • Informasi dalam signal 1-D et 2-D tersebar dalam
frekuensi yang berbeda (dari frekuensi rendah ke
frekuensi tinggi)
• Analisis informasi dalam signal tersebut membutuhkan
teknik analisis multi-frekuensi multi-resolusi
multi-scale
• Wavelet transform (WT) sangat sesuai dengan
kebutuhan analisis multi-frekuensi.
40. Bagaimana DWT berfungsi ?
Dua pendekatan analisis :
- pendekatan melalui dilatasi filter resolusi signal tetap.
- pendekatan melalui dilatasi signal resolusi signal
berubah
Contoh : misalkan suatu signal memiliki informasi yang
tersebar hingga pada frekuensi 1000 Hz.
Prinsipe : memisahkan signal dalam dua komponen yaitu
informasi general (frekuensi rendah) dan informasi
detil (frekuensi tinggi)
41. Pendekatan melalui dilatasi filtre ?
- Pada tahap awal, kita bagi informasi signal dalam dua bagian dengan
melewatkannya dalam high-pass filter (500-1000 Hz) dan low-pass
filter (0-500 Hz).
- Menghasilkan satu signal yang berhubungan dengan informasi pada
interval 0-500 Hz (frekuensi rendah) dan satu signal lainnya dengan
informasi pada interval 500-1000 Hz (frekuensi tinggi).
- Selanjutnya, kita lakukan proses berulang pada salah satu atau kedua
komponen tadi.
- Andaikan kita lakukan untuk bagian low-pass dengan menggunakan
high-pass filter (250-500 Hz) dan low-pass filter (0-250 Hz). Maka kita
akan punya 3 komponen informasi, masing-masing berhubungan
dengan informasi dari satu signal yang sama pada frekuens 0-250 Hz,
250-500 Hz et 500-1000 Hz.
- dst.
42. Pendekatan dilatasi signal ?
• Tahap pertama, kita lewatkan signal kedalam low-pass filter dan high-
pass filter (kita gunakan filter dengan resolusi yang sama,).
• Tahap kedua, resolusi signal hasil low-pass dan high-pass kita bagi dua.
• Selanjutnya, kita lakukan proses yang sama hingga pada resolusi yang
diinginkan.
Keuntungan untuk kompresi citra :
- Lebih mudah untuk implementasi real-time
- sangat baik untuk kompresi citra dan video
43.
44.
45. • Ada beberapa jenis WT yang telah dikembangkan, diantaranya yang
digunakan untuk format JPEG2000 :
- ''CDF 9/7'' Cohen-Daubechies-Fauvaue (irreversible).
- ''spline 5/3'' pour Le Gall (lebih sederhana dan reversible).
• Bilangan 9 dan 5 merupakan jumlah elemen filter low-pass. Bilangan 7
dan 3 merupakan jumlah elemen filter high-pass.
Pour la CDF 9/7 :
+0.602949018236
+0.266864118443 (Z1
+Z-1
)
-0.0782223266529 (Z2
+Z-2
)
-0.016864118448 (Z3
+Z-3
)
+0.026748757411 (Z4
+Z-4
)
+0.557543526229 (Z1
)
-0.295635881557 (Z2
+Z0
)
-0.028771763114 (Z3
+Z-1
)
+0.045635881557 (Z4
+Z-2
)
Filter low-pass L :
Filter high-pass H :
46. • Wavelet Transform (WT)
- Ide : membagi citra kedalam tingkat resolusi yang berbeda
- Pembagiannya berdasarkan pita frekuensi yang bebeda
- Menjaga/mempertahankan kualitas data
• Principes :
– Melakukan proses WT terhadap citra asli
– Kuantisasi skalar (sesuai tingkat resolusi)
– Pengkodean (RLE, entropy, Huffman, …)
55. Standard compression JPEG2000
• Keuntungan
– Kualitas lebih baik dari JPEG
– Lossless dan lossy compression sangat baik
– Regions of Interests ROI coding
– Transmisi dan pengkodean progressif
– Sesuai untuk data aplikasi multimedia
• Untuk nilai PSNR (pick signal to noise ratio) yang sama,
ratio kompresi JPEG2000 dapat mencapai 2 kali dari
JPEG
• Efek blok tidak tampak
56. Kompresi Video
Problem :
1. Satu citra dari suatu video dapat menempati kapasitas
memori sekitar 0,916 MB (640x480 pixel).
2. Untuk menampilkan video yang secara visual tampak kontinu,
maka kecepatan pengambilan gambar adalah 25 atau 30 citra
per detik, atau sekitar 23 MB/detik atau sekitar 1,38 GB/menit
atau sekitar 82,94 GB/jam.
3. Kapasitas penyimpanan (CD dan DVD) yang ada saat ini
sekitar 7GB,
4. Kapasitas band-width jaringan komunikasi yang terbatas.
5. 25 citra/detik butuh band-with sekitar 184 Mbps.
57. Kompresi Video
Solusi :
- Meningkatkan kapasitas memori penyimpanan,
implikasinya penambahan biaya yang besar
- Memperbesar band-width komunikasi
implikasinya penambahan biaya yang besar
- Kompresi data video pengembangan algoritma
CoDec (COmpression/DECompression) untuk
memperkecil semaksimal mungkin data video tanpa
banyak mengurangi kualitas visualnya
58. Kompresi Video
• Ide pertama adalah mengurangi jumlah data rate
(dari 25 fps ke 12 fps atau dari 30 fps ke 15 fps),
dengan konsekuensi menghilangkan sejumlah
pergerakan objek video (video motions)
• Intraframe (spatial) compression:
mengurangi redundant informasi/data yang
berada dalam satu citra atau frame.
59. Kompresi Video
Interframe (temporal) compression
• Landasan pemikiran adalah bahwa banyak terdapat
perulangan informasi/data video dari satu frame (citra)
ke frame lainnya.
• Sehingga perlu pengembangan metode atau algoritma
yang mampu menghilangkan redundancy informasi/dat
antar frame.
• Butuh identifikasi key frame (master frame)
• Key frame: dasar untuk menentukan berapa banyaknya
frame secara berurutan yang memiliki pergerakan objek
yang sama (hampir sama)
60. Kompresi Video
Interframe (temporal) compression
• Andaikan bahwa informasi/data background adalah tetap (langit,
jalan dan rumput) dan hanya mobil yang bergerak.
• Frame pertama disimpan sebagai key frame dan frame-frame
lainnya diambil hanyalah objek yang bergerak (mobil).
t
61. Standar video MPEG
MPEG-1, adalah suatu standar untuk kompresi data video
dan audio (2 kanal audio). Memungkinkan untuk
menyimpan video dengan kapasitas 1.5 Mbps pada media
VCD (Video CD).
MPEG-2, suatu standard dikembangkan untuk televisi
numerik (HDTV) yang memberikan kualitas tinggi dengan
kapasitas 40 Mbps dan 5 canal audio. MPEG-2 juga
dikembangkan untuk dapat mengidentifikasi dan
memproteksi terhadap pembajakan. Format ini digunakan
untuk video DVD.
62. Standards et normes vidéos : MPEG
MPEG-4, standard yang ditujukan untuk compresi
data multimédia dalam bentuk objek numériques,
sehingga lebih memudahkan interactivity, dan
pengunaanya lebih adaptif terhadap kebutuhan web
dan interface mobile.
MPEG-7, standard ditujukan untuk memberikan
representasi standar data audio dan visual agar dapat
lebih memungkinkan pencarian informasi dalam
video berdasarkan content. Standar ini disebut juga
Multimedia Content Description Interface.
63. MPEG : Prinsip dasar
Prediksi Transformasi Kuantisasi Entropy Coding
P T Q Ce
Decoding
R G B Y U V
Luminance
Format ruang warna : 4:1:1 (4:2:0)
65. Konversi dari camera-bmp-avi-mpeg
Kirim ke : soe@upiyptk.org
Cari salah satu :
1. Video Compression dari camera-bmp-avi-wmv
2. Video Compression dari camera-bmp-avi-flv
Source :
http://www.mathworks.com/search/ice.cgi?query=wmv
http://www.mathworks.com/search/ice.cgi?query=flashvideo
TUGAS MEMBEDAH 5 JURNAL
66. Buat suatu karya ilmiah dengan topik, pilih salah satu topik dibawah ini :
“Video Compression Dari Citra bmp-AVI-MPEG Dengan MatLab ”
“Video Compression Dari Citra jpg-MPEG-WMV Dengan MatLab”
“Video Compression Dari Citra gif-AVI-FLV Dengan MatLab”
Atau cari yang sesuai dengan Video Compression
Ada pun ketentuannya adalah: yang dikirim ke email : soe@upiyptk.org
Minimal 5 referensi/daftar pustaka tahun terbit paling akhir 2009.
Paling sedikit 2 Halaman selain daftar pustaka. Disimpulkan dari 5 jurnal
thesis, skripsi, atau proceding sbb : abstrak, pendahuluan, isi, dan
kesimpulan.
TUGAS MEMBEDAH 5 JURNAL
67. MPEG : Prinsip dasar
Komponen Y mengandung lebih banyak informasi dari komponen U dan V
69. MPEG : Prinsip dasar
Modul Prediksi :
• Frames I : citra dikompresi secara terpisah tanpa citra
referensi dari citra sebelumnya.
• Frames P: citra yang diprediksi berdasarkan pada citra
referensi I atau P sebelumnya.
• Frames B (Citra interpolsi bidireksional) : citra ini dihitung
berdasarkan citra referensi I dan P,
Urutan penyimpanan dalam file : I P B B B P B B B I B B B
I B B B P B B B P B B B I
71. MPEG : Prinsip dasarr
Citra ini dikompresi dengan hanya menggunkan
metode
kompresi JPEG.
Citra ini sangat penting dalam video MPEG karena
dialah yang menjamin kesinambungan data citra
lainnya
Ada 2 atau 3 citra I per detiknya dalam video MPEG.
Frames I :
72. MPEG : Principe
Frames P :
Citra ini dihitung melalui perbedaan antra citra actual terhadap
citra I atau citra P sebelumnya.
Algoritma yang dikembangkan untuk menghitung citra P adalah
melalui perbandingan blok per blok, disebut macroblocs (16x16
pixels), dan berdasarkan pada nilai ambang tertentu dapat
dinyatakan apakah blok tesebut berbeda dengan blok citra
sebelumnya. Jika ya maka dilakukan compresi JPEG dan jika tidak,
blok tersebut dinyatakan sama dengan blok citra sebelumnya dan
tidak perlu dikompresi.
Perhitungan macroblocs sangat mempengaruhi kecepatan
kompresi.
73. MPEG : Principe
Frames B :
Sama halnya dengan frames P, frames B dihitung
berdasarkan perbedaan antara citra actual terhadap citra
referensi I sebelumnya dan citra referensi P berikutnya, hal
ini dapat memberikan kualitas kompresi yang baik, namun
memberikan delay waktu karena harus mengetahui dulu
citra berikutnya dan harus disimpan di memori 3 citra
secara berturutan (citra I/P sebelumnya, citra actual dan
citra P/I berikutnya).