1. Çok Kameralı Gerçek Zamanlı
Video Birleştirme

2. Projenin Amacı
• Gerçek zamanlı görüntü işleme
• Çoklu görüntülerden panorama oluşturma
• Hedef takip sistemi

3. Donanım Tasarımı
• Fikri Mülkiyet (Intellectual Property – IP)
– Teknolojiden bağımsız
– VHDL/Verilog dilleri
– Gerçek zamanlı işlem hızı
• FPGA prototip
– HDMI, DDR3, Ethernet/PCIe arayüzleri

4. Donanım Yapısı

5. Görüntü Düzeltme
(Image correction)
• Görüntü biçim bozukluklarını düzeltme
• Silindirik dönüşüm
Orijinal görüntü
Düzeltilmiş görüntü

6. Öznitelik noktalarını bulma
(Keypoint detection)
Algoritma karşılaştırması
Bilgisayar Özellikleri:
CPU: Intel Core2 Quad CPU, Q9400 2.66
GHz
RAM: 4 Gb
İşletim Sistemi: 64 bit Windows 7
577x698 boyutlarında iki resim kullanıldı.
İki resimde noktalar bulundu ve iki yönlü
eşleştirme yapıldı.
img1 -> img2
img2 -> img1
Bulunan nokta sayıları bu iki eşleştirmenin
toplamıdır.

7. Öznitelik noktalarını bulma
Algoritma karşılaştırması - Sonuç
HIZ:
ORB > FREAK > BRISK > SIFT
BULUNAN ANLAMLI NOKTA SAYISI:
SIFT > ORB > BRISK > FREAK
Yöntem: BRISK
Hesaplama zamanı (ms): 505.064
Öznitelik nokta sayısı: 47
Yöntem : FREAK
Hesaplama zamanı (ms): 282.98
Öznitelik nokta sayısı : 41
Yöntem : ORB
Hesaplama zamanı (ms): 89.1482
Öznitelik nokta sayısı : 775
Yöntem : SIFT
Hesaplama zamanı (ms): 820.453
Öznitelik nokta sayısı : 1185

8. Öznitelik noktalarını bulma
• ORB (Oriented FAST and Rotated BRIEF)
–
–
–
–
–
–
Orantıdan bağımsız (scale invariant)
Bakış açısından (dönme) bağımsız (rotation invariant)
Parlaklıktan bağımsız (brightness/contrast invariant)
Gürültüye karşı dirençli
Nokta seçiminde FAST
En güçlü noktalar:
• Harris cevabına göre
• Yönelim (orientation) hesaplarına göre
Görüntü-1 öznitelik noktaları
Görüntü-2 öznitelik noktaları

9. Görüntü eşleme
(Image matching)
• RANSAC (Random Sample Consensus)
– Eşleşmeyen veya zayıf eşleşen noktaların elenmesi
• Eşleşen noktalar arası ‘Perspektif Matrisi’ hesabı
Eşleşen noktalar

11. Görüntü sabitleme
(Image stabilization)
• Öznitelik noktalarından kayma hesabı

12. Görüntü demeti düzeltme
(Bundle adjustment)
• Kamera parametrelerinin homografiyi
düzeltecek şekilde ayarlanması
• Levenberg-Marquardt

13. Kazanç telafisi
(Gain compensation)
• Görüntüler arası parlaklık/kontrast farklarını giderme
Kazanç telafisi yapılmadan
Kazanç telafisi yapılarak

14. Çoklu kanal harmanlama
(Multi-band blending)
• Kenar kararmaları, paralaks etkisi düzeltme
Çoklu kanal harmanlama yapılmadan
Çoklu kanal harmanlama yapılarak

15. Örnek Video

16. RTL Doğrulama
•
•
•
•
•
VHDL testbench
Yazılımdan elde edilen giriş ve çıkış verileri
Modül tabanlı test
Üst seviye test
Otomatik test ortamı

17. FPGA Doğrulama
• Kamera ve PC (ethernet/PCIe) arayüz
• Chipscope doğrulama ortamı
• Gerçek zamanlı test

18. Demolar
• Yazılım üzerinde gerçekleme demosu
• FPGA demoları
– Öznitelik noktaları bulma
– Görüntü sabitleme
– Temel panorama oluşturma
– Tüm sistem gerçeklemesi

19. Prototip
Omnivision
camera
Avnet Dual
Image Sensor
Module
XILINX ML605 – Virtex6

20. Prototip
• Xilinx ML605 geliştirme kartı
– Virtex-6 LX240 FPGA
– PCIe Gen1 & Gen2
– DDR3 memory
– Gigabit ethernet
• Avnet FMC kamera arayüz kartı
• Omnivision 1Mp kamera
– 640x400@60fps

21. Proje çıktıları
•
•
•
•
•
•
Yazılım kaynak dosyaları
VHDL/Verilog kaynak dosyaları
RTL doğrulama ortamı
FPGA doğrulama ortamı
Mikro-mimari dokümanı
Test ve kullanım kılavuzu

22. İş Planı

23. Teşekkürler