1. CHANGE DATA CAPTURE

2. ETL
• Bir kaynaktan veri
toplama ve bu verileri
hedefe aktarma işlemidir
• Veri güvenilirliği düşüktür
• Zaman ve kaynak sorunu
oluşur
• Extract – Transform – Load
adımlarından oluşur

3. CDC
(CHANGE
DATA
CAPTURE) • ETL’den farkı değişiklikleri anlık yakalar ve gönderir
• Ek yükü azaltır ve real time analitiği destekler

4. CDC
(CHANGE
DATA
CAPTURE) • Yüksek verim
• Senkronizasyon

5. NEDEN CDC?
Hızlı Kararlar
Senkron Çoğaltma
Düşük Maliyetler
Azalan Ağ Yükü

6. CDC METODLARI
• Temelde İki Yöntemden Oluşmaktadır
• Push:
• Kaynak veritabanı kullanımı
fazladır.
• Gerçek zamana yakın.
• Mesajlaşma sistemi gereklidir.
• Pull:
• Log olarak kaydetme
• Gerçek zamandan uzak
• Veri kaybı önlenmelidir.

7. 1. LOG
BASED
• Her transaction geldiğinde değişiklikler tutulur
• Etkili ve hızlı
• Kaynağa bir etkisi olmaz
• Veri tabanı Log yapısını ayrıştırmak zordur

8. 2. Query Based
(TimeStamp)
• Veriler sorgular ile veritabanından alınır.
• Timestamp gibi bir yapı tutulması gereklidir.
• Kaynak sisteme performans olarak kötü etkisi vardır

9. 3. Triggers
• Her transaction’da
algılanır ve yazılır
• Veritabanı performansını
azaltır
• Güvenilir ve detaylıdır

10. CDC Avantajları ve
Kullanım Alanları
• Sürekli veri aktarımı ve kopyalanması
• Mikro servisler arası verinin güncel tutulması
• Cache’in güncellenmesi
• Elastic Search gibi arama indexlerinin güncellenmesi

11. 1. APACHE NIFI

12. • 2. Debezium

13. Debezium Kullanım
Biçimleri
• 1. Kütüphane
• Gömülü olarak Java uygulamasında kullanılabilir.

14. Debezium Kullanım
Biçimleri
• 2. Standalone Server

15. 3. Apache Flink
• Yüksek Verimli
• Düşük Gecikmeli
• Event altyapısını kullanır
• Sınırlı ve Sınırsız Veri akışı işler

16. 3. APACHE
FLINK
• Kendi depolama katmanı yoktur.
• Kafka, elastic search gibi depolama sistemlerini kullanabilir

17. 4. Hibernate Envers

18. 4. Hibernate Envers