Big Data, ETL, Data Warehouse structures and Data Science with the experience of LC Waikiki Big Data Team.

1. Büyük Veri Yönetimi ve Veri
Mimarisi Müdürlüğü

2. Ahmet
KALAFAT
Big Data & Data Architecture Manager

4. Hedef Altyapımız
OLAP
(MultiDim)
OLAP
(Tabular)
OLTP
DWH
ODS
DM
DataLake & Process
Katmanı
Self Service Analytics
Cloud Solutions

5. Rüveyda
TEKEL
Senior Data Engineer

7. Data Warehouse Architecture

8. Stok Satis ETL Offloading

9. Big Data Architecture

10. LCW Hadoop Architecture
384GB RAM
48 Cores
4*240GB
Disk
5760GB RAM
984 Cores
1.6 PB Disk
384GB RAM
72 Cores
12*10TB
4*960GB
2*240GB Disk
384GB RAM
48 Cores
12*10TB
4*960GB
2*240GB Disk
Edge
Master
Data/Worker

11. Kullanılan Teknolojiler

12. Cloudera Manager
• Browser Based
• Hadoop Administration Tool
• Managing CDH Cluster

13. Hue: Hive/Impala
• End-User
• Browser Based
• Sql Enginee

14. Yarn
• Yet Another Resource Negotiator
• Resource Governence
• Processing Power

15. Sqoop
• Import-Export RDBMS
• Batch Process
• Bulk Data
• JBDC Connector
• Open Source

16. Spark
Scala Based
Open Source
In-Memory
Parallel Processing

17. Scala
Java SE
Object Oriented Programming
Bulk Insert

18. Airflow
Python Based
Open Source
Orchestration

19. Development Araçları

20. Abdulkerim
GÜLER
Dilek
Doğan
Data Warehouse Team Lead
Data Engineer

21. Veri Ambarı?
OLAP? SSAS?
SSIS? ETL/ELT?

22. Ajanda
• LCW DataWarehouse
• Entegrasyon Yöntemleri ve Araçları
• Analitik Veri Topolojimiz
• OLAP Nedir?
• OLAP Scale-Out
• Teknik Altyapı/Otomasyon
• Kazanımlarımız

23. LCW Data Warehouse
- Microsoft SQL Server 2017
- AlwaysOn(2 Node)
- 13TB sıkıştırılmış veri büyüklüğü
- 400+ tablo
- 400K+ atomic transaction, peak time
- 1K+ unique user
- 7/24 veri işleme
- her gün 2 milyar satırdan fazla veri manipülasyonu
- Table Partitioning
- Partition Switching
- Cloumnstore Index
- Kimball Model
- Custom ETL Framework for ETL automation

24. Entegrasyon Yöntemleri ve Araçları
Entegrasyon Yöntemleri
- DB to DB
- File(csv, txt) to DB
- API to DB
Kullandığımız ETL/ELT Araçları
- SSIS – SQL Server Integration Services
- ADF – Azure Data Factory
- Custon Python Codes

26. LCW OLAP
Multidimensional OLAP Cube
- SQL Server 2012
- Custom solution for High Availability & Scalability: OLAP ScaleOut(2 node) with physical load balancer
- 10+TB data size
- 1400+ unique user
- 1,5 sec. average response time
Tabular OLAP Cube
- SQL Server 2016
- 80+ projects
- seperate servers for process and presentation
- Custom SSAS Framework for Schedule, Process and Sync automation

27. OLAP Scale-Out Kazanımlar ve İstatistikler
Tekil Kullanıcı
Toplam
Erişim
Ortalama Çalışma
Süresi(sn)
Veri Boyutu
TB
2015 582 678,100 4.14 6
2016 586 688,059 2.29 8
2017 758 1,573,192 0.80 11
2018 899 1,679,864 0.89 13
2019 1192 1,886,153 1.71 15
2020 1417 2,447,880 1.53 11

28. 400 TB Analitik Veri
1200 Tablo
Günlük 30
TB Veri
İşleme
Kapasitesi
En Büyük
Tabloda
120 Milyar
Satır

29. Metin
USLU
Senior Data Scientist

30. Ajanda
• Ben Kimim?
• Organizasyonel Yapı
• LCW & Veri Bilimi Ekosistemi
• Tech Stack
• Neler Yaptık/Yapıyoruz?
• Tavsiye / Öneri

31. Ben Kimim ?
Tecrübe
Veri Bilimci @ LC Waikiki
Büyük Veri Analisti | Bilgi Teknolojileri ve İletişim Kurumu (BTK)
MIS Uzman Yrd. | Kuveyt Türk Katılım Bankası
Programcı | Mentis
Eğitim
İstanbul Üniversitesi | Bilgisayar Programlama
Hacettepe Üniversitesi | İstatistik
Konya NEU | Bilgisayar Mühendisliği (Öğrenci)
İletişim
metin.uslu@lcwaikiki.com

32. Organizasyonel Yapı
BT Planlama
Veri Analitiği ve Yapay Zeka Müdürlüğü Planlama ve Alokasyon Veri Bilimi Müdürlüğü
Kadro: 5 + 1 Kadro: 5 + 1

33. Veri Bilimi Ekosistemi
Bir Datathon’un Anatomisi: LC Waikiki Datathon 2019
https://medium.com/lcw-analytics/bir-datathonun-anatomisi-lc-waikiki-datathon-2019-a55606117bcb

34. Tech Stack
LCWIADEV-1 (Dev. Machine)
 OS: Ubuntu 18.04 Desktop
 CPU: i9 İşlemci 8.Nesil
 Disk: SSD Disk & Sata Disk
 Ram: 64 GB Ram
 GPU: Nvidia Geforce RTX 2080TI 11GB
 CUDA & CuDNN
Yazılım Bileşenleri
 Python
 R
 PySpark
 Shell Script
 Airflow
 Crontab, Automic UC4
 VCS: Git & TFS
 OS: Ubuntu & Centos GNU/Linux
LCWIADEV-2 (Dev. Machine)
 OS: Win 10 OS
 CPU: i7 5. Nesil
 Disk: SSD Disk & Sata Disk
 Ram: 64 GB Ram
 GPU: Nvidia Geforce RTX 2080TI 11GB
 CUDA & CuDNN
Donanım Bileşenleri
 MS Azure VM
 Google Cloud Big Query + Storage
 MS Azure Cognitive Services
Cloud

35. Neler Yaptık / Yapıyoruz?
 Mağaza İçi Analitik (In Store Analytics)
 Eticaret Müşteri Analtiği (Online Customer Analytics)
 Crawling
 Görseller üzerinden TrendAnalizi yapıyoruz.
 İş Birimlerine Karar Destek Sistemi için veri sağlıyoruz
 Adhoc analizlerin yapılması
 İstatistiksel Analizlerin Yapılması
 Mağazaların için belli metriklere cluster edilmesi
 Api kullanılarak third party servislerin kullanılması
 Canlıda olan projelerin Monitor, Maintenance ve Development yapılması
 MLOps = ML + DevOps
 Daha önce geliştirilmiş modellerin yeniden eğitilmesi, performansların gözlemlenmesi ve artırılması.
 Birçok kaynak üzerinden gelen text dataları üzerinde Descriptive ve Predictive Modeller insight elde
etmeye/anlamlandırmaya çalışıyoruz.

36. Tavsiye / Öneri
Computer Science Yetkinlikleri
Feature Selection/Extraction/Engineering
İçselleştirme
Model performans metriği/skoru kadar uygulanabilirliği
Explainable AI
H2O framework içerisinde Lime & Shap

37. Soru & Cevap