Hbase Kullanım Senaryoları
•
2 likes•2,401 views
Dünyada HBase kullanan firmaların kullanım şekilerinin anlatıldığı bri sunum.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Hbase Kullanım Senaryoları
Similar to Hbase Kullanım Senaryoları (20)
Hbase Kullanım Senaryoları
- 1. Hbase Kullanım Senaryoları Talat UYARER Email: talat@uyarer.com Twitter: @talatuyarer
- 2. Hızlı Bir Bakış ● Hbase Hakkında ● Hbase Nedir ● Hbase Nasıl Çalışır ● HDFS vs HBase ● Kimler Hbase Kullanıyor ● Tanımlar ● Kullanım Senaryoları ● İyi Uygulamalar ● Kötü Uygumalar ● Spesifik Çözümler ● Sorular
- 4. Hbase Nedir ? ● 2007 senesinde Powerset Firması tarafından geliştirilmeye başlandı. ● Google'ın Big Table makalesi temeli ● HDFS üzerinde çalışabilen NoSQL datastore ● Java ile yazılmış, Non-relational, Distributed sistem
- 5. Hbase Nedir ? ● Yüksek boyutta veri saklayabilir (TB/PB) ● Yüksek “throughput” sağlar ● Unstructured yada variable column data saklayabilir. ● Devveri de rastgele okuma ve yazma yapmanıza olanak sağlar
- 6. Hbase Nedir ? / CAP Teorisi Consistency (tutarlılık) : Dağıtık sisteme bağlı tüm node'larda aynı verilerin olması, Availability (kullanılabilirlik) : tüm isteklere her zaman cevap verilebilmesi Partition Tolerance (parça toleransı) : sistem parçalarından birinin çalışmaması durumunda sistemin düzgün devam etmesi
- 7. Ağustos 2013: Flurry 1k-1k nodelı cluster replicationı Hbase Tarihçesi 20142008 2009 2010 2011 20132012 2012 Mayıs: HBaseCon 2012 2012 Mayıs: HBaseCon 2012 2013 Haziran: HBaseCon 2013 2013 Haziran: HBaseCon 20132011: FB Mesajlar Hbase'de 2011: FB Mesajlar Hbase'de2009 Yazında StumbleUpon HBase ~0.20 Production da 2009 Yazında StumbleUpon HBase ~0.20 Production da 2011 Kasım: Cassini 2011 Kasım: Cassini 2013 Phoenix Projesi Başladı 2013 Phoenix Projesi Başladı2011: Web Crawl Cache 2011: Web Crawl Cache 2011 Eylül: HBase TDG Yayınlandı 2011 Eylül: HBase TDG Yayınlandı Kasım 12: HBase in Action yayınlandı Kasım 12: HBase in Action yayınlandı 2015 2014 Mayıs: HBaseCon 2014 2014 Mayıs: HBaseCon 2014 Ocak 2015 Hbase v1.0.0 Ocak 2015 Hbase v1.0.0
- 8. Hbase Nasıl Çalışır / Daemonlar •HBase Master •RegionServer •ZooKeeper •HDFS •NameNode/Standby NameNode •DataNode
- 9. Hbase Nasıl Çalışır / Daemon Konumları Hbase Master Zookeeper Hadoop Namenode Standby Namenode Hbase Region Server Hadoop Datanode Hbase Region Server Hadoop Datanode Hbase Region Server Hadoop Datanode Hbase Region Server Hadoop Datanode Hbase Master Zookeeper Hbase Master Zookeeper Master Serverlar Slave Serverlar
- 10. Hbase Nasıl Çalışır / Okuma - Yazma
- 11. Hbase Nasıl Çalışır Row Key Column Family 1 Column Family 2 Column Name Column Value Column Name Column Value Tablolar Column Familyler den kırılıp store ediliyor
- 13. Tanımlamalar
- 14. Kullanım Tipi Tanımlama ● Veri olarak ne saklanacak ? ● Entity data ● Event data ● Verinin kullanım şekli nasıl ? ● Operasyonel kullanım ● Analitik kullanım ● Veriye erişim nasıl ? ● Real time vs. Batch ● Random vs. Sequential
- 15. Veri olarak ne saklanacak ? Entity data nedir ? Verinin şuan ki durumunun tutulması Genelde gerçek zamanlı (real time) okuma ve yazma yapılır. ● Hesaplar ● Kullanıcılar ● Geolocation noktaları ● Tıklama Sayısı ve Metrikleri İnsanların yada makinelerin sayısının artmasıyla milyarlarca farklı entity data oluşturulabilir.
- 16. Veri olarak ne saklanacak ? Event data nedir ? Zamana bağlı birbirini takip eden data tipidir. Genelde real time yazma işlemi yapılır. ● Zamana bağlı Sensor datası ● Borsa (Hisse senedi) bilgisi ● Arşiv Metrikler ● Tıklama time-seriesleri Zamana bağlı olduğu için zaman ilerledikçe veri büyüyecektir. Eğer elinizdeki veri [Entityler] * [Eventler] = Dev veri ile uğraşıyorsunuz demektir.
- 17. Verinin kullanım şekli nasıl ? ● Entity odaklı sorular ● E entitysi hakkında herşeyi bana getir ● E entitysinin en son V eventini getir ● E entitysinin en son n adet V eventini getir ● E nin [t1,t2] zaman aralığındaki V eventlerini getir. ● Zaman ya da Event odaklı sorular ● [t1,t2] arasındaki her bir entityi getir. ● Bir takım kriterlere uyan event V leri bul
- 18. Veriye erişim şekli nasıl ? HBase Client Put, Incr, Append HBase Client Get, Scan Bulk Import HBase Client HBase Replication HBase Replication low latency high throughput Gets Short scan Full Scan, MapReduce HBase Scanner
- 20. Kullanım Senaryoları Doğru Kullanım ● Simple Entities ● Mesaj DB ● Graph Store ● Metrik Store Kötü Kullanım ● Value olarak Büyük veri saklama ● RDBMS port ● Analitik Arşivi
- 21. Simple Entities ● Saf Entity saklanır. Saklanan entityler arasında ilişki yoktur ● Batch yada real time random writes ● Real-time random read ● RDMS'in denormalize hali olabilirler ● Birden fazla kaynaktan farklı yapıda veri barındırabilir ● Şemaları: ● Her bir entity için bir satır(row) ● Rowkey, entitynin ID si yada hash'i ● Col qualifer'ı Property/Field olabilir
- 22. Simple Entities Teklif Kişiselleştirme Sistemi Row Key Column Family 1 Column Family 2 UserID Kullanıcı Geçmişi ve Profil Bilgisi Kullanıcı Email Geçmişi Kullanıcı geçmişi ve bilgileri üstüne yazılıyor Email aktivitileri Her gün için bir column'a yazılıyor Yaklaşık 200 col.
- 23. Simple Entities HBase Client Put, Incr, Append HBase Client Get, Scan Bulk Import HBase Client HBase Replication low latency high throughput Gets Short scan Full Scan, MapReduce HBase Scanner HBase Replication Solr
- 24. Mesaj Store ● Mesaj Verisi: ● Realtime Random writes: Emails, SMS, MMS, IM ● Realtime random updates: Msg okuma, taşıma, silme vb. ● Zamana göre sıralı top-N gönderinin okunması ● Farklı boyutlar kayıt büyüklükleri ● Time series veri, ama büyük oranda random read/write ● Şeması: ● Row da kullanıcının feed/inbox'ı tutulur ● Row key'i UID or UID + zaman dır ● Column Qualifier'ı zaman yada konuşma id+zaman. ● Column Familyler Index için kullanılır.
- 25. Mesaj Store ● Kullanım Örnekler: ● Facebook Mesajlar, Xiaomi Mesajlar ● Telekom SMS/MMS servisleri ● Tumblr, Pinterest gibi Feedler
- 26. Mesaj Store HBase Client Put, Incr, Append HBase Client Get, Scan Bulk Import HBase Client HBase Replication HBase Replication low latency high throughput Gets Short scan Full Scan, MapReduce HBase Scanner
- 27. Graph Store ● Graph Verisi: Tüm entityler ve ilişkileri ● Batch ya da realtime, random writes ● Batch ya da realtime, random reads ● Şema: ● Row da Node bilgisi tutulur ● Row key Node Idsinden oluşur ● Column Qualifier Edge ID ya da properties:values bilgisinden oluşur ● Kullanım Örnekleri: ● Web Cache – Yahoo!, Trend Micro ● Titan Graph DB ● Sessionization (finansal transactionlar, click stream, network trafik) ● Devlet (Suçlu tespiti işlemlerinde)
- 28. Graph Store Row Key Column Family 1 Column Family 2 com.example.www: http/about/ Sayfadan çıkan linkler Sayfaya Gelen Linkler Sayfadan çıkan her link bir column name olarak tutulur Sayfa gelen her link column olarak tutulur
- 29. Graph Store HBase Client Put, Incr, Append HBase Client Get, Scan Bulk Import HBase Client HBase Replication HBase Replication low latency high throughput Gets Short scan Full Scan, MapReduce HBase Scanner
- 30. Metrik Store ● Metrik Verisi: ● Çok sık güncellenen bir veridir. ● Artırımsaldır ● Bilgiler MR kodları ile yada Bulk load ile Hbase yüklenir ● Şeması: ● Row da metrik bilgisi tutulur ● Row key'i zaman içerir ve birden fazla bilgiden oluşabilir. ● Column Qualifier'ı Property/Field olabilir ● Kullanım Alanları ● Kampanya gösterim/ Tıklanma Sayıları (Reklam) ● Sensor verisi (Enerji, Üretim, Otomotive)
- 31. Metrik Store Row Key Column Family 1 Column Family 2 <adviserid:timesta mp:adsid> Statik bir veri taşır Row key birden fazla veri taşır
- 32. Metrik Store HBase Client Put, Incr, Append HBase Client Get, Scan Bulk Import HBase Client HBase Replication HBase Replication low latency high throughput Gets Short scan Full Scan, MapReduce HBase Scanner
- 33. Value olarak büyük veri saklama (Kötü) ● Columnlar da 3MB'dan büyük veri saklamak ● Şeması: ● Normal entity pattern, bazı hücrelerinin boyutu büyük ● Örneğin ● Fotograf yada videoyu Hbase'de saklamak ● Bir hücrenin çok yüksek sayıda update alması ● Problem ● Okuma için optimize ederken hata alır. (Compaction) ● Hücreler atomiktir. Tüm hücreyi tekrar yazmak zorunda, yazma işlemi çok sık olması durumunda hata verecektir.
- 34. Direk RDBMS portu olarak kullanma ● RDBMS şemasının biri bir aynısını kullanma ● Şeması: ● RDBMS de olduğu gibi çok fazla tabloya sahip ● Rowkey olarak primary key yada auto incr. ● Column qualifierlar field isimleri ● Manuel olarak join işlemi yapılır. ● Çözüm ● Hbase SQL database değil ● Mutli-region yada Multi-table da transaction desteklenmiyor ● Şemayı denormalize etmelisiniz.
- 35. Direkt RDBMS portu olarak kullanma HBase Client Put, Incr, Append HBase Client Get, Scan Bulk Import HBase Client HBase Replication HBase Replication low latency high throughput Gets Short scan Full Scan, MapReduce HBase Scanner
- 36. Analitik Arşiv ● Zamana göre parçalanmış kronolojik data tutulması ● Real time write, Kronolojik zaman primary index olarak kullanılıyorsa ● Tüm rowlar üzerinden Column odaklı veri toplama ● Bulk read, genellikle dönemsel raporlama için ● Şeması: ● Row key date+xxx yada salt+date+xxx. ● Column Qualifier'ı Property/Field olabilir ● Örneğin ● Tarih bazlı makine logları ● Tam clickstream
- 37. Entity Time Series (Kısmen) HBase Client Put, Incr, Append HBase Client Get, Scan Bulk Import HBase Client HBase Replication HBase Replication low latency high throughput Gets Short scan Full Scan, MapReduce HBase Scanner Flume Custom App
- 38. Analitik Arşiv ● Hbase'in öncelikli kullanım alanı için uygun değildir ● Tüm tabloyı scan ederken hata verebilir ● Compaction'da hata verebilir ● Zamana bağlı regionlarda şişme olacağından yazım esnasında hata verebilir ● Hbase kullanmak yerine ● Veriyi HDFS üzerinde tutabilirsiniz. ● Belirli zaman aralıklarında HDFS+MR ile veriyi toparlayıp Hbase'e yazılabilir
- 39. Analitik Arşiv HBase Client Put, Incr, Append HBase Client Get, Scan Bulk Import HBase Client HBase Replication HBase Replication low latency high throughput Gets Short scan Full Scan, MapReduce HBase Scanner
- 40. Entity Time Series (Kısmen) ● Hbase uygun bir time series pattern. ● Event verisi için Random write, Belirli bir event verisi için random read yada data toplama (aggregation) ● Veriler sayaçlar yardımı ile toplanıyor. Full aggregation yok. ● Şema ● Rowkey: entity+timestamp yada entity+salt+timestamp ● Column qualifer olarak property ● TTL ile verilerin ömrü takip ediliyor. Geri dönük veri yazımı yok ● Örnek olarak ● OpenTSDB ● Facebook Insights
- 41. Entity Time Series (Kısmen) HBase Client Put, Incr, Append HBase Client Get, Scan Bulk Import HBase Client HBase Replication HBase Replication low latency high throughput Gets Short scan Full Scan, MapReduce HBase Scanner Flume Custom App