OpenStack'te Ceph Kullanımı ve Performans OptimizasyonuHuseyin Cotuk
17 Ekim 2017 tarihinde Levent Wyndham Grand İstanbul Hotel'de düzenlenen OpenStack Days İstanbul etkinliğinde Dr. OpenStack Days Istanbul 2017 sırasında Dr. Hüseyin ÇOTUK tarafından yapılan "OpenStack'te Ceph Kullanımı ve Performans Optimizasyonu" konulu sunum
Ceph Türkiye 3.Meetup Ankara: Ceph Tasarımında Dikkat Edilecek HususlarHuseyin Cotuk
22.11.2017 tarihinde Ankara Ataköşk Hotel'de Ceph Türkiye adına yapılan üçüncü meetup'a ait sunum. Uyumsoft firmasından Ramazan ÖZTEMUR tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
Gereksinimlerin Belirlenmesi
Replika vs Erasure Coding
Performans Maliyet Kapasite
İş Yüküne Özel tasarım
Donanım Seçimi
Önerilen Donanım Listesi
Performans ve Maliyet Odaklı Örnek Tasarımlar
11.10.2017 tarihinde İstanbul Yıldız Teknik Üniversitesi Davutpaşa Kampüsü Teknoparkı A1 Blok'ta Ceph Türkiye adına yapılan ikinci meetup'a ait sunum. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
Ceph Yapıtaşları
Ceph Mimarisi
Ceph Üzerinde Veri Yerleşimi
CRUSH Algoritması
CRUSH Map
OpenStack Entegrasyonu
Ceph Türkiye 7. Meetup Ankara: Ceph Temelleri ve CRUSH MAP YönetimiHuseyin Cotuk
Konu: Ceph Temelleri ve CRUSH Map Yönetimi
Sunum: Dr. Hüseyin ÇOTUK
İçerik: • Ceph Nedir?
• Ceph Bileşenleri
• CRUSH Map Nedir?
• CRUSH Map nasıl kişiselleştirilir?
• Karma diskler ile veri havuzu oluşturma
02.10.2017 tarihinde Ankara Ataköşk Hotel'de Ceph Türkiye adına yapılan ilk meetup'a ait kayıt. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
İlk Bakışta Ceph
Geleneksel Depolama Mimarisi
Dağıtık Depolama Mimarisi
Diğer Dağıtık Depolama Çözümleri ile Karşılaştırmalar
Neden Ceph?
Dünyada Ceph Kullanımı
OpenStack'te Depolama Alternatifleri
Neden OpenStack ve Ceph?
OpenStack'te Ceph Kullanımı ve Performans OptimizasyonuHuseyin Cotuk
17 Ekim 2017 tarihinde Levent Wyndham Grand İstanbul Hotel'de düzenlenen OpenStack Days İstanbul etkinliğinde Dr. OpenStack Days Istanbul 2017 sırasında Dr. Hüseyin ÇOTUK tarafından yapılan "OpenStack'te Ceph Kullanımı ve Performans Optimizasyonu" konulu sunum
Ceph Türkiye 3.Meetup Ankara: Ceph Tasarımında Dikkat Edilecek HususlarHuseyin Cotuk
22.11.2017 tarihinde Ankara Ataköşk Hotel'de Ceph Türkiye adına yapılan üçüncü meetup'a ait sunum. Uyumsoft firmasından Ramazan ÖZTEMUR tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
Gereksinimlerin Belirlenmesi
Replika vs Erasure Coding
Performans Maliyet Kapasite
İş Yüküne Özel tasarım
Donanım Seçimi
Önerilen Donanım Listesi
Performans ve Maliyet Odaklı Örnek Tasarımlar
11.10.2017 tarihinde İstanbul Yıldız Teknik Üniversitesi Davutpaşa Kampüsü Teknoparkı A1 Blok'ta Ceph Türkiye adına yapılan ikinci meetup'a ait sunum. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
Ceph Yapıtaşları
Ceph Mimarisi
Ceph Üzerinde Veri Yerleşimi
CRUSH Algoritması
CRUSH Map
OpenStack Entegrasyonu
Ceph Türkiye 7. Meetup Ankara: Ceph Temelleri ve CRUSH MAP YönetimiHuseyin Cotuk
Konu: Ceph Temelleri ve CRUSH Map Yönetimi
Sunum: Dr. Hüseyin ÇOTUK
İçerik: • Ceph Nedir?
• Ceph Bileşenleri
• CRUSH Map Nedir?
• CRUSH Map nasıl kişiselleştirilir?
• Karma diskler ile veri havuzu oluşturma
02.10.2017 tarihinde Ankara Ataköşk Hotel'de Ceph Türkiye adına yapılan ilk meetup'a ait kayıt. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
İlk Bakışta Ceph
Geleneksel Depolama Mimarisi
Dağıtık Depolama Mimarisi
Diğer Dağıtık Depolama Çözümleri ile Karşılaştırmalar
Neden Ceph?
Dünyada Ceph Kullanımı
OpenStack'te Depolama Alternatifleri
Neden OpenStack ve Ceph?
Uzaktan Eğitim ve Uzaktan Öğretim Nedir?
Uzaktan Eğitimin Literatürdeki Çeşitli Tanımları
Uzaktan Eğitimin Geleneksel Eğitimle Karşılaştırılması
Uzaktan Eğitimin Yararları, Sınırlılıkları, Etkin Kullanımı
Deep Dive: OpenStack Summit (Red Hat Summit 2014)Stephen Gordon
This deck begins with a high-level overview of where OpenStack Compute (Nova) fits into the overall OpenStack architecture, as demonstrated in Red Hat Enterprise Linux OpenStack Platform. Before illustrating how OpenStack Compute interacts with other OpenStack components.
The session will also provide a grounding in some common Compute terminology and a deep-dive look into key areas of OpenStack Compute, including the:
Compute APIs.
Compute Scheduler.
Compute Conductor.
Compute Service.
Compute Instance lifecycle.
Intertwined with the architectural information are details on horizontally scaling and dividing compute resources as well as customization of the Compute scheduler. You’ll also learn valuable insights into key OpenStack Compute features present in OpenStack Icehouse.
Pig ve Hive ile Hadoop üzerinde Veri AnaliziHakan Ilter
Hadoop üzerinde Map Reduce programları yazmayı kolaylaştıran Pig ve Hive projesi ile ilgili Özgür Yazılım ve Linux Günleri 2013 organizasyonunda yaptığım sunum.
istegelsin
Günlük market alışverişinizi yapabileceğiniz, tazeliğini bozmadan evinize kadar siparişinizi getiren bir e-ticaret altyapısı.
Business Logic yazıyoruz, Infrastructure değil
Sadece FaaS değildir
Microservices based services - but managed by AWS
SQL vs NoSQL - centralized vs distributed
SQL vs Serverless NoSQL (DynamoDB)
DynamoDB
Infrastructure as Code - CI & CD
Step Functions
GraphQL
Event Based
Observability
Tek Kullanımlık Şifreler günümüzde yaygın olarak kullanılan güvenlik önlemlerindendir. Tek Kullanımlık Şifre teknolojileri, kullanım alanları, güvenlik açıkları, standartlarda yeri bu makalede incelenmiştir. Ayrıca bu makalede tek kullanımlık şifre türleri incelenmiş ve birbirileriyle karşılaştırılmıştır. Dünyada ve ülkemizde tek kullanımlık şifrelerle ilgili yapılan araştırmalar bu makale içinde incelenmiştir.
Karabük Üniversitesi Programlama Günleri - PostgreSQL Sunumuatifceylan
Karabük Üniversitesi Programlama Günleri'nin düzenlediği etkinlikte PostgreSQL Kullanıcıları ve Geliştiricileri Derneği adına Atıf Ceylan ve Hüseyin Mert'in ortaklaşa gerçekleştirdiği PostgreSQL Sunumu
Uzaktan Eğitim ve Uzaktan Öğretim Nedir?
Uzaktan Eğitimin Literatürdeki Çeşitli Tanımları
Uzaktan Eğitimin Geleneksel Eğitimle Karşılaştırılması
Uzaktan Eğitimin Yararları, Sınırlılıkları, Etkin Kullanımı
Deep Dive: OpenStack Summit (Red Hat Summit 2014)Stephen Gordon
This deck begins with a high-level overview of where OpenStack Compute (Nova) fits into the overall OpenStack architecture, as demonstrated in Red Hat Enterprise Linux OpenStack Platform. Before illustrating how OpenStack Compute interacts with other OpenStack components.
The session will also provide a grounding in some common Compute terminology and a deep-dive look into key areas of OpenStack Compute, including the:
Compute APIs.
Compute Scheduler.
Compute Conductor.
Compute Service.
Compute Instance lifecycle.
Intertwined with the architectural information are details on horizontally scaling and dividing compute resources as well as customization of the Compute scheduler. You’ll also learn valuable insights into key OpenStack Compute features present in OpenStack Icehouse.
Pig ve Hive ile Hadoop üzerinde Veri AnaliziHakan Ilter
Hadoop üzerinde Map Reduce programları yazmayı kolaylaştıran Pig ve Hive projesi ile ilgili Özgür Yazılım ve Linux Günleri 2013 organizasyonunda yaptığım sunum.
istegelsin
Günlük market alışverişinizi yapabileceğiniz, tazeliğini bozmadan evinize kadar siparişinizi getiren bir e-ticaret altyapısı.
Business Logic yazıyoruz, Infrastructure değil
Sadece FaaS değildir
Microservices based services - but managed by AWS
SQL vs NoSQL - centralized vs distributed
SQL vs Serverless NoSQL (DynamoDB)
DynamoDB
Infrastructure as Code - CI & CD
Step Functions
GraphQL
Event Based
Observability
Tek Kullanımlık Şifreler günümüzde yaygın olarak kullanılan güvenlik önlemlerindendir. Tek Kullanımlık Şifre teknolojileri, kullanım alanları, güvenlik açıkları, standartlarda yeri bu makalede incelenmiştir. Ayrıca bu makalede tek kullanımlık şifre türleri incelenmiş ve birbirileriyle karşılaştırılmıştır. Dünyada ve ülkemizde tek kullanımlık şifrelerle ilgili yapılan araştırmalar bu makale içinde incelenmiştir.
Karabük Üniversitesi Programlama Günleri - PostgreSQL Sunumuatifceylan
Karabük Üniversitesi Programlama Günleri'nin düzenlediği etkinlikte PostgreSQL Kullanıcıları ve Geliştiricileri Derneği adına Atıf Ceylan ve Hüseyin Mert'in ortaklaşa gerçekleştirdiği PostgreSQL Sunumu
Büyük Veri, Küme Hesaplama, Dağıtık Dosya Sistemi, Yüksek Performanslı Kümeleme, Apache Spark ve Streaming Modülünü içeren bir sunum.
Apache Spark’ın küme hesaplamaları için kullanımının anlatıldığı sunumda, Java API ile temel bir uygulama örneği gösteriliyor ve beraberinde gelen “Streaming Modülü” ile Twitter’dan canlı veri çekerek işlenmesi anlatılıyor.
2. Gözlem yapmak kolay değildir!
Eğer başarılı ise, farklı
gözlem yöntemlerini uygun
ve hassas bir şekilde
güzel bir modele
oturtabilmeliyiz.
3. Büyük veri
~25metrics/server
100M active users
= 200K QPS
10.000 servers
= 25.000 metric
12 type servers
= 3.000.000 metrics
10.000 metrics/second
O(10K) metrics/second
O(32MB) data/sweep
Ops @ 1 min
O(50K) metrics/second
O(320MB)/sweep
O(420G)/24hours
DNS
server
Load
balancer
monitoring
4. Neyi gözlüyoruz?
Named value at some time
● K-tuple & timestamped
127.0.0.1 - [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif
HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08
[en] (Win98; I ;Nav)"
<remote ip, timestamp, request type and the url, response type,
response amount>
● Metrik değerler
Sayaçlar (counters), Anlık değerler (Gauges), Yüzdelik değerler
(Percentiles)
5. Nasıl Gözlüyoruz?
● Çözünürlük
Ne sıklıkta veri toplanıyor? (her 6 sn?, her 5 dk?, her
dakika?)
● Gecikme
Veriler okunduktan sonra ne kadar sürece tepki veriliyor
(sn, dk?)
● Çeşitlilik
Kaç çeşit veri var (10, 25, 50, 10K?)
6. Gereksinim?
● Evrensel (*nix, win, sistem kaynakları, aktif cihazlar)
● Uyarı (alert)
– sms, e-posta, pager duty,
– Belli zamanda belli kişiler
– Erken
● Web arayüzü
– Şu anki durum ne?
– Sezonsal durumlar neler?
– Belli bir eğilim var mı?
● Ölçeklenebilir
– Ölçülen metrik sayısı ~ veri tabanı boyutu
● Özgür Yazılım
– Güven (test edilip onaylandı)
– Özelleştirilebilir
● Kullanımı kolay
8. Nagios Özellikleri
● NRPE (nagios remote plugin executer)
– Plugin Return Code Service State Host State
0 OK UP
1 WARNING UP or DOWN/UNREACHABLE*
2 CRITICAL DOWN/UNREACHABLE
3 UNKNOWNDOWN/UNREACHABLE
● Uç makine ayarları elle yapılıyor
– Host, hangi zaman aralıklarında komutların çalışacağı, hangi gruba dahil
olduğu, kimlere uyarının gönderileceği ...
● Farklı dillerde eklenti desteği
● Nagios XI
– Eğilim (Trend)
– Ticari destek
9. Eksikleri
● Metrik için özelleşmiş değil
● API desteği eksik - ti (4.4 ile beta olarak gelmiş)
● Ölçek sorunu
11. Özellikleri
● Bulut için özelleşmiş
– JSON ile yapılandırma
– API erişimi ve API üzerinden yönetim
– RabbitMQ
– Omnibus
● HTTP dostu (üyelik & hiyerarşi → Rest Api)
● Nagios plugin desteği
● Web arayüzü daha dinamik
20. Özellik
● <hostname>.load.load.shorttem
● Farklı grafik seçeneklerini destekler
● İstemci taraflı (client side)
● Zaman ayarlaması yapılabiliyor (5 saniyede bir yenile, son
1 saati göster)
● Threshold belirtilebiliyor
● Fonksiyon tanımları yapmak mümkün (graphite-api nin
desteklediği, max min avg sum)
21. Statsd
● Graphite/Carbon için ön uç (front-end)
● Sayaç ve Zamansal verinin bir araya getirilmesi (counting
& timing) → rrd, ganglia
22. Statsd - 2
● Farklı dillerde yazılmış sunucu ve istemci uygulamaları var
(Go, Python, Java, C, Ruby, Node)
● Timer
>>> import statsd
>>>
>>> timer = statsd.Timer('MyApplication')
>>>
>>> timer.start()
>>> # do something here
>>> timer.stop('SomeTimer')
25. Diamond
● Artalan süreci (daemon)
● Python
● Graphite
● Başka „handler“ da var: riemann, statsd, zmq
● Python ile yazılmış pek çok „collector“ var > collectd
26. Diamond - 2
import diamond.collector
class ExampleCollector(diamond.collector.Collector):
def collect(self):
# Set Metric Name
metric_name = "my.example.metric"
# Set Metric Value
metric_value = 42
# Publish Metric
self.publish(metric_name, metric_value)
27. Influxdb
● Zamansal verinin saklanması için tasarlanmış (timescale)
● Cluster (experimental)
● Ölçeklenebilir
● Art ve Ön uçları var
● Statsd, Graphite
● Go ile yazılmış
● Harici bağımlılıkları yok (! zookeeper % hadoop, storm)
– dpkg -i influxdb.deb
● HTTPS
● HTTP API → SQL Like