11.10.2017 tarihinde İstanbul Yıldız Teknik Üniversitesi Davutpaşa Kampüsü Teknoparkı A1 Blok'ta Ceph Türkiye adına yapılan ikinci meetup'a ait sunum. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
Ceph Yapıtaşları
Ceph Mimarisi
Ceph Üzerinde Veri Yerleşimi
CRUSH Algoritması
CRUSH Map
OpenStack Entegrasyonu
Ceph Türkiye 7. Meetup Ankara: Ceph Temelleri ve CRUSH MAP YönetimiHuseyin Cotuk
Konu: Ceph Temelleri ve CRUSH Map Yönetimi
Sunum: Dr. Hüseyin ÇOTUK
İçerik: • Ceph Nedir?
• Ceph Bileşenleri
• CRUSH Map Nedir?
• CRUSH Map nasıl kişiselleştirilir?
• Karma diskler ile veri havuzu oluşturma
OpenStack Türkiye 14. Meetup Ankara: Yeni Başlayanlar için OpenStackHuseyin Cotuk
Konu: OpenStack Bulut Platformu Nedir? Nerelerde Kullanılır?
Sunum: Dr. Hüseyin ÇOTUK
İçerik:
• Dünyada Bulut Dönüşümü
• Neden Bulut?
• OpenStack Nedir?
• OpenStack Bileşenleri
• Servis Olarak Verilebilen Hizmetler
• Neden OpenStack?
• Dünyada OpenStack Kullanımı
• OpenStack'te Depolama Alternatifleri
• Neden OpenStack ve Ceph?
• Demo
• Soru / Cevap
02.10.2017 tarihinde Ankara Ataköşk Hotel'de Ceph Türkiye adına yapılan ilk meetup'a ait kayıt. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
İlk Bakışta Ceph
Geleneksel Depolama Mimarisi
Dağıtık Depolama Mimarisi
Diğer Dağıtık Depolama Çözümleri ile Karşılaştırmalar
Neden Ceph?
Dünyada Ceph Kullanımı
OpenStack'te Depolama Alternatifleri
Neden OpenStack ve Ceph?
11.10.2017 tarihinde İstanbul Yıldız Teknik Üniversitesi Davutpaşa Kampüsü Teknoparkı A1 Blok'ta Ceph Türkiye adına yapılan ikinci meetup'a ait sunum. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
Ceph Yapıtaşları
Ceph Mimarisi
Ceph Üzerinde Veri Yerleşimi
CRUSH Algoritması
CRUSH Map
OpenStack Entegrasyonu
Ceph Türkiye 7. Meetup Ankara: Ceph Temelleri ve CRUSH MAP YönetimiHuseyin Cotuk
Konu: Ceph Temelleri ve CRUSH Map Yönetimi
Sunum: Dr. Hüseyin ÇOTUK
İçerik: • Ceph Nedir?
• Ceph Bileşenleri
• CRUSH Map Nedir?
• CRUSH Map nasıl kişiselleştirilir?
• Karma diskler ile veri havuzu oluşturma
OpenStack Türkiye 14. Meetup Ankara: Yeni Başlayanlar için OpenStackHuseyin Cotuk
Konu: OpenStack Bulut Platformu Nedir? Nerelerde Kullanılır?
Sunum: Dr. Hüseyin ÇOTUK
İçerik:
• Dünyada Bulut Dönüşümü
• Neden Bulut?
• OpenStack Nedir?
• OpenStack Bileşenleri
• Servis Olarak Verilebilen Hizmetler
• Neden OpenStack?
• Dünyada OpenStack Kullanımı
• OpenStack'te Depolama Alternatifleri
• Neden OpenStack ve Ceph?
• Demo
• Soru / Cevap
02.10.2017 tarihinde Ankara Ataköşk Hotel'de Ceph Türkiye adına yapılan ilk meetup'a ait kayıt. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
İlk Bakışta Ceph
Geleneksel Depolama Mimarisi
Dağıtık Depolama Mimarisi
Diğer Dağıtık Depolama Çözümleri ile Karşılaştırmalar
Neden Ceph?
Dünyada Ceph Kullanımı
OpenStack'te Depolama Alternatifleri
Neden OpenStack ve Ceph?
You don't own your Brand....your customers define it for you. What you do - how you do it - how consistent are you - online - in person - customer support ?
JavaScript as Development platform gives overview of JavaScript as Runtime and Programming Language. From this presentation you can find out more about advanced language features and usage patterns.
You don't own your Brand....your customers define it for you. What you do - how you do it - how consistent are you - online - in person - customer support ?
JavaScript as Development platform gives overview of JavaScript as Runtime and Programming Language. From this presentation you can find out more about advanced language features and usage patterns.
Verinin temsili, işlenmesi, saklanmasında gelişen ve değişen
koşullar ele alındıktan sonra, büyük verinin işlenmesi konusu
ele alınıyor.
Verinin anlamlandırılması konusunda değişen terimler, ünvanlar, algoritmalar, kullanılan aletler konusunda değerlendirmeler paylaşıldı.
sunumun videosuna aşağıdaki adresten ulaşabilirsiniz.
https://www.youtube.com/watch?v=pnvvMU8L-O0
İstanbul Şehir Üniversitesi - Güvenli Veri Silme ve Dosya Kurtarma - Bilgi Güvenliği Mühendisliği Yüksek Lisans Programı Bilgisayar Adli Analizi Dersi
Hazırlayan: Mustafa Oğuzhan
Bu sunum, tüm dünyadaki kurumsal seviyedeki Postgres kurulumlarına bir bakış atarak anahtar kullanım alışkanlıklarını belirleyen ve performans, ölçeklenebilirlik ve yüksek bulunurluk konusundaki önemli yaklaşımları ortaya çıkartacaktır. Bu sunum aynı zamanda aşağıdakileri de anlatacaktır:
- Kurumların, veritabanı sunucularını konuşlandırırken ve bakımları esnasında ilk aşamalarda en sık yaşadıkları sorunlar
- Üretim ortamındaki veritabanlarının başarımını arttırmak için en sık kullanılan parametrelerin açıklamaları
- En çok sorun çıkartan bakım süreçleri ve yapılandırma parametreleri
- En sık kullanılan veritabanı kurtarma ve yedekleme stratejileri
2. Redundant Array of Inexpensive Disks
( Ucuz Ardışık Diskler Dizisi)
Redundant Array of Independent Disks
(Bağımsız Ardışık Tekerler Dizisi)
RAID:Diskler arasında veri kopyalama veya
paylaşımı için birden fazla sabit diski
kullanarak yapılan veri depolama tasarısıdır.
3. Norman Ken Ouchi “Başarısız bellek
ünitesinde saklanan bilgiyi kurtarmak için
hazırlanan sistem” konusunun patentini (U.S
Patent 4,092,732) 1978 yılında kazandı.
RAID teknolojisi ilk olarak 1987 yılında
Kaliforniya Üniversitesi’nde bir grup bilim
adamı tarafından tanımlanmıştır.
4. RAID şartnamesi birtakım prototipleri “RAID
düzeyleri” veya disk bileşimlerini
önermekteydi.
Her birinin teorik avantajları ve dezavantajları
vardı.
Yıllar içinde, RAID kavramının farklı
yürütmeleri ortaya çıktı. Çoğu orijinal
hallerinden farklılaştı ama numaralandırılmış
adlar kaldı.
5. Çoklu sayıdaki diskler üzerine veri dağıtılması
işi bu iş için tasarlanmış Donanım veya
yazılım ile gerçekleştirilir.
Bunlara ilaveten kısmen donanım kısmen de
yazılım tabanına sahip çözümler olan hibrid
RAID’ler de mevcuttur.
6. İşletim sistemi yazılım uygulaması dizilimdeki
diskleri normal sürücü denetim birimi
(IDE/ATA, [[]], SCSI, Fibre Channel, vs.) ile
yönetir.
Mevcut merkezi işlem birimi (MİB) hızları göz
önüne alındığında, yazılım RAID’lerinin
donanım RAID’lerinden daha hızlı olabildiği
görülür, buna karşılık başka işlerde
kullanılabilecek olan işlem gücü bu işe
harcanmaktadır.
7. Hem yazılım hem de donanım sürümleri hazır
yedek kullanımını desteklerler.
Hazır yedek, arıza yapan bir sürücüyü anında
(ve hemen her zaman otomatik olarak)
değiştiren sisteme önceden yüklenmiş bir
sürücüdür.
Bu durum onarım için gerekli ortalama
zamanı azaltır, aynı RAID yedeklerinde bir
arıza daha meydana gelmesi veri kaybıyla
sonuçlanabilir.
8. RAID çalışabilirlik süresini muhafaza edebilir.
RAID seviyeleri 1, 0+1/10, 5, ve 6 (ve bunların 50
ve 51 gibi varyantları) kullanıcıların erişebileceği
veriyi dizilim üzerinde tutmaya çalışırken
mekanik hard disklerin arıza yapmasına meydan
verebilir.
Bu durumda RAID veriyi bant, DVD veya bir
başka yavaş çalışan yedekleme ortamından geri
almak yerine dizilimin bir başka üyesi olan
yedekleme diski üzerine yükler, bu üyeler
dizilimde öncelik sırasına göre kullanıcının
hizmetinde bulunmaktadır.
9. Gerektiğinde veri bu üyelerden süratle geri
yüklenebilir. Bu durum büyük şirketler için
son derece önemlidir, çünkü sistemin
çalışmadığı süre kazançtan kayıp anlamına
gelir.
10. Evlerde kullanılan bilgisayarlarda ise
düzinelerle DVD kullanılarak yeniden
yüklenen ve bu nedenle büyük zaman kaybına
neden olan büyük ölçekli ortam depolama
dizilimlerinin kaybına veya yedekleme ile
koruma sağlanmamış olması nedeniyle disk
arızalarının getireceği olumsuzluklara karşı
kullanıcıları korur.
11. RAID belirli uygulamalarda performansı
artırabilir. RAID seviyeleri 0, ve 5 - 6 “disklere
bölüştürme” üzerine varyasyonlar kullanır, bu
da lineer transfer gerçekleştirirken
desteklenmiş transfer hızlarını artırmak için
çoklu mil kullanımına olanak tanır.
12. Görüntü ve video düzenleme uygulamaları
gibi büyük ölçekli dosyalarla çalışan iş
istasyonu uygulamaları disk bölüştürme
işleminden büyük yarar sağlar. Disklere
bölüştürme işlemi diskten diske yedekleme
uygulamalarında fazladan iş çıkartılmasında
yararlı olur.
13. Aynı zamanda, eğer RAID 1 veya yeterince
büyük bloğa ve bölüştürme özelliğine sahip
bir RAID kullanılırsa çoklu eş zamanlı rastgele
erişim (örneğin çok kullanıcılı veri tabanları)
gibi erişim düzeneklerinin performanslarında
artış elde edilir.
14. RAID, dizilim üzerindeki veriyi koruyamaz.
Bir RAID diziliminin tek dosyalama sistemi
vardır. Bu da tek bir arıza noktası oluşturur.
RAID diziliminin dosyalama sistemi disk
arızalarının dışında daha birçok etmenden
zarar görebilir.
RAID virüslerin veriye zarar vermesini
önleyemez.
15. RAID sistemin çökmesine engel olamaz.
RAID verinin kullanıcı tarafından yanlışlıkla
değiştirilmesi veya silinmesine engel olamaz.
RAID verinin dik veya başka bir donanım
parçasında meydana gelen arıza nedeniyle
zarar görmesini engelleyemez
16. RAID meydana gelen olumsuz bir olayın veri
kaybına neden olmasını tek başına önleyemez.
Yıkım kaçınılmazdır, fakat yedekleme sayesinde
yıkım geldiğinde veri kaybını önlemek mümkün
olabilir.
RAID her türlü uygulamada büyük performans
artışları sağlamaz. Bu ifade özellikle tipik masa
üstü ve oyun uygulamaları için geçerlidir. Masa
üstü uygulamalarının ve oyunların çoğunluğu
tampon bellek stratejisine ağırlık verir ve
performansı diskten (veya disklerden) bekler.
17. BOZULMA YÜZDESİ:
Belirli bir RAID’in ilk aksamaya değin geçen
ortalama süresi (MTTF) veya aksamalar
arasında geçen ortalama süresi (MTBF)
kullanılan RAID tipine bağlı olarak, kendisini
oluşturan hard disklerinkinden daha az veya
daha çok olabilir.
18. Bu kapsamda, belirli bir dizilimde veri kaybı
görülene kadar geçen ortalama zaman hesaba
katılır.
19. Güvenilirlik için yedekleme ile çalışan
sistemlerde, bir sistem hatasından sonra
dizilimin tekrar hatalara karşı toleranslı
çalışma moduna gelene kadar geçen zaman
anlamına gelmektedir.
Bu kavramın içerisinde arızalı bir disk
mekanizmasının değiştirilmesi kadar bozulan
bir dizilimi tekrar oluşturmak için gereken
zaman da bulunmaktadır (örneğin yedekleme
için verinin çoğaltılması gibi).
20. Bu, çevrimsel artıklık kodlaması (CRC) uygulaması
ve çok kere yapılan denemelerden sonra disk
sürücünün kendini toparlayamaması oranı
anlamına gelmektedir
Bu hata kendini bir sektör okuma hatası olarak
gösterecektir. Bazı RAID uygulamaları bozuk
kesimi “bad sector” tekrar eşleyerek bu hataya
karşı koruma sağlayabilir.
Bunu gerçekleştirmek için yedek veriyi
kullanarak verinin sağlam bir kopyasını elde eder
ve bu veriyi eskisinin yerini alan ve yeniden
eşlemesi yapılan sektöre yazar
21. Yırtık yazma, yırtık sayfalar, tamamlanmamış
yazma, kesintiye uğramış yazma, vb. gibi
muhtelif isimler ile de anılır.
Sözü edilen şey, yedekli depolama
sistemlerinin oldukça az anlaşılan ve aynı
zamanda nadiren sözü edilen bir hata
modudur.
22. Yazma işlemi sırasında meydana gelebilecek
bir arıza durumunda söz konusu yedeklerin
yazılması değişik hallerde kesintiye
uğrayabilir, dahası bu kopyaların yeni hali mi
yoksa eski hali mi yansıttığı da kesin olarak
bilinemez
23. Az bilinen hata modu, delta günlüğü orijinal
verinin eski veya yeni halinin geçerli
olduğunu bilmesi üzerine kurulur, böylece
yapılan değişikliği mantıksal olarak geri
çevirebilir. Şimdilik sadece az sayıda
depolama sistemi RAID diskler üzerinde
atomik yazma semantiği sağlayabilmektedir.
24.
25. Raid 0 sadece performans için üretilmiş
teknolojidir.En az 2 disk ile oluşturulur.
Raid kart üzerine gelen tüm datalar disk
sayısına bölünerek aynı anda hepsine birden
yazılır.
Disklerden biri göçerse tüm veriyi kaybetmiş
oluruz.Kapasiteye bakacak olursak disk
sayısının toplamı kadar kapasite elde edilir.
26.
27. İşte Raid teknolojisinde performans
anlamında en üst seviyede bulunan Raid
yapısı budur.Disk sayısı ne kadar fazla ise
performans o derecede artar.En az 4 disk ile
oluşturulabilir.
2 adet Raid 0 yapısını Raid 1 altında
toplayarak yapılan bu yapı gelen tüm dataları
parçalayıp tüm disklere dağıtarak okuma
yazma yaptığından performans olarak hiçbir
yapı performans anlamında bu yapının yanına
yaklaşamaz.