OpenStack'te Ceph Kullanımı ve Performans OptimizasyonuHuseyin Cotuk
17 Ekim 2017 tarihinde Levent Wyndham Grand İstanbul Hotel'de düzenlenen OpenStack Days İstanbul etkinliğinde Dr. OpenStack Days Istanbul 2017 sırasında Dr. Hüseyin ÇOTUK tarafından yapılan "OpenStack'te Ceph Kullanımı ve Performans Optimizasyonu" konulu sunum
11.10.2017 tarihinde İstanbul Yıldız Teknik Üniversitesi Davutpaşa Kampüsü Teknoparkı A1 Blok'ta Ceph Türkiye adına yapılan ikinci meetup'a ait sunum. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
Ceph Yapıtaşları
Ceph Mimarisi
Ceph Üzerinde Veri Yerleşimi
CRUSH Algoritması
CRUSH Map
OpenStack Entegrasyonu
Ceph Türkiye 3.Meetup Ankara: Ceph Tasarımında Dikkat Edilecek HususlarHuseyin Cotuk
22.11.2017 tarihinde Ankara Ataköşk Hotel'de Ceph Türkiye adına yapılan üçüncü meetup'a ait sunum. Uyumsoft firmasından Ramazan ÖZTEMUR tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
Gereksinimlerin Belirlenmesi
Replika vs Erasure Coding
Performans Maliyet Kapasite
İş Yüküne Özel tasarım
Donanım Seçimi
Önerilen Donanım Listesi
Performans ve Maliyet Odaklı Örnek Tasarımlar
Ceph Türkiye 7. Meetup Ankara: Ceph Temelleri ve CRUSH MAP YönetimiHuseyin Cotuk
Konu: Ceph Temelleri ve CRUSH Map Yönetimi
Sunum: Dr. Hüseyin ÇOTUK
İçerik: • Ceph Nedir?
• Ceph Bileşenleri
• CRUSH Map Nedir?
• CRUSH Map nasıl kişiselleştirilir?
• Karma diskler ile veri havuzu oluşturma
OpenStack'te Ceph Kullanımı ve Performans OptimizasyonuHuseyin Cotuk
17 Ekim 2017 tarihinde Levent Wyndham Grand İstanbul Hotel'de düzenlenen OpenStack Days İstanbul etkinliğinde Dr. OpenStack Days Istanbul 2017 sırasında Dr. Hüseyin ÇOTUK tarafından yapılan "OpenStack'te Ceph Kullanımı ve Performans Optimizasyonu" konulu sunum
11.10.2017 tarihinde İstanbul Yıldız Teknik Üniversitesi Davutpaşa Kampüsü Teknoparkı A1 Blok'ta Ceph Türkiye adına yapılan ikinci meetup'a ait sunum. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
Ceph Yapıtaşları
Ceph Mimarisi
Ceph Üzerinde Veri Yerleşimi
CRUSH Algoritması
CRUSH Map
OpenStack Entegrasyonu
Ceph Türkiye 3.Meetup Ankara: Ceph Tasarımında Dikkat Edilecek HususlarHuseyin Cotuk
22.11.2017 tarihinde Ankara Ataköşk Hotel'de Ceph Türkiye adına yapılan üçüncü meetup'a ait sunum. Uyumsoft firmasından Ramazan ÖZTEMUR tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
Gereksinimlerin Belirlenmesi
Replika vs Erasure Coding
Performans Maliyet Kapasite
İş Yüküne Özel tasarım
Donanım Seçimi
Önerilen Donanım Listesi
Performans ve Maliyet Odaklı Örnek Tasarımlar
Ceph Türkiye 7. Meetup Ankara: Ceph Temelleri ve CRUSH MAP YönetimiHuseyin Cotuk
Konu: Ceph Temelleri ve CRUSH Map Yönetimi
Sunum: Dr. Hüseyin ÇOTUK
İçerik: • Ceph Nedir?
• Ceph Bileşenleri
• CRUSH Map Nedir?
• CRUSH Map nasıl kişiselleştirilir?
• Karma diskler ile veri havuzu oluşturma
02.10.2017 tarihinde Ankara Ataköşk Hotel'de Ceph Türkiye adına yapılan ilk meetup'a ait kayıt. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
İlk Bakışta Ceph
Geleneksel Depolama Mimarisi
Dağıtık Depolama Mimarisi
Diğer Dağıtık Depolama Çözümleri ile Karşılaştırmalar
Neden Ceph?
Dünyada Ceph Kullanımı
OpenStack'te Depolama Alternatifleri
Neden OpenStack ve Ceph?
OpenStack Türkiye 14. Meetup Ankara: Yeni Başlayanlar için OpenStackHuseyin Cotuk
Konu: OpenStack Bulut Platformu Nedir? Nerelerde Kullanılır?
Sunum: Dr. Hüseyin ÇOTUK
İçerik:
• Dünyada Bulut Dönüşümü
• Neden Bulut?
• OpenStack Nedir?
• OpenStack Bileşenleri
• Servis Olarak Verilebilen Hizmetler
• Neden OpenStack?
• Dünyada OpenStack Kullanımı
• OpenStack'te Depolama Alternatifleri
• Neden OpenStack ve Ceph?
• Demo
• Soru / Cevap
02.10.2017 tarihinde Ankara Ataköşk Hotel'de Ceph Türkiye adına yapılan ilk meetup'a ait kayıt. Dr. Hüseyin ÇOTUK tarafından yapılan sunum süresince aşağıdaki konular ele alınmıştır.
İlk Bakışta Ceph
Geleneksel Depolama Mimarisi
Dağıtık Depolama Mimarisi
Diğer Dağıtık Depolama Çözümleri ile Karşılaştırmalar
Neden Ceph?
Dünyada Ceph Kullanımı
OpenStack'te Depolama Alternatifleri
Neden OpenStack ve Ceph?
OpenStack Türkiye 14. Meetup Ankara: Yeni Başlayanlar için OpenStackHuseyin Cotuk
Konu: OpenStack Bulut Platformu Nedir? Nerelerde Kullanılır?
Sunum: Dr. Hüseyin ÇOTUK
İçerik:
• Dünyada Bulut Dönüşümü
• Neden Bulut?
• OpenStack Nedir?
• OpenStack Bileşenleri
• Servis Olarak Verilebilen Hizmetler
• Neden OpenStack?
• Dünyada OpenStack Kullanımı
• OpenStack'te Depolama Alternatifleri
• Neden OpenStack ve Ceph?
• Demo
• Soru / Cevap
3. Oracle 11g Cluster Yapısı
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
ASM ASM
Node 1 Node 2
Private Interconnect
Database Database
ASM Disk Groups
+DATA +FRA Storage Network
Storage
Public Network
File File
5. Oracle ASM Yapısı
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
ASM1 ASM2
Server 1 Server 2
Private Interconnect
Database Database
ASM Disk Groups
+DATA +FRA Storage Network
Storage
X
X
Public Network
6. Oracle ASM Yapısı
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
Volume Manager ve File system yapısı ,
Disk katmanında Stripe, mirror gibi Disk Grupları kullanımı ,
Rebalance özelliği ,
Oracle Instance Mimarisi ,
I/O işlemleri ASM Instance üzerinden geçmemesi ,
Cluster Mimarisinde paylaşımlı olan Disk gruplarını yönetilmesi...
7. Oracle ASM Cluster
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
• Her Sunucu üzerinde farklı DB’lere ait olan tek ASM Instance çalışır.
• DB Instance çalışması ASM Instance sürekliliğine bağlıdır.
• Çalıştığı sunucu üzerinde DB Instance’dan ayrı kaynak kullanır.
• Node’da çalışan DB Instance’lar için her defasında konfigürasyon yapılır.
ASM ASM ASM
DB1
DB2
DB3 DB1DB2
DB3
DB4
DB5
DB4
Cluster
9. Flex Cluster HUB Node – Leaf Node
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
Hub Node
• Kendi özel Network’ü üzerinden Storage alanına direk bağlanan makinalardır.
• Oracle Grid Infrastructure kurulu olup, Clusterware konfigürasyonları bu Node’lar
üzerindedir.
Leaf Nodes
• Bu Node’lar üzerinde sadece Leaf Node olduklarına dair konfigürasyon vardır
• Sadece Hub Node ile iletişimdedirler
• Clusterware konfigürasyonuna Hub Node üzerinden ulaşırlar.
10. Flex Cluster
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
HUB
Node_1
HUB
Node_2
Storage
Leaf Node 1
Leaf Node 2
Leaf Node 3
Leaf Node 4Hub Pool
Leaf Pool
Leaf Pool
Public Area
11. Flex Cluster
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
• Bu topolojide sadece Hub Node’lar Storage üzerindeki Oracle Cluster Registry (OCR)
Voting Disk (VD) alanlarına ulaşmaktadır.
• Uygulamalar Leaf Node’lar üzerinde çalışmaktadır.
• Leaf Node üzerinde ASM Instance çalışmamaktadır.
• Bütün bağlantılar Hub üzerinden geçerek işlem yapmaktadır.
• Leaf Node -> Hub Node’a çevirebiliriz.
• Standart Cluster -> Flex Cluster
• Flex Cluster -> Standart Cluster
(Cluster domain yeniden konfigürasyonu yapılmalıdır)
16. Flex Cluster
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
[root@flex2~]# crsctl set cluster mode flex
Cluster is configured for ”flex" mode
[root@flex2~]# crsctl stop crs
[root@flex2~]# crsctl start crs -‐wait
[root@flex2~]# crsctl set cluster mode flex
Cluster is already configured in "flex" mode
CRSCTL ile Flex ASM’i Enable moda
getiririz
Leaf Node -> Hub Node
Node’lar üzerinde ROLE değişikliği ...
[root@flex2~]# ./crsctl get node role config
Node 'flex2' configured role is 'hub’
[root@flex2~]# ./crsctl set node role leaf
CRS-‐4408:Node 'flex2' configured role
successfully changed;
restart Oracle High Availability Services for
new role to take effect.
[root@flex2~]# ./crsctl stop crs
[root@flex2~]# ./crsctl start crs -‐wait
18. Flex Cluster Monitoring
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
• Cluster Health Monitor (CHM)
• System Monitor Service (osysmond)
• Cluster Logger Service (OLOGGERD)
• GI Management Repository (MGMTDB)
• OCLUMON
Zaman değeri vererk CHM node bazlı çalışabilen komut...
[root@flex1tmp]# /u01/app/12.1.0.1/grid/bin/diagcollection.pl –collect
[root@flex1tmp]# /u01/app/12.1.0.1/grid/bin/oclumon dumpnodeview -‐n flex1 flex2 last
"12:00:00”
[root@flex1tmp]# oclumon manage -‐get alllogger -‐details
Logger= flex1 Nodes= flex1,flex2
Birden fazla Node için çalışabilir
Real Time veri sağlar
Tek node üzerinde çalıştırılabilir
Private Network üzerinden bütün
servislere erişebilir
Cluster Troubleshooting
20. Flex ASM
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
ASM
Server 1
ASM Network
Database
Storage Network
Storage
ASM
Server 2
Database
Server 3
Database
ASM
Server 4
Database
Private Interconnect (CSS Network)
ASM Client
X
21. Flex ASM
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
ASM
Server 1
ASM Network
Database
Storage Network
Storage
ASM
Server 2
Database
Server 3
Database
Server 4
Database
PrivateInterconnect
ASM Client
ASM
*** Cardinality = 3
22. Flex ASM
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
Flex ASM Yönetimi
• Flex ASM
Minimum Takip
Devamlılık
11g Desteği ve Yönetimi
SRVCTL :
• ASM Instance Durumu
• Cardinality Değeri Belirleme
• ASM instance Start – Stop
• Standart Konfigürasyon ile bir çok durumu destekler.
• ASM instances AMM (Automatic Memory Management ) kullanır.
• Oracle Flex ASM ASMCA, CRSCTL, SQL*Plus , SRVCTL ile yönetilebilir.
23. Flex ASM Support
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
ASM
Server 1
ASM Network
Database
Storage Network
Storage
ASM
Server 2
Database
Server 3
Database
Server 4
Database
PrivateInterconnect
ASM Client
ASM
11g
DB
***Cardinality
25. Flex ASM Cluster
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
• Cluster yapısında ASM Instance
zorunluluğunu ortadan kalktı.
• Uzaktan bağlanabilme...
• Database Instance ASM failover imkanı
• Cardinality özelliğiyle ASM instance
sayısı belirleme.. (default değer 3)
• ASM cardinality yönetimini
Clusterware ile gerçekleştirebilme..
ASM
Server Server
ASM
Server Server
ASM
Server Server
Cluster
27. Flex ASM Network
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
ASM
Server 1
ASM Network
Database
Storage Network
Storage
ASM
Server 2
Database
Server 3
Database
ASM
Server 4
Database
Private Interconnect (CSS Network)
ASM Client
SQL> ALTER SYSTEM RELOCATE CLIENT
'<instance_name>:<db_name>';
28. Flex ASM Remote Access
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
Flex ASM öncesi ;
• İşletim Sistemi yetkilendirilmesi (OS authentication)
• Oracle Instance ve ASM Instance aynı Node üzerinde olma zorunluğu
Flex ASM ile ;
• ASM Client ile ASM Instance farklı node’lar üzerinde çalışabilir.
• Default kurulumlarda ASM Cluster ayarlaması
• Paylaşımlı Disk gruplarında ortak güvenlik (şifre) yönetimi (CDB-PDB mantığı)
30. Flex ASM Dönüşümü
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
Oracle Cluster Registry (OCR)
The server parameter file (SPFILE)
The password file (ORAPWD file) aynı disk grup içimde olmalı...
COMPATIBLE.ASM parametresi 12.1 yada daha ileri bir versiyon olmalı ...
32. Flex ASM Dönüşümü
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
[oracle@flex1 ~]$ asmca -silent -convertToFlexASM -asmNetworks eth1/10.154.138.0 -
asmListenerPort 1521
To complete ASM conversion, run the following script as privileged user in local node.
/u01/app/oracle/cfgtoollogs/asmca/scripts/converttoFlexASM.sh
/u01/app/oracle/cfgtoollogs/asmca/scripts/converttoFlexASM.sh
CRS-2673: Attempting to stop 'ora.crsd' on flex1'
CRS-2790: Starting shutdown of Cluster Ready Services-managed resources on flex1 '
CRS-2673: Attempting to stop 'ora.LISTENER_SCAN2.lsnr' on flex1
CRS-2673: Attempting to stop 'ora.LISTENER_SCAN3.lsnr' on
CRS-2672: Attempting to start 'ora.storage' on flex12'
CRS-2676: Start of 'ora.storage' on flex2' succeeded
+ echo 'Cluster bounced in node flex2'
Cluster bounced in node flex2
33. Kaynaklar
www.ozgurumutvurgun.com
23 Aralık 2014
TROUG Day Ankara
Steps to Convert STANDARD ASM to FLEX ASM in 12C (Doc ID 1915814.1)
Oracle Flex ASM 12c / 12.1 (Doc ID 1573137.1)
New RACGuide - 12.1.0.1 RAC Installation on Linux [Video] (Note: 1600316.1)
http://racattack.org/12c
http://www.oracleracsig.org/
http://asmsupportguy.blogspot.com.tr/
http://kyuoracleblog.wordpress.com/
http://jaffardba.blogspot.com.tr/