Let's take a look at Oracle Database Appliances from a DBA point of view.

2. ORACLE DATABASE
APPLIANCE
Mark Koreman
Technisch teamlead Amis beheer
28 augustus 2017

4. AGENDA
• Historie
• Installatie
• Bare metal
• Virtueel
• Beheer
• Appliance Manager
• Storage
• Oakcli/odacli
• Patchen
• Integrated Lights Out Manager (ILOM)
• Auto Service Request (ASR)
• ODA plugin voor Cloud Control
• Backup en Recovery
• VM’s
• Voor en nadelen

5. GESCHIEDENIS
• Oracle Database Appliance Generations
ODA V1 – Okt 2011 ODA X3-2 – Mar 2013 ODA X4-2 – Dec 2013 ODA X5-2 – Feb 2015
Processor Intel X5675 Intel E5-2690 Intel E5-2697 V2 Intel Xeon E5-2699 V3
Node Built-in (X4370 M2) X3-2 X4-2 X5-2
Sockets/node 2 2 2 2
Cores/node (totaal) 12 (24) 16 (32) 24 (48) 36 (72)
Max Memory/node
(totaal)
96GB (192GB) 256GB (512GB) 256GB (512GB) 256GB, Upgradeable to 768GB
Boot Disks (free) 500GB (250GB) 600GB (350GB) 600GB (350GB) 600GB (350GB)
Networking 6 x 1GbE NICs
2 x 10GbE fiber NICs
4 x 10GbE Copper NICs 4 x 10GbE Copper NICs
(opt public fiber interface)
4 x 10GbE Copper NICs
(opt public fiber interface)
Form Factor/RU
Single 4U chassis
2 x 1RU servers &
1 x 2RU disk shelf
2 x 1RU servers &
1 x 2RU disk shelf
2 x 1RU servers &
1 x 4RU disk shelf
Shared Storage 292GB SSDs
12TB SAS raw
800GB SSDs
18TB SAS raw
800GB SSDs
18TB SAS raw
800GB SSD – REDO
1.6TB SSD – ODA Cache
128TB SAS raw
Storage Expansion N/A Additional Storage Shelf Additional Storage Shelf Additional Storage Shelf

6. GESCHIEDENIS
• Oracle Database Appliance Generations
ODA X6-2S ODA X6-2M ODA X6-2L ODA X6-2-HA
Processor Intel Xeon E5-2630 v4 Intel Xeon E5-2630 v4 Intel Xeon E5-2630 v4 Intel Xeon E5-2630 v4
per server
Sockets/node 1 2 2 2
Cores/node (totaal) 10 (10) 10 (20) 10 (20) 20 (40)
Memory 128GB (max 384GB) 256GB (max 768GB) 256GB (max 768GB) 256GB
(max 768GB per server)
Networking 2x 10GbE SFP+ (fiber) en 2x
10GBase –T (koper)
2x 10GbE SFP+ (fiber) en 4x
10GBase –T (koper)
2x 10GbE SFP+ (fiber) en 4x
10GBase –T (koper)
InfiniBand interconnect,
4x 10GBase-T (koper) en
optioneel 2x 10GbE SFP+
(fiber) per server
Grootte One rack unit One rack unit Two rack unit Siz rack unit (+storage)
Storage 6.4TB flash storage – (max
12.8 TB)
6.4TB flash storage – (max 12.8
TB)
19.2TB flash storage – (max
28.8 TB)
12TB SAS SSD flash storage –
(max 48 TB)
Database
Deployment
Single Instance Single Instance Single Instance Single Instance, RAC en RAC
One Node
Oracle VM No No No Yes

7. INSTALLATIE

8. INSTALLATIE
• Stap 1, Voorbereiding
• Controleer de Hardware Support Identifier
• Voeg de Hardware Support Identifier en Software Licenses toe aan het My Oracle Support profiel
• Bepaal de netwerk configuratie
• Generiek
• Domain naam
• Domain naam server adressen
• Network Time Protocol server adressen (optioneel)
• Cluster netwerk configuratie
• Single Client Acces Name (SCAN) en 2 ip addressen
• Netmask voor het public netwerk
• Gateway voor het public netwerk
• Node 0 netwerk informatie (public name en IP adres/ VIP name en IP adres)
• Node 1 netwerk informatie (public name en IP adres/ VIP name en IP adres)

9. INSTALLATIE
• Voorbereiding
• Cluster netwerk configuratie (Continued)
• Public, SCAN en VIP adressen moeten in hetzelfde subnet zitten.
• In een virtualized setup moeten er ook IP adressen aangevraagd worden bij netwerkbeheer voor
• Dom0
• ODA_BASE (Dom1)
• Virtual machines
• Configureren Integrated Lights Out Management (optioneel)
• Configuratie via BIOS op beide nodes
• Oracle ILOM naam en IP adres voor node0
• Oracle ILOM naam en IP adres voor node1
• Netmask voor management netwerk
• Gateway voor management netwerk

10. INSTALLATIE
• Voorbereiding
• Plan de software- en database configuratie
• Configuration type: Custom
• Systeem naam
• Regio en Time Zone
• Deployment type (Bijvoorbeeld RAC)
• Disk Group redundantie (High (triple-mirrored) of normaal (double-mirrored)
• Dit heeft impact op de uiteindelijke totaal beschikbare storage
• Aanvullende database settings
• Database Class (bijvoorbeeld : Small)
• Default Database taal
• Block size
• Characterset
• Territory

11. INSTALLATIE
• Voorbereiding
• Oracle Auto Service Request (optioneel)
• Proxy server voor deployment
• Proxy poort
• Proxy username/password
• Oracle online account username/password
• Configureer de External Oracle ASR Manager
• ASR Manager IP/host name
• ASR Manager port
• My Oracle Support account username/password
• Optioneel, wijzig naam en sizing van het Cloud File System
• Default naam is /cloudfs
• Grootte default 50GB

12. INSTALLATIE
• Voorbereiding
• Aanbevolen: Download de Application Manager Configurator
• Draait op een aparte host, niet op de ODA
• Valideert de gemaakte keuzes in de configuratie en genereert een configuratie file waarmee de uiteindelijke
deployment op de ODA kan plaatsvinden.
• Volg de aanwijzingen in My Oracle Support note: 888888.1
• Ondersteunde software versies
• Oracle Linux (pre-installed) (ODA 12.1.2.6 bevat Oracle Linux Server release 6.7)
• Appliance Manager (pre-installed)
• Oracle VM (optioneel)
• Oracle database 11g Enterprise Edition Release 2, Oracle database 12c Enterprise Edition
• Oracle Real Application clusters One Node
• Oracle Real Application clusters
• Download de laatst beschikbare ODA patch bundle
• Mag applied voor of na de deployment

13. INSTALLATIE
• Stap 2 (Bare Metal Setup)
• Start het systeem
• Controleer de storage
• oakcli validate -c storagetopology
• Configureer het netwerk
• oakcli configure firstnet
• Controleer versie van de Oracle Applicance Manager software
• oakcli show version –detail
• Ligt deze te ver achter, download dan de ISO voor de bare-metal install van de support site.
Hiermee wordt het systeem re-imaged.
• Download de laatste versie Oracle Database Appliance End-User Bundle op een aparte PC
• Deze bevat de Grid Infrastructure- en database software.
• Kopieer de end-user bundle software naar node0 (/tmp)
• Unzip de software bundle
• oakcli unpack –package

14. INSTALLATIE
• Stap 2 (Bare Metal Setup)
• Deploy de software
• Start het Xwindows system
• oakcli deploy
• De Oracle Appliance Manager wordt gestart
• Optioneel: Een eerder gegenereerde configuratie file kan
nu geladen worden
• Nadat alle benodigde informatie is ingevuld en gecontroleerd
kan de installatie gestart worden door op Install te klikken.
• Deployment neemt ongeveer 1 uur in beslag.

15. INSTALLATIE
• Stap 2 (Virtual Setup)
• Start het systeem
• Controleer versie van de Oracle Applicance Manager software
• oakcli show version –detail
• Ligt deze te ver achter, download dan de ISO voor de virtualized platform install van de support site.
Hiermee wordt het systeem re-imaged.
• Controleer of de Virtual Machine image geinstalleerd is
• oakcli show env_hw
• Resultaat moet zijn: vm-dom0
• Configureer het netwerk
• Login op dom0 als user root
• oakcli configure firstnet
• Kies de Global option en vul de gegevens in voor DNS server(s), host names en dergelijke
• Deploy ODA_BASE en controleer de storage
• Download de meest recente ODA_BASE VM template en kopieer deze naar /OVS op dom0
• Deploy met oakcli deploy oda_base
• Geef het volledige pad van het template op.
• Selecteer het aantal cores en de hoeveelheid memory voor de ODA_BASE
• Controleer de storage door met VNC te connecten aan de ODA_BASE en voer uit:
oakcli validate –c storagetopology

16. INSTALLATIE
• Stap 2 (Virtual Setup)
• Connect aan de ODA_BASE met VNC
• Start het X Window System (startx)
• Voer uit: oakcli deploy
• De Appliance Manager GUI wordt gestart,
doorloop alle configuratie stappen en start de installatie.
• Doorlooptijd is ook hier 1 uur.

17. BEHEER
• Oracle Database Appliances in beheer

18. BEHEER
• Appliance Manager
• Biedt functionaliteit om het systeem te installeren, onderhouden en te valideren
• Voert discovery uit van het storage systeem.
• Monitored disks op fouten.
• Recovered ASM disk groups na shared disk failures.
• Automatiseert procedures na het verwijderen/vervangen van disks.
• Oracle Appliance Manager Daemon (oakd) wordt gestart tijdens het opstarten.
• Interface met de appliance manager via oakcli.

19. BEHEER
• Storage
• Tijdens installatie worden er 4 ASM diskgroups aangemaakt
• DATA, FLASH, RECO en REDO
• Gebruik oakcli om beschikbare ruimte te bepalen
oakcli show fs
Type Total Space Free Space Total DG Space Free DG Space Diskgroup Mount Point
ext3 29757M 15507M - - /
ext3 98M 52M - - /boot
ext3 59515M 20647M - - /opt
ext3 277741M 175671M - - /u01
acfs 10133504M 1568690M 26214400M 5933672M DATA
/u02/app/oracle/oradata/datastore
acfs 740352M 22026M 1526208M 45000M FLASH
/u02/app/oracle/oradata/flashdata
acfs 5120M 5033M 34832704M 16186744M RECO /odadatafs
acfs 102400M 101985M 34832704M 16186744M RECO /shared
acfs 9214976M 3607197M 34832704M 16186744M RECO
/u01/app/oracle/fast_recovery_area/datastore
acfs 229376M 29787M 763120M 112M REDO
/u01/app/oracle/oradata/datastore
• Vergroten van een acfs filesysteem kan online met oakcli
• Bug in ODA versie 12.1.2.5
• oakcli resize dbstorage –[diskgroup] [nn]
• Lukt dan alleen met aanroep van acfsutil
Bijvoorbeeld : acfsutil size +[nnn]G -d [device] [mount point]

20. BEHEER
• Storage
• ASM Cluster File System (ACFS) Integratie
• Oracle Database Appliance software stack heeft Oracle ASM Cluster File System (ACFS) als het primaire cluster
file systeem voor de opslag van database files en general-purpose data.
• Vier default file systemen worden automatisch aangemaakt in de Oracle Database Appliance ASM disk groups:
• DATA, RECO, REDO, and Flash
• Bij het aanmaken van een nieuwe database worden de bijbehorende database files in deze ACFS file systemen
aangemaakt in plaats van direct in de ASM disk groepen.

21. BEHEER
• Storage
• Directory structuren voor database installaties kunnen niet rechtstreeks op het OS aangemaakt worden.
• Datafiles staan in: /u02/app/oracle/oradata/datastore/
• Onder dit directory is met ls –a niets te vinden:
[oracle@oda11 datastore]$ ls -altr
total 72
drwxr-xr-x 4 root root 4096 Dec 3 2015 ..
drwx------ 2 root root 65536 Dec 3 2015 lost+found
drwxrwxr-x 4 oracle oinstall 4096 Jun 26 10:42 .
• Door 1 nivo dieper te gaan in de directory structuur naar .ACFS wordt alles pas zichtbaar:
[oracle@oda11 datastore]$ cd .ACFS/snaps
[oracle@oda11 snaps]$ ls -ltr
total 40
drwxrwxr-x 5 oracle oinstall 4096 Feb 9 2016 PETACC1
drwxrwxr-x 5 oracle oinstall 4096 Mar 30 2016 AXCACC1
drwxrwxr-x 5 oracle oinstall 4096 Mar 30 2016 AXFACC1
drwxrwxr-x 5 oracle oinstall 4096 Mar 30 2016 DXCACC1
drwxrwxr-x 5 oracle oinstall 4096 Mar 30 2016 DXFACC1
drwxrwxr-x 5 oracle oinstall 4096 Mar 31 2016 AXCPRD1
drwxrwxr-x 5 oracle oinstall 4096 Mar 31 2016 DXCPRD1
drwxrwxr-x 5 oracle oinstall 4096 Mar 31 2016 AXFPRD1
drwxrwxr-x 5 oracle oinstall 4096 Mar 31 2016 DXFPRD1
drwxrwxr-x 5 oracle oinstall 4096 Mar 31 2016 PETPRD1

22. BEHEER
• Storage
• Aanmaken database storage
• Met behulp van oakcli:
[root@oda20 ~]# oakcli create dbstorage -db [DB_NAME]
• Voorbeeld:
INFO: 2017-06-14 10:56:59: Please check the logfile
'/opt/oracle/oak/log/oda20/tools/12.1.2.8.0/createdbstorage_DXFHIX_91496.log' for more details
INFO: 2017-06-14 10:57:06: Storage for the Database with the name DXFHIX is possible
Please enter the 'SYSASM' password : (During deployment we set the SYSASM password to 'welcome1'):
Please re-enter the 'SYSASM' password:
Specify the Database Class (1. odb-01 '1 core, 8 GB memory' 2. Others) [1] : 2
Please select one of the following for Database Class [1 .. 7] :
1
The selected value is : odb-01s ( 1 cores , 4 GB memory)
...SUCCESS: Ran /usr/bin/rsync -tarqvz /opt/oracle/oak/onecmd/
root@192.168.16.25:/opt/oracle/oak/onecmd --exclude=*zip --exclude=*gz --exclude=*log --exclude=*trc --
exclude=*rpm and it returned: RC=0
.........
SUCCESS: All nodes in /opt/oracle/oak/onecmd/tmp/db_nodes are pingable and alive.
INFO: 2017-06-14 10:59:52: Successfully setup the storage structure for the database 'DXFHIX'
INFO: 2017-06-14 10:59:52: Set the following directory structure for the Database DXFHIX
INFO: 2017-06-14 10:59:52: DATA: /u02/app/oracle/oradata/datastore/.ACFS/snaps/DXFHIX
INFO: 2017-06-14 10:59:52: REDO: /u01/app/oracle/oradata/datastore/DXFHIX
INFO: 2017-06-14 10:59:52: RECO: /u01/app/oracle/fast_recovery_area/datastore/DXFHIX
SUCCESS: 2017-06-14 10:59:52: Successfully setup the Storage for the Database : DXFHIX

23. BEHEER
• OAKCLI
• Is de command line interface voor het beheer van de appliance.
• [root@oda11 ~]# oakcli -h
Usage: oakcli show - Shows disk, diskgroup, expander, controller, server, processor,
memory, iraid, power, cooling, network,ib, enclosure, storage, fs, raidsyncstatus, version,
dbhomes, dbstorage, databases, db_config_params, core_config_key, env_hw, ASR
oakcli configure - configures the Network or ASR or additional Net or IB2Fiber
oakcli apply - Applies the core_config_key
oakcli locate - Locates a disk
oakcli deploy - Deploys the Database Appliance
oakcli update - Updates the Database Appliance
oakcli validate - Validates the Database Appliance
oakcli manage - Manages the OAK repository, diagcollect etc.,
oakcli unpack - Unpack the given package to OAK repository
oakcli copy - Copies the deployment config file
oakcli upgrade - Upgrades database
oakcli stordiag - Run storage diagnostic tool on both Nodes
oakcli test - Test ASR
oakcli orachk - Performs configuration settings check on ODA
oakcli create - Creates Database, DB storage, snapshotdb, dbhome, db_config_params
file
oakcli delete - Deletes Database, DB storage, dbhome, db_config_params file
oakcli modify - Performs modify opeartions on Database
oakcli resize - Resizes DB storage

24. BEHEER
• OAKCLI
Voorbeelden
[root@oda11 ~]# oakcli show cooling
NAME HEALTH HEALTH_DETAILS LOCATION FAN % FAN SPEED
Fan_0 OK - FM0 33 % 6400 RPM
Fan_1 OK - FM0 33 % 5800 RPM
Fan_10 OK - FM2 37 % 7200 RPM
Fan_11 OK - FM2 35 % 6100 RPM
Fan_12 OK - FM3 36 % 7000 RPM
Fan_13 OK - FM3 36 % 6300 RPM
Fan_14 OK - FM3 36 % 7100 RPM
Fan_15 OK - FM3 36 % 6200 RPM
Fan_2 OK - FM0 44 % 8500 RPM
Fan_3 OK - FM0 37 % 6500 RPM
Fan_4 OK - FM1 39 % 7500 RPM
Fan_5 OK - FM1 38 % 6600 RPM
Fan_6 OK - FM1 36 % 7000 RPM
Fan_7 OK - FM1 34 % 6000 RPM
Fan_8 OK - FM2 36 % 7000 RPM
Fan_9 OK - FM2 34 % 5900 RPM

25. BEHEER
• OAKCLI
Voorbeelden
[root@oda11 ~]# oakcli show fs
Type Total Space Free Space Total DG Space Free DG Space Diskgroup Mount Point
ext3 29757M 8651M - - /
ext3 98M 52M - - /boot
ext3 59515M 29020M - - /opt
ext3 277741M 86525M - - /u01
acfs 9568256M 1634495M 26214400M 7062936M DATA
/u02/app/oracle/oradata/datastore
acfs 740352M 8589M 1526208M 45000M FLASH
/u02/app/oracle/oradata/flashdata
acfs 5120M 5033M 34832704M 4513108M RECO
/odadatafs
acfs 102400M 99021M 34832704M 4513108M RECO
/shared
acfs 15051776M 5590019M 34832704M 4513108M RECO
/u01/app/oracle/fast_recovery_area/datastore
acfs 223232M 35289M 763120M 112M REDO
/u01/app/oracle/oradata/datastore

26. BEHEER
• Patchen
• Volledige stack wordt gepatched
• 4x per jaar een ODA patch bundle
• Inclusief een PSU voor de databases (optioneel)
• One-off patches kunnen wel applied worden tussen de patch bundles, maar alleen in overleg met Oracle Support.
Voorbeeld hiervan is de multi-threading-bug in 12c
• Oracle Support adviseert niet meer dan 2 versies te achterlopen op huidige patch
• Laatst uitgebrachte patch 12.1.2.11.0 (29 juni 2017)

27. BEHEER
• Patchen
• Globaal patch proces:
• Dowload de patch en laadt deze in de repository
• Patch Infra/Server
• Patch Grid Infrastructure
• Patch Storage
• Patch Database Home(s) en database(s) (optioneel)

28. BEHEER
• Patchen (Voorbeeld)
• Hele patch proces wordt uitgevoerd via de command line, geen GUI beschikbaar.
• Alle oakcli commando’s moeten als user root uitgevoerd worden.
• Voorbereiding
• Controleer altijd eerst de known issues voor de patch, in dit voorbeeld 12.1.2.8.0 (Doc.ID 888888.1)
• scp p24394231_121280_Linux-x86-64_[n]of2.zip (Naar beide nodes)
• oakcli unpack -package /tmp/p24394231_121280_Linux-x86-64_1of2.zip
• oakcli unpack -package /tmp/p24394231_121280_Linux-x86-64_2of2.zip
• NOTE: root moet eigenaar zijn van de .zip files !
• Precheck
• Controle of de patch applied kan worden:
oakcli update -patch 12.1.2.8 –verify
Verwachte eindresultaat: SUCCESS: Node is ready for upgrade

29. BEHEER
• Patchen (Voorbeeld)
• Infra/Server
• oakcli update -patch 12.1.2.8 --server -local
• De –local optie zorgt er voor dat alleen de node waarop de oakcli wordt uitgevoerd gepatched wordt en eventueel
herstart.
• Mocht er een foutsituatie optreden kan de update herstart worden.
• NOTE: Nooit de update starten op beide nodes tegelijkertijd.
• Na het updaten van de Infra/Server altijd de status van CRS controleren alvorens verder te gaan:
• crsctl check crs
De status ziet er dan als volgt uit:
CRS-4638: Oracle High Availability Services is online
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
• Voer een post-check uit om er zeker van te zijn dat de RPM’s en de kernel zijn aangepast:
• oakcli update -patch 12.1.2.8 --verify

30. BEHEER
• Patchen (Voorbeeld logfile Infra/Server patch)
INFO: Local patch is running on the Node <0>
INFO: ***************************************************
INFO: ** Please do not patch both nodes simultaneously **
INFO: ***************************************************
INFO: DB, ASM, Clusterware may be stopped during the patch if required
INFO: Local Node may get rebooted automatically during the patch if necessary
Do you want to continue: [Y/N]?: Y
INFO: User has confirmed for the reboot
INFO: 2017-04-08 01:24:15: Checking for minimum compatible version
SUCCESS: 2017-04-08 01:24:15: Minimum compatible version check passed
INFO: 2017-04-08 01:24:15: Checking for Snapshot
INFO: 2017-04-08 01:24:16: Logical volume do not exist
INFO: 2017-04-08 01:24:16: Checking available free space on /u01
INFO: 2017-04-08 01:24:16: Free space on /u01 is 109046552 1K-blocks
SUCCESS: 2017-04-08 01:24:16: Check for available free space passed
…….
INFO: patching summary on local node
SUCCESS: 2017-04-08 01:34:21: Successfully upgraded the OS
INFO: 2017-04-08 01:34:21: IPMI is already upgraded
INFO: 2017-04-08 01:34:21: HMP is already updated
SUCCESS: 2017-04-08 01:34:21: Successfully updated the OAK
SUCCESS: 2017-04-08 01:34:21: Successfully updated the JDK
INFO: Running post-install scripts
INFO: Running postpatch on local node
INFO: Some of the patched components require node reboot. Rebooting the nodes
INFO: Executing /tmp/pending_actions on local node
INFO: Node will reboot now.
INFO: Please check reboot progress via ILOM interface
INFO: This session may appear to hang, press ENTER after reboot

31. BEHEER
• Patchen (Voorbeeld)
• Grid Infrastructure (12.1.2.6)
• oakcli update -patch 12.1.2.6 --gi
• De Grid Infrastructure wordt op beide nodes parallel uitgevoerd.
• Na het updaten van de GI altijd de status van CRS controleren alvorens verder te gaan:
• crsctl check crs
De status ziet er dan als volgt uit:
CRS-4638: Oracle High Availability Services is online
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online

32. BEHEER
• Patchen (Voorbeeld)
• Storage (12.1.2.8)
• oakcli update -patch 12.1.2.8 --storage
• Storage patch kent geen –local optie.
• Patch moet gestart worden vanaf node 1, daarna wordt node 2 gepatched.
• Beide nodes worden herstart.
• Na het updaten van de storage ook weer de status van CRS controleren alvorens verder te gaan:
• crsctl check crs
De status ziet er dan als volgt uit:
CRS-4638: Oracle High Availability Services is online
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online

33. BEHEER
• Patchen (Voorbeeld)
• Database (12.1.2.8)
• oakcli update -patch 12.1.2.8 --database
• Standby databases worden automatisch overgeslagen tijdens het patchen van de databases.
• Tijdens het patchen kan de gebruiker een selectie maken van de homes die gepatched moeten worden.
• Met de volgende commando’s kan gecontroleerd worden of het patchen is gelukt:
oakcli show databases -detail
of
oakcli show dhomes -detail

34. BEHEER
• Patchen Virtualized ODA
• Extra stappen bij een virtualized omgeving:
• Patchen vanaf de ODA_BASE
• Stop alle draaiende VM’s
• oakcli show vm
• oakcli stop vm [vm_name]
• Stop de repositories
• oakcli show repo
• oakcli stop repo [shared_repo_name]
• In sommige gevallen worden de VM’s en de repo’s automatisch gestopt, in 12.1.2.10 doet de server patch dit wel,
de storage patch weer niet.

35. BEHEER
• Patchen
• Na het afronden van het patchen altijd een controle uitvoeren op de versie nummers:
• oakcli show version –detail
[root@odadbsandta02 ~]# oakcli show version -detail
Reading the metadata. It takes a while...
System Version Component Name Installed Version Supported Version
-------------- --------------- ------------------ -----------------
12.1.2.10.0
Controller_INT 4.230.40-3739 Up-to-date
Controller_EXT 10.00.00.00 Up-to-date
Expander 0018 Up-to-date
SSD_SHARED {
[ c1d20,c1d21,c1d22, A29A Up-to-date
c1d23 ]
[ c1d16,c1d17,c1d18, A29A Up-to-date
c1d19 ]
}
HDD_LOCAL A72A Up-to-date
HDD_SHARED PAG1 Up-to-date
ILOM 3.2.8.24 r114580 Up-to-date
BIOS 30100400 Up-to-date
IPMI 1.8.12.4 Up-to-date
HMP 2.3.5.2.8 Up-to-date
OAK 12.1.2.10.0 Up-to-date
OL 6.8 Up-to-date
OVM 3.2.11 Up-to-date
GI_HOME 12.1.0.2.170117(2473 Up-to-date
2082,24828633)
DB_HOME 12.1.0.2.170117(2473 Up-to-date
2082,24828633)

36. BEHEER
• Patchen
• Wat gebeurt er allemaal onder water tijdens het patchen:
• Infra/server updates
• BIOS
• ILOM
• Firmware update op alle disks
• OVM (Server / Dom0)
• Grid Infrastructure
• CRS
• ASM
• ODA Base
• Database PSU
• Oracle Home
• Databases (behalve de physical standby databases)

37. BEHEER
• Patchen
• Mogelijke valkuilen
• ODA met initial install versie 12.1.2.5.0
• /boot slechts 100MB groot
• Om naar de laatste release te kunnen patchen moet ook 12.1.2.6.0 applied worden, dus meerdere kernels in /boot
• Hierdoor loopt /boot vol en kan de machine na het apply-en van de infra patch niet meer booten.
• Zorg voor minimaal 50MB vrije ruimte in /root voor het apply-en van een patch.
• User root moet eigenaar zijn van de .zip files voordat de patch in de repository geladen kan worden.
• Opvallend vaak worden toch beide nodes herstart, in hoeverre zijn de patches echt ‘rolling’

38. BEHEER
• Patchen
• Mogelijke valkuilen
• Gebruik van de multi threading optie in de database.
• De patch utility wil aan de database connecten met ‘sqlplus / as sysdba’.
Deze manier van connecten werkt niet meer als multi threading aanstaan in de database, patch loopt fout.
• Schakel voor het patchen van de database multi threading uit.
SQL> alter system set threaded_execution = FALSE scope=spfile;
• Herstart de database
• Schakel SEPS (Secure External Password Store) uit als dit gebruikt wordt.
• In SQLNET.ORA:
SQLNET.WALLET_OVERRIDE=FALSE

39. BEHEER
• Patchen
• Backup en disaster recovery.
• Voor de database is Data Guard een prima optie
• ODA VP en ODA_BASE
• In de praktijk toch vaak een rebuild van de ODA
• VM’s die draaien in een ODA VP
• Host level backup in de VM
• Oakcli online snapshots

40. BEHEER
• Integrated Lights Out Management (ILOM)
• Oracle ILOM is system management firmware embedded in de service processor (SP).
• Hardware:
• Embedded service processor (SP) chipset monitored de status en configuratie van componenten zoals fans, storage drives,
en power supplies.
• Twee externe connecties: NET MGT port Ethernet connectie end SER MGT port RJ-45 serial management connection.
• Interfaces:
• Web browser interface
• SSH command-line interface (CLI)
• SNMP v3 interface

41. BEHEER
• Integrated Lights Out Management (ILOM)
• Web Interface

42. AUTO SERVICE REQUEST

43. BEHEER
• ODA plugin voor Cloud Control
• Geeft een aantal oakcli mogelijkheden grafisch weer
• Zichtbaar als extra menu optie in Oracle Cloud Control
• Demo ODA Plugin

44. BEHEER
• Backup en Recovery Best Practices
• Standaard oplossingen backups naar local storage, NFS of tape voor de database(s)
• Recovery Manager (RMAN)
• Backup, restore en recovery via standaard RMAN commando’s
• Voor RAC kan RMAN backup operaties parallel uitvoeren over beide nodes.
Op die manier worden resources beter verdeelt over de hele ODA. (netwerk, disks en CPU’s)
• RMAN block change tracking
• Oracle Secure Backup
• Complete oplossing voor file systemen en Oracle databases
• RMAN integratie

45. BEHEER
• Backup en Recovery Amis Beheer
• Oracle recommended backup
• Dag 1, start met een level 0 image copy
• Bij recovery kunnen de archivelogs van dag 1 gebruikt worden om tot elk willekeurig tijdstip te recoveren
• Dag 2, differential incremental 1
• Bij recovery, apply incremental 1 over de level 0 backup naar het begin van dag 2, archivelog van dag 2 om naar elk
willekeurig tijdstip van dag 2 te recoveren
• Vanaf dag 3
• Rman applied de incremental 1 van dag n-1 over de level 0 backup. Hierdoor komen alle datafiles in een status als op dag n-
1, daarna weer de archivelogs gebruiken om te recoveren naar het gewenste tijdstip.
• Andere mogelijkheden
• Flashback database
• Flashback query

46. BEHEER
• VM backup
• Alle VM’s in local- of shared repositories inclusief de ODA_BASE, kunnen in principe met Linux tools gekopieerd
worden. Dit kan alleen offline.
• Oracle adviseert om VM’s op shared repositories op te slaan ivm failover mogelijkheden VM’s
• Snap-copies:
• Er bestaat ook de mogelijkheid om online snaps te maken van een VM
• oakcli clone vm tent01-snap -vm tent01 -snap –force
• VM restore
• Als een VM stuk raakt, hoef je alleen maar de files behorend bij deze VM terug te kopieeren naar hun
oorspronkelijke plek.
• Oracle note: 1633166.1 bevat uitgebreide info mbt restoren Vm’s

47. BEHEER
• Virtual Machines
• Na deployen van ODA Virtualized Platform zijn er 2 domeinen op elke node:
Dom0 en ODA_BASE (ook wel dom1) genoemd.

48. BEHEER
• Virtual Machines
• Oracle adviseert om shared repositories te gebruiken
• Shared repositories bieden HA support
• Een VM kan geconfigureerd worden om te switchen naar
andere node in een foutsituatie. Of een VM kan auto starten
op de failover node als de preferred node niet beschikbaar is.

49. BEHEER
• Virtual Machines
• Aanmaken shared repository
• oakcli create repo [repo_name] –size [nnn] [M|G] -dg DATA|RECO
• Na het aanmaken start je de repo met oakcli start repo [repo_name] [-node node_number]
• Nooit een repo stoppen terwijl een VM in deze repo nog online is
• Aanmaken VM
• Importeren van een virtual machine templates uit een externe repository assembly file, bijvoorbeeld:
oakcli import vmtemplate [template_name] – assembly ‘url naar ova file’ –
repo [repo_naam] –node [node_num]
• Een assembly file kan meerdere VM templates bevatten.
• Aanmaken VM: oakcli clone vm [vm_name] –vmtemplate [template_naam] – repo
[repo_naaam] –node [node_num]

50. BEHEER
• Virtual Machines
• Configureer VM
• Configureren met: oakcli configure vm
Hiermee kun je middels de –prefnode en –failover clause aangeven op welke node de VM moet draaien, en of failover aktief
moet zijn.
Andere settings zijn:
- vcpu, -cpuprio, -cpucap, -memory, enz (Check Oracle Support notes voor alle opties)
• Door het gebruik van bovenstaand commando worden de defaults overschreven.
• Deze parameter settings zijn terug te vinden in de vm.cfg, deze staat in:
/u01/app/sharedrepo/sharedrepo/.ACFS/snaps/[vm_naam]/VirtualMachines/[vm_naam]
• Aanmaken virtual disk(s)
• oakcli create vdisk [disk_naam] –repo [repo_naam] –size [nn]G –type shared
• Voeg een virtual disk toe aan een VM
• oakcli modify vm [vm_naam] –attachvdisk [disk_naam]

51. VOOR- EN NADELEN
• Levert een ODA besparing van DBA uren op?
• Absoluut niet, een ODA blijft een Linux systeem met daarop een database.
• Wat zijn dan de voordelen?
• Eenvoudige installatie
• DBA kan de volledige installatie/setup uitvoeren, geen systeem- of netwerkbeheerders nodig.
• Alle vervelende hardware, OS en netwerk zaken zijn al klaar. DBA kan direkt aan de slag.
• Na de installatie van de database(s) komen de echte skills van de DBA aan de orde:
• Migreren van data
• Inregelen, testen en monitoren van backup en recovery procedures
• Security inregelen
• Performance bottlenecks onderzoeken en oplossen
• Eventuele applicatie specifieke issues onderzoeken en oplossen

52. VOOR- EN NADELEN
• Top to bottom Database server support van Oracle.
• Voorheen : Support geeft aan dat het om een hardware issue gaat.
En het wordt nog veel leuker als de hardware leverancier aangeeft dat het aan Oracle ligt.
• Met een ODA levert Oracle support op de volledige ODA hardware- en software stack.
• Scalablity
• Start met een klein aantal CPU’s en breid uit indien nodig. (pay as you grow)
• Geen noodzaak om de server te openen of te vervangen als er meer CPU resources nodig blijken te zijn.
• Eenvoudigere opstap naar een 2-node Real Application Cluster (RAC)
• Het installeren/configureren van de cluster onderlaag is vaak een uitdaging.
• Bij een ODA is de infrastructuur al gereed.
• Beheer VM’s is eenvoudiger dan op Oracle VM Server
• Online snapshots van de VM’s
• Naamgeving en structuur directories, indeling is directory based

53. VOOR- EN NADELEN
• Samenvattend,
• Is een ODA “self-managing”?
• Nee, Oracle 10 zou ook al “self-managing” zijn, maar is ook niet echt uit de verf gekomen.
• Is een ODA “self-supporting”?
• Deels, als er iets mis is wordt er contact opgenomen met het ‘thuisfront’, maar dat neemt niet de DBA taken weg bij support
issues.
• Blijft een DBA noodzakelijk?
• Uiteraard, het blijft een database op een Linux server.

54. VOOR- EN NADELEN
• Nadelen
• ODA is een gestandaardiseerde oplossing, dat levert vaak restricties op.
• Alleen Oracle Linux is een certified OS voor de ODA.
• (In een Oracle VM kan elke ander OS gebruikt worden)
• Database Standard Edition of Standard Edition One kan alleen in een Oracle VM draaien.
• ODA is geen mini-exadata
• Geen features zoals Smart Scan, Storage Indexes, Hybrid Columnar Compression etc.
• Geen mogelijkheden om fiber optic HBA’s, of welke andere controller dan ook toe te voegen.
• Naast 1 extra storage shelf kun je geen extra storage toe voegen
• Enige mogelijkheid is het mounten van een NFS share
• Geen out-of-the-box backup oplossing
• Een RAC blijft beperkt tot de 2 nodes van 1 ODA

55. Vragen?