Daos
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

Daos

on

  • 32,803 views

Slides from my presentation on DAOS held at AdminCamp 2009, 28.09.2009, Gelsenkirchen, Germany. Presentation is in German language.

Slides from my presentation on DAOS held at AdminCamp 2009, 28.09.2009, Gelsenkirchen, Germany. Presentation is in German language.

Statistics

Views

Total Views
32,803
Views on SlideShare
32,391
Embed Views
412

Actions

Likes
0
Downloads
103
Comments
0

3 Embeds 412

http://www.eknori.de 405
http://www.slideshare.net 6
http://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Daos Presentation Transcript

  • 1. DAOS Ulrich Krause AdminCamp 2009, Maritim Hotel, Gelsenkirchen
  • 2. Über mich
    • Ulrich Krause
    • Lotus Notes / Domino seit 1993
    • Initiator, Manager, Entwickler OpenNTF Projekt !!HELP!!
    • Entwickler
    • Administrator
    • Moderator atnotes.de Forum
    • Blog http://www.eknori.de
  • 3. Ein Hinweis vorweg In dieser Präsentation wird teilweise auf eine noch nicht veröffentlichte Version von Notes /Domino verwiesen. Für diese Teile der Präsentation gilt Folgendes: IBM Lotus Notes/Domino and Lotus Notes Traveler 8.5.1 is prerelease software and there are no guarantees from IBM that the functionality presented will be in the final shipping product.
  • 4. Ausgangssituation
    • Es wird immer mehr (teurer) Speicherplatz benötigt
    • Die durchschnittliche Datenbankgröße steigt immer weiter an
    • Anhänge sind n- fach vorhanden / Redundanzen
    • Standard Tasks dauern immer länger
    • Backup ist nicht mehr in einem vernünftigen Zeitrahmen durchzuführen
    • Netzwerklast steigt an.
    • I/O beeinträchtigt Performance
  • 5. Das Ziel
    • Effektivere Nutzung des vorhandenen Speicherplatzes
    • Reduzierung der Datenbankgröße
    • Vermeiden von Redundanzen
    • Beschleunigung von Standard Tasks
    • Backupzeiten wieder im vertretbaren Rahmen
    • Reduzierung der im Netzwerk übertagenen Datenmenge
    • Reduzierung von Festplatten I/O
  • 6. Aufbau einer Datenbank ( vereinfacht )
    • Design
    • Dokumente
      • Textbestandteil
      • Anhänge
      • Eingebettete Objekte
    Design Text Anhänge
  • 7. Design Note Compression
  • 8. Design Note Compression
    • Neu in Domino 8
    • Benötigt ODS 48 oder grösser
      • Create_R8_Databases=1 in notes.ini
      • bzw. Create_R85_Databases=1
      • compact -c
      • compact -c –n
    • Reduzierung des Designs um 30 – 50 %
      • lt. IBM 55 – 60 %
    • Reduzierung von I/O
  • 9. Design Note Compression DEMO
  • 10. Design Note Compression load compact –c –n db
  • 11. Design Note Compression Design Text Anhänge Design Text Anhänge
  • 12. Document Body Compression
  • 13. Document Body Compression
    • Ab Notes / Domino 8.0.1
    • Reduziert Rich Text um bis zu 60%
    • Benötigt ODS 48 oder grösser
      • compact -c –v
    • Check „Compress document data“
  • 14. Document Body Compression DEMO
  • 15. Document Body Compression load compact –c –v db
  • 16. Document Body Compression Design Text Anhänge Design Text Anhänge
  • 17. LZ1 Attachment Compression
  • 18. LZ1 Attachment Compression
  • 19. LZ1 Attachment Compression DEMO
  • 20. LZ1 Attachment Compression load compact –c –ZU db
  • 21. LZ1 Attachment Compression Design Text Anhänge Design Text Anhänge
  • 22. DAOS Estimator
  • 23. DAOS Estimator
    • Tool zur Planung des DAOS Rollouts
    • Erkennt identische Attachments auch in mehreren Datenbanken
    • Download: http://www-01.ibm.com/support/docview.wss?rs=463&uid=swg24021920
  • 24. LZ1 != HUFFMAN
    • Db1 – LZ1 enabled
    • Db2 – LZ1 disabled
    • DAOS erzeugt 2 .NLO Files !!
  • 25. DAOS
  • 26. DAOS
    • D omino A ttachment O bject S ervice
    • Anhänge werden aus einer Datenbank ausgelagert
    • Anhänge werden im Dateisystem als NLO ( N otes L arge O bject )gespeichert
    • Dokument enthält nur noch einen Verweis (Ticket) auf den Anhang
    • Trennung von statischen und dynamischen Daten
    • Nur eine Kopie von bit-identischen Anhängen
    • Transparent für Anwender und 3rd-Party Produkte
  • 27. Voraussetzungen
    • Domino 8.5 ( ODS 51)
    • SHARED MAIL abschalten
    • Transaktionsprotokollierung aktivieren
    • DAOS Repository erstellen
    • DAOS auf dem Server aktivieren
    • DAOS in Datenbankeigenschaften aktivieren
  • 28. Shared Mail abschalten
    • Serverdokument – Shared Mail
    • Feld Shared Mail = None
    • „ Load object unlink shared.nsf“
  • 29. Transaktionsprotokollierung aktivieren
    • Serverdokument – Transactional Logging
    • Für DAOS zwingend erforderlich
    • Separates Laufwerk empfohlen
    • Verzeichnis erstellen
    • Methode wählen
      • Circular
        • 4GB Begrenzung
      • Archive
        • Keine Größenbeschränkung, Löschen wird von Backup-Software übernommen
      • Linear
        • Wie Circular, keine Größenbeschränkung
    • Server neu starten
  • 30. DAOS – Repository erstellen
    • Separates Laufwerk verwenden
    • SAN, NAS
    • Jeder Server hat sein eigenes Repository
      • .NLO werden mit ServerID verschlüsselt
        • DAOS_ENCRYPT_NLO=0
      • Max. 1.000 Verzeichnisse
      • Max 40.000 .NLO / Verzeichnis
      • = 40.000.000 .NLOs
      • Daos.cfg ( in Domino Data Directory)
      • Daoscat.nsf
    • Backup des Repository einplanen!
  • 31. DAOS auf Server aktivieren
    • Serverdokument – DAOS
    • Minimale Grösse entragen
      • DEFAULT 4kB, empfohlen 64kB (= DEFAULT in 8.5.1 )
      • Besten Wert mit DAOS Estimator emitteln
    • Pfad zu DAOS Repository eintragen
    • Wann sollen Objekte im Repository gelöscht werden?
      • Abhängig vom Backup
      • 0 Days = sofort löschen, wenn letzte Referenz auf Objekt gelöscht wird
      • Manuell: TELL DAOSMGR PRUNE 0
    • Server neu starten
      • sh ow server
  • 32. DAOS auf Datenbanken aktivieren
    • Datenbankeigenschaften – „Propeller hat“
    • Admin Client für mehrere Datenbanken
    • Gilt ab Zeitpunkt der Aktivierung!
    • Server Konsole
      • Load compact –c –DAOS ON <PfadDBs>
  • 33. DAOS DEMO
  • 34. Das Ergebnis Design Text Tickets DAOS - Repository Design Text Anhänge
  • 35. Die Transaktions-Protokoll Falle
    • compact –c –daos on
    • Kein Attachment im DAOS Repository
    • tell daosmgr dbsummary  count = 0
  • 36. DAOS und (lokale) Repliken
    • DAOS ist ein Serverfeature!
    • Bei einer neuen lokalen Replik werden auch die Anhänge lokal gespeichert.
    • Auch bei Repliken auf Nicht-DAOS Servern werden die Anhänge in der Replik gespeichert
    • In einem Cluster hat jeder Server sein eigenes DAOS Repository.
  • 37. DAOS und mail.box
    • RM_NO_LOG_OBJECTS_IN_MAILBOX aus notes.ini entfernen.
    • ALLE Mailfiles auf dem Server sollten DAOS unterstützen
    • Performancegewinn, da DAOS nicht n-fach tätig werden muss
  • 38. DAOS und Verschlüsselung
    • Anzahl der NLO Files steigt!
    • User A schreibt eine verschlüsselte Mail mit Anhang an User B
    • User B schickt ebenfalls eine Mail mit dem gleichen Anhang an User A
    •  insgesamt landen 4 NLO Files im Repository
  • 39. DAOS und DDM
    • Wie kann man Ein RESYNC des DAOS Katalogs automatisieren?
    • Zeitgesteuert über Programmdokument
    • Sobald Status !=SYCHRONIZED
    • Ausführliche Beschreibung hier
      • http://www-10.lotus.com/ldd/dominowiki.nsf/dx/daos-how-to-set-up-an-automatic-resynchronization-ddm-event
  • 40. DAOS OFF
    • Was passiert, wenn DAOS deaktiviert wird?
    • 1. in den Datenbankeigenschaften
      • Keine Dokumente mit Anhängen in der Datenbank
      • Es befinden sich Dokumente mit Anhängen in der Datenbank
        • Statuswechsel nach „Schreibgeschützt“
        • DAOS funktioniert für bestehende Einträge weiter; neue Attachments werden in der Datenbank gespeichert.
    • 2. im Serverdokument
      • Wie bei 1.
  • 41. DAOS und fehlende .NLO
    • NLO wurde auf OS Ebene gelöscht
    • TELL DAOSMGR LISTNLO MISSING dbdb1.nsf
      • Output per Default in <datadir>
  • 42. DAOS und fehlende Datenbanken
    • NSF wurde gelöscht ( auf OS Ebene )
    • Meldung beim Start des Servers
      • Informational - The DAOS catalog is not synchronized. Deletions will be postponed. Please run 'tell daosmgr resync' at the next convenient opportunity to re-synchronize.
    • Wurde die Datenbank bewusst gelöscht?
      • Ja
        • TELL DAOSMGR RESYNC oder RESYNC FORCE
      • Nein
        • Datenbank aus Datensicherung wieder herstellen
        • Neue Replik von Clusterserver erzeugen
    • Gleiches gilt beim Verschieben von Datenbanken ( auf OS Ebene )
  • 43. Noch einmal 50% ??
    • Können sich die Server eines Clusters ein DAOS - Repository teilen?
      • offiziell (IBM): NEIN
        • Es wird zwar darüber nachgedacht, aber ob es umgesetzt wird …
      • Inoffiziell (experimentell): JA
        • Bitte NICHT in produktiven Umgebungen einsetzen!!!!!!!!!!!!!!
  • 44. DAOS und Nagios
    • Catalog.Status
    • Repository.Size
    • Plugin
    Christoph Stoettner: Monitoring - Netzwerküberwachung mit Nagios, AC 2009
  • 45. Statistik
    • Macromedia Fusion Charts
    • DOS / Linux
    • Lotus Script
  • 46. Statistik (cont.) Windows: @echo off setlocal for /f &quot;tokens=*&quot; %%a in ('dir/w/s %1 ^|findstr &quot;Datei(en)&quot;') do ( set info=%%a ) echo %info% Linux: find /DAOS -type f | wc –l ( Anzahl Dateien) du -bcs --si `find /test/DAOS -type f ` | grep 'in‘ (Gesamtgrösse der Dateien)
  • 47. DAOS und daos.cfg
    • Enhält Anzahl und Grösse der NLO im DAOS Repository
    • Wird beim Serverstart neu erstellt, wenn gelöscht
    • Wird bei Herunterfahren des Servers aktualisiert
    • NICHT sichern oder zurücksichern!
  • 48. DAOS und daoscat.nsf
    • Enhält Index und Anzahl der NLO
    • Enthält Index aller Datenbanken, die DAOS verwenden
    • KEINE Ansichten
    • Wird bei RESYNC neu erstellt
    • Wird beim Serverstart neu erstellt, wenn gelöscht
    • NICHT sichern oder zurücksichern!
  • 49. DAOS und Admin Client
    • Neue Spalten für DAOS
      • Logische Größe
      • Physische Größe
      • DAOS Status
      • DAOS Anzahl
      • DAOS Größe
    • Neue Spalten für Komprimierung
  • 50. Backup & Restore
    • Keine Änderung der bestehenden Backup Lösung für NSF Files.
    • Ergänzung der Backup Prozedur für NLO Files
    • NLOs benötigen keine spezielle API für das Backup, da readonly
    • WICHTIG : Die Reihenfolge
      • Server läuft während des Backup
        • NSF vor NLO
      • Server ist während des Backup down
        • NSF und NLO in beliebiger Reihenfolge
    • IBM Technote # 1358548 - DAOS Backup and Restore { Link }
  • 51. DAOS – Was kommt noch?
    • Einbeziehung des Replikators
      • Client  Server ( 8.5.1 )
        • „ bekannte“ Attachments werden nicht repliziert („Smart Replication“ )
          • Maildatei, mail.box, autosave.nsf  ODS51
        • Weiterleiten von Mails
        • Antwort mit Historie
        • Show stat DAOS
      • Server  Server ( 8.5.1 )
        • „ bekannte“ Attachments werden nicht repliziert
    • Berücksichtigung des „Alters“ des Anhangs / der NLO Datei
      • < = 5 Tage auf schnellen lokalen Medien
      • > Verlagerung auf langsamere Medien
    • Feature Request : ein Repository pro Domain / Cluster
  • 52. DAOS und Replikation
    • Domino 8.5
    • Domino 8.5.1
    • Achtung : ADMINP_ACCELERATED_REPLICA_OVERRIDE=4 !!
  • 53. DAOS und Replikation (cont.)
  • 54. Lesenswertes DAOS Wiki http://www-10.lotus.com/ldd/dominowiki.nsf/archive?openview&title=DAOS&type=cat&cat=null&tag=DAOS DAOS Backup and Restore http://www-10.lotus.com/ldd/dominowiki.nsf/dx/daosbackup-and-restore DAOS Estimator http://www.ibm.com/support/docview.wss?rs=463&uid=swg24021920 DAOS Technical Overview http://www.nelotus.org/A55CBA/nelotus.nsf/87fde291d7608ada852564c9006eeba5/b6523e7f4b15585b862575b5004d3488/$FILE/DAOSTechnicalOverview_NELotus.pdf
  • 55. Fragen??
  • 56. Vielen Dank!! … für Ihre Aufmerksamkeit … für das Ausfüllen des Bewertungsbogens