Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Alojz Androvič - Centrálny dátový archív v roku 1

1,711 views

Published on

Prezentace přináší přehled historie slovenského projektu Centrálneho dátového archívu (CDA), technického zabezpečení, přijímaných formátech, logistickém zabezpečení přenosu dat i plánovaném rozvoji CDA.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Alojz Androvič - Centrálny dátový archív v roku 1

  1. 1. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk Centrálny dátový archív v roku 1  Ing. Alojz Androvič PhD., Mgr. Lenka Bazalová, Mgr. Helena  Boskovičová, Mgr. Ivan Ciglan, Ing. Ondrej Kádár, Mgr. Lucia  Kelemenová, Ing. Roman Král, Ing. Stanislav Lichý, Mgr. Peter  Lupták, Mgr. Ivan Martynek, Ing. Milan Rakús, Ing. Juraj  Strnisko, Ing. Alena Špániková, Mgr. Bibiána Žigová.
  2. 2. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk Operačný program IS   • Príprava 2007 OPIS – 2011 reštart • Realizácia 2012 ‐ 2014 • V rámci projektu sa vybuduje centrálny  dátový archív, ktorý musí v zmysle  medzinárodných bezpečnostných  štandardov zabezpečiť uloženie minimálne  3 najhodnotnejších kópií digitálnych  objektov na minimálne 2 lokalitách, ktoré  nesmú byť od seba vzdialené bližšie ako 50  km. Lokality budú dve: Univerzitná knižnica v Bratislave (primárny sklad) a  sklad  (sekundárny), ktorý bude zriadený v  prenajatých priestoroch. Obidve lokality  budú vybavené hardvérom a softvérom a  navzájom zosieťované. Celý systém bude  mať zároveň zabezpečený servis. • OPIS 188 mil. € – 7 DP + 3 NP projekty • CDA    33 mil €
  3. 3. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Východiská  • Rámec – OAIS ISO 14721:2014 – TRAC ISO 16363:2013 • Metodiky OPIS – 01, 03 riadenie, SMIB – 17, 18 LTP, identifikácia • Požiadavky – Systémové (20kap.): 142 – Kapacitné: 25 PB+150 TB NP KO TB TB/7 NP 1 SNK 2 800 000 17 000 93 NP 2 SNG 110 000 500 2 NP 3 SNP 200 000 3 500 30 NP 4 PÚ SR 3 000 500 2 NP 5 SFÚ 60 000 4 000 20 Spolu 3 173 000  25 000 147 0,00 5000,00 10000,00 15000,00 20000,00 25000,00 30000,00 01.2012 04.2012 07.2012 10.2012 01.2013 04.2013 07.2013 10.2013 01.2014 04.2014 07.2014 10.2014 01.2015 04.2015 07.2015 10.2015 DP6 * NP10 NP5 NP4 NP3 NP2 NP1
  4. 4. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Design • Redundancia – Lokalitná (A + B + C) – Technologická >>> • Komponenty – Servery • IBM Power 770 / 48 proc. • HP DL 320, 360, 380 (11) – Diskové polia • IBM v 7000 (170 TB) – Pásková technológia  • IBM 3584 25 PB (2 rob. + 12  drive) • IBM 3500 LTO5 (10) LTO6 (4)  
  5. 5. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Network • LAN – Core switch HP 10504 – Firewall HP JG 213A – Router HP JG 311A • SAN (opt. Switch) – IBM 80B‐4 – IBM 24B • WAN – SANET 2x1 Gbit fibre
  6. 6. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Software  • Operačné prostredie – AIX, RedHat, Windows • Systémový SW (IBM) – LTFS, GPFS, HSM, TSM  • Aplikačný SW (Tempest) – CDA Aplikačný server – CDA Databázový server – CDA System Directory – CDA Impex (JAVA) – CDA Framework • Deployment diagram
  7. 7. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Zdroje údajov • Dohoda o vklade – Volumetria (odhad) • Vklad/výber: SIP, DIP • Veľkosť SIP: max., min. • Objem: celkom, týždeň – Profil vkladateľa • PUID‐MIME‐ext. – Certifikáty • garanti • autentifikácia (prístupy) • autorizácia (balíky)  • Určené spoločenstvo  CD A 25 PB Digitál ne múzeu m Digitál na knižnic a a archív Digitálna audiovízi a Digitál na galéria Digitálny pamiatkov ý fond Dokumentačno- informačné centrum rómskej kultúry Dopytové projekty Alternatívn e zdroje PUID MIME Názov fmt/43 image/jpeg JPEG FIF  v1.01 fmt/96 text/html Hypertext Markup x‐fmt/111 text/plain Plain text
  8. 8. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Formáty údajov • Profily • PFI (identita, komunikácia)  • Ingest (formáty, procedúry) • Disseminácia (konverzie,..) • Ingest Profil:  • <pfiprofile curator="PUR" type="INGEST"  id="PUR_1"> <properties> <property name="metsSignatureVerify"/> <property value= "fmt/11,fmt/12,fmt/13, fmt/17,fmt/18,  fmt/19,fmt/20,fmt/41, fmt/43,fmt/44,fmt/93,  fmt/94,fmt/95,fmt/101,fmt/111,fmt/154,  fmt/156,fmt/208,fmt/276,fmt/353,x‐fmt/18,x‐ fmt/76,x‐fmt/111,x‐fmt/263,"  name="allowedFormat.list"/> • Formáty údajov 
  9. 9. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Balíky údajov • METS • SIP AIP DIP • BagIt • Zip • Tar • AIP (SFU_01)
  10. 10. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Transport údajov • Ingest LTO, HDD, online • Synchronizácia JAG • Disseminácia LTO 5,  online • Pásky – LTO5 1,5 TB (140 MBit/s)  – LTO6 2,5 TB (160 MBit/s) – Jaguar 4 TB (250 MBit/s) • Disky  – HDD 4TB (160 MBit/s) • Online – Webdav (5T/24 hod.) 
  11. 11. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Správa médií • Organizácia médií – Ingest LTO 5, 6 (LTFS) – Archív A, B (JAG/TSM) – Archív C (JAG/LTFS) – Synchro (JAG/LTFS)       Tue Nov 24 08:00:03 CET 2015 pocet volnych SYNC pasok je 100 pocet volnych C pasok je  45 pocet volnych LTO pasok je 19 Volne miesto v /impexfs 33 TB Pocet pasok v  mediacache jimpex‐lto 4 Pocet pasok v  mediacache jimpex‐jagarch 0 Pocet pasok v  mediacache jimpex‐jagsync 1   • Páskový kolotoč Magnetické pásky LTO5, LTO6, pevné disky, online vklad DC pásky DA/DB pásky LF pásky Trezor – lokalita C Pásková knižnica Do druhej lokality na synchronizáciu Po spracovaní naformátovať a poslať späť do PFI DA/DB pásky Po spracovaní naformátovať a zadať znova na nové načítanie dát Rozdelenie magnetických pások v systéme CDA: LTO5 – vklad, diseminácia LTO6 – vklad, LF – synchronizačné, DC – archivačné DA, DB, DC
  12. 12. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Logistika médií • CDA Modul Logistika – Transport • 3 lokality (A,B,C) • 4 typy offline médií (LTO5,  LTO6, JAG, HDD) – Kampane • 2 lokality (A,B) – Označenie • B‐SNP‐LTO5‐20141211‐0915 • B‐SNG‐ONL‐20141007‐1045 • A‐B‐JAG‐20141220‐0800 • Objednávka prepravy
  13. 13. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Procesy ‐ Ingest • Ingest Príjem a spracovanie údajov (Ingescia) je podproces, ktorý  zvaliduje vstupný Informačný Balík  na vklad, zaeviduje Informačný Balík  na vklad ako prijatý od žiadateľa o  vklad, vytvorí na jeho základe  Informačný Balík pre Archiváciu, k  nemu Popisné údaje, AIP uloží do  úložného priestoru pre archiváciu,  Popisné údaje do úložného priestoru  pre rýchly prístup, a podľa potreby  vytvorí kópiu AIP určenú pre záložnú  CDA lokalitu (CDA‐C).
  14. 14. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Procesy ‐ Validácia • Quality Assurance (OAIS) • kontrola kompletnosti súboru (súborov) SIP  • rozbalenie adresárovej štruktúry zo súboru (súborov) SIP do  pripraveného pracovného adresára • overenie digitálneho podpisu súboru obsahujúceho  metadátakontrola správnosti súboru obsahujúceho metadáta • kontrola, či názov koreňového adresára zodpovedá identifikátoru  SIPID • kontrola, či poskytnuté metadáta PDI, zodpovedajú formátu  dohodnutému s príslušným PFI (validácia voči XSD) • kontrola, či metadáta referencujú všetky dodané digitálne objekty  (dátové súbory) • kontrola, či podľa Informácie o prístupových právach, má CDA  deklarované dostatočné práva na zamýšľanú manipuláciu s obsahom • kontrola úplnosti jednotlivých rozbalených súborov ‐ checksum, ak  boli dodané kontrolné kódy • overenie digitálneho podpisu pre jednotlivé súbory (ak je dodaný) • antivírová kontrola súborov • iné kontroly podľa špecifík Dohody o zverení obsahu na dlhodobú  archiváciu.
  15. 15. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Pocesy ‐ Disseminácia • Objednávka  • Disseminácia
  16. 16. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Používateľské rozhranie • Katalóg • Objednávka na vklad • Objednávka na výber • User management
  17. 17. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Operačné rozhranie • Správa úloh  • Manažment médií
  18. 18. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Organizácia • Úsek elektronizácie – Odbor CDA (12) BA+MT • Odd. informačných  technológií  • Odd. informačných  systémov • Odd. informačných  procesov – Externé kapacity • Služby podpory  (2 FTE) • Experti  (1 FTE/4) • Organizačná štruktúra
  19. 19. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Certifikácia • ISO 16363 – 2014 Interný audit – 2015 DRAMBORA – 2016 ? • ISO 27001 – 2014  – 2015 recertifikácia – 2016 ...
  20. 20. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk cda.kultury.sk • Monitoring A, B – Denný  • Ingest • Disseminácia • Synchronizácia – Kumulatívny • Počet SIP     > 1 500 000 • Počet SIP / PFI • Objem dát  > 2 700  TB • Objem dát / PFI
  21. 21. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Udržateľnosť 2015 ‐ 2020 • Služby podpory                 „Celý systém bude mať  zároveň zabezpečený  servis.“ – 1 650 000 € / rok • 750 000 € SW licencie • 650 000 € HW 24x7 • 250 000 € apl. podpora  • Investičná obnova 15% – 2 500 000  € / rok • 2014: 4 649 152 • 2015: 7 205 291 • 2016: 9 576 119 (+ 5 096 000) 2013 2014 2015 2016 2017 CDA 0 0 3067086 5096000 5107307 UKB 4261750 4649152 4138205 4480119 4516948 0 2000000 4000000 6000000 8000000 10000000 12000000 Název osy Rozpočet UKB 2013 ‐ 2017
  22. 22. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPIS je spolufinancovaný z ERDF www.opis.culture.gov.sk You are welcome ! • alojz.androvic,  lenka.bazalova,   helena.boskovicova,   ivan.ciglan, ondrej.kadar,  lucia.kelemenova,  roman.kral, stanislav.lichy,  peter.luptak, ivan.martynek,  milan.rakus,  juraj.strnisko,  alena.spanikova,   bibiana.zigova • @ulib.sk

×