Download to read offline
Alojz Androvič - Centrálny dátový archív v roku 1
- 1. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk Centrálny dátový archív v roku 1 Ing. Alojz Androvič PhD., Mgr. Lenka Bazalová, Mgr. Helena Boskovičová, Mgr. Ivan Ciglan, Ing. Ondrej Kádár, Mgr. Lucia Kelemenová, Ing. Roman Král, Ing. Stanislav Lichý, Mgr. Peter Lupták, Mgr. Ivan Martynek, Ing. Milan Rakús, Ing. Juraj Strnisko, Ing. Alena Špániková, Mgr. Bibiána Žigová.
- 2. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk Operačný program IS • Príprava 2007 OPIS – 2011 reštart • Realizácia 2012 ‐ 2014 • V rámci projektu sa vybuduje centrálny dátový archív, ktorý musí v zmysle medzinárodných bezpečnostných štandardov zabezpečiť uloženie minimálne 3 najhodnotnejších kópií digitálnych objektov na minimálne 2 lokalitách, ktoré nesmú byť od seba vzdialené bližšie ako 50 km. Lokality budú dve: Univerzitná knižnica v Bratislave (primárny sklad) a sklad (sekundárny), ktorý bude zriadený v prenajatých priestoroch. Obidve lokality budú vybavené hardvérom a softvérom a navzájom zosieťované. Celý systém bude mať zároveň zabezpečený servis. • OPIS 188 mil. € – 7 DP + 3 NP projekty • CDA 33 mil €
- 3. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Východiská • Rámec – OAIS ISO 14721:2014 – TRAC ISO 16363:2013 • Metodiky OPIS – 01, 03 riadenie, SMIB – 17, 18 LTP, identifikácia • Požiadavky – Systémové (20kap.): 142 – Kapacitné: 25 PB+150 TB NP KO TB TB/7 NP 1 SNK 2 800 000 17 000 93 NP 2 SNG 110 000 500 2 NP 3 SNP 200 000 3 500 30 NP 4 PÚ SR 3 000 500 2 NP 5 SFÚ 60 000 4 000 20 Spolu 3 173 000 25 000 147 0,00 5000,00 10000,00 15000,00 20000,00 25000,00 30000,00 01.2012 04.2012 07.2012 10.2012 01.2013 04.2013 07.2013 10.2013 01.2014 04.2014 07.2014 10.2014 01.2015 04.2015 07.2015 10.2015 DP6 * NP10 NP5 NP4 NP3 NP2 NP1
- 4. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Design • Redundancia – Lokalitná (A + B + C) – Technologická >>> • Komponenty – Servery • IBM Power 770 / 48 proc. • HP DL 320, 360, 380 (11) – Diskové polia • IBM v 7000 (170 TB) – Pásková technológia • IBM 3584 25 PB (2 rob. + 12 drive) • IBM 3500 LTO5 (10) LTO6 (4)
- 5. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Network • LAN – Core switch HP 10504 – Firewall HP JG 213A – Router HP JG 311A • SAN (opt. Switch) – IBM 80B‐4 – IBM 24B • WAN – SANET 2x1 Gbit fibre
- 6. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Software • Operačné prostredie – AIX, RedHat, Windows • Systémový SW (IBM) – LTFS, GPFS, HSM, TSM • Aplikačný SW (Tempest) – CDA Aplikačný server – CDA Databázový server – CDA System Directory – CDA Impex (JAVA) – CDA Framework • Deployment diagram
- 7. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Zdroje údajov • Dohoda o vklade – Volumetria (odhad) • Vklad/výber: SIP, DIP • Veľkosť SIP: max., min. • Objem: celkom, týždeň – Profil vkladateľa • PUID‐MIME‐ext. – Certifikáty • garanti • autentifikácia (prístupy) • autorizácia (balíky) • Určené spoločenstvo CD A 25 PB Digitál ne múzeu m Digitál na knižnic a a archív Digitálna audiovízi a Digitál na galéria Digitálny pamiatkov ý fond Dokumentačno- informačné centrum rómskej kultúry Dopytové projekty Alternatívn e zdroje PUID MIME Názov fmt/43 image/jpeg JPEG FIF v1.01 fmt/96 text/html Hypertext Markup x‐fmt/111 text/plain Plain text
- 8. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Formáty údajov • Profily • PFI (identita, komunikácia) • Ingest (formáty, procedúry) • Disseminácia (konverzie,..) • Ingest Profil: • <pfiprofile curator="PUR" type="INGEST" id="PUR_1"> <properties> <property name="metsSignatureVerify"/> <property value= "fmt/11,fmt/12,fmt/13, fmt/17,fmt/18, fmt/19,fmt/20,fmt/41, fmt/43,fmt/44,fmt/93, fmt/94,fmt/95,fmt/101,fmt/111,fmt/154, fmt/156,fmt/208,fmt/276,fmt/353,x‐fmt/18,x‐ fmt/76,x‐fmt/111,x‐fmt/263," name="allowedFormat.list"/> • Formáty údajov
- 9. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Balíky údajov • METS • SIP AIP DIP • BagIt • Zip • Tar • AIP (SFU_01)
- 10. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Transport údajov • Ingest LTO, HDD, online • Synchronizácia JAG • Disseminácia LTO 5, online • Pásky – LTO5 1,5 TB (140 MBit/s) – LTO6 2,5 TB (160 MBit/s) – Jaguar 4 TB (250 MBit/s) • Disky – HDD 4TB (160 MBit/s) • Online – Webdav (5T/24 hod.)
- 11. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Správa médií • Organizácia médií – Ingest LTO 5, 6 (LTFS) – Archív A, B (JAG/TSM) – Archív C (JAG/LTFS) – Synchro (JAG/LTFS) Tue Nov 24 08:00:03 CET 2015 pocet volnych SYNC pasok je 100 pocet volnych C pasok je 45 pocet volnych LTO pasok je 19 Volne miesto v /impexfs 33 TB Pocet pasok v mediacache jimpex‐lto 4 Pocet pasok v mediacache jimpex‐jagarch 0 Pocet pasok v mediacache jimpex‐jagsync 1 • Páskový kolotoč Magnetické pásky LTO5, LTO6, pevné disky, online vklad DC pásky DA/DB pásky LF pásky Trezor – lokalita C Pásková knižnica Do druhej lokality na synchronizáciu Po spracovaní naformátovať a poslať späť do PFI DA/DB pásky Po spracovaní naformátovať a zadať znova na nové načítanie dát Rozdelenie magnetických pások v systéme CDA: LTO5 – vklad, diseminácia LTO6 – vklad, LF – synchronizačné, DC – archivačné DA, DB, DC
- 12. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Logistika médií • CDA Modul Logistika – Transport • 3 lokality (A,B,C) • 4 typy offline médií (LTO5, LTO6, JAG, HDD) – Kampane • 2 lokality (A,B) – Označenie • B‐SNP‐LTO5‐20141211‐0915 • B‐SNG‐ONL‐20141007‐1045 • A‐B‐JAG‐20141220‐0800 • Objednávka prepravy
- 13. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Procesy ‐ Ingest • Ingest Príjem a spracovanie údajov (Ingescia) je podproces, ktorý zvaliduje vstupný Informačný Balík na vklad, zaeviduje Informačný Balík na vklad ako prijatý od žiadateľa o vklad, vytvorí na jeho základe Informačný Balík pre Archiváciu, k nemu Popisné údaje, AIP uloží do úložného priestoru pre archiváciu, Popisné údaje do úložného priestoru pre rýchly prístup, a podľa potreby vytvorí kópiu AIP určenú pre záložnú CDA lokalitu (CDA‐C).
- 14. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Procesy ‐ Validácia • Quality Assurance (OAIS) • kontrola kompletnosti súboru (súborov) SIP • rozbalenie adresárovej štruktúry zo súboru (súborov) SIP do pripraveného pracovného adresára • overenie digitálneho podpisu súboru obsahujúceho metadátakontrola správnosti súboru obsahujúceho metadáta • kontrola, či názov koreňového adresára zodpovedá identifikátoru SIPID • kontrola, či poskytnuté metadáta PDI, zodpovedajú formátu dohodnutému s príslušným PFI (validácia voči XSD) • kontrola, či metadáta referencujú všetky dodané digitálne objekty (dátové súbory) • kontrola, či podľa Informácie o prístupových právach, má CDA deklarované dostatočné práva na zamýšľanú manipuláciu s obsahom • kontrola úplnosti jednotlivých rozbalených súborov ‐ checksum, ak boli dodané kontrolné kódy • overenie digitálneho podpisu pre jednotlivé súbory (ak je dodaný) • antivírová kontrola súborov • iné kontroly podľa špecifík Dohody o zverení obsahu na dlhodobú archiváciu.
- 15. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Pocesy ‐ Disseminácia • Objednávka • Disseminácia
- 16. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Používateľské rozhranie • Katalóg • Objednávka na vklad • Objednávka na výber • User management
- 17. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Operačné rozhranie • Správa úloh • Manažment médií
- 18. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Organizácia • Úsek elektronizácie – Odbor CDA (12) BA+MT • Odd. informačných technológií • Odd. informačných systémov • Odd. informačných procesov – Externé kapacity • Služby podpory (2 FTE) • Experti (1 FTE/4) • Organizačná štruktúra
- 19. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA ‐ Certifikácia • ISO 16363 – 2014 Interný audit – 2015 DRAMBORA – 2016 ? • ISO 27001 – 2014 – 2015 recertifikácia – 2016 ...
- 20. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk cda.kultury.sk • Monitoring A, B – Denný • Ingest • Disseminácia • Synchronizácia – Kumulatívny • Počet SIP > 1 500 000 • Počet SIP / PFI • Objem dát > 2 700 TB • Objem dát / PFI
- 21. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk CDA – Udržateľnosť 2015 ‐ 2020 • Služby podpory „Celý systém bude mať zároveň zabezpečený servis.“ – 1 650 000 € / rok • 750 000 € SW licencie • 650 000 € HW 24x7 • 250 000 € apl. podpora • Investičná obnova 15% – 2 500 000 € / rok • 2014: 4 649 152 • 2015: 7 205 291 • 2016: 9 576 119 (+ 5 096 000) 2013 2014 2015 2016 2017 CDA 0 0 3067086 5096000 5107307 UKB 4261750 4649152 4138205 4480119 4516948 0 2000000 4000000 6000000 8000000 10000000 12000000 Název osy Rozpočet UKB 2013 ‐ 2017
- 22. TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ OPISje spolufinancovaný z ERDF www.opis.culture.gov.sk You are welcome ! • alojz.androvic, lenka.bazalova, helena.boskovicova, ivan.ciglan, ondrej.kadar, lucia.kelemenova, roman.kral, stanislav.lichy, peter.luptak, ivan.martynek, milan.rakus, juraj.strnisko, alena.spanikova, bibiana.zigova • @ulib.sk