Alojz Androvič - Centrálny dátový archív v roku 1

TVORÍME VEDOMOSTNÚ SPOLOČNOSŤ
OPIS je spolufinancovaný z ERDF
www.opis.culture.gov.sk
Centrálny dátový archív
v roku 1
Ing. Alojz Androvič PhD., Mgr. Lenka Bazalová, Mgr. Helena
Boskovičová, Mgr. Ivan Ciglan, Ing. Ondrej Kádár, Mgr. Lucia
Kelemenová, Ing. Roman Král, Ing. Stanislav Lichý, Mgr. Peter
Lupták, Mgr. Ivan Martynek, Ing. Milan Rakús, Ing. Juraj
Strnisko, Ing. Alena Špániková, Mgr. Bibiána Žigová.

Operačný program IS
• Príprava 2007 OPIS – 2011 reštart
• Realizácia 2012 ‐ 2014
• V rámci projektu sa vybuduje centrálny
dátový archív, ktorý musí v zmysle
medzinárodných bezpečnostných
štandardov zabezpečiť uloženie minimálne
3 najhodnotnejších kópií digitálnych
objektov na minimálne 2 lokalitách, ktoré
nesmú byť od seba vzdialené bližšie ako 50
km. Lokality budú dve: Univerzitná
knižnica v Bratislave (primárny sklad) a
sklad  (sekundárny), ktorý bude zriadený v
prenajatých priestoroch. Obidve lokality
budú vybavené hardvérom a softvérom a
navzájom zosieťované. Celý systém bude
mať zároveň zabezpečený servis.
• OPIS 188 mil. €
– 7 DP + 3 NP projekty
• CDA    33 mil €

CDA ‐ Východiská
• Rámec
– OAIS ISO 14721:2014
– TRAC ISO 16363:2013
• Metodiky OPIS
– 01, 03 riadenie, SMIB
– 17, 18 LTP, identifikácia
• Požiadavky
– Systémové (20kap.): 142
– Kapacitné: 25 PB+150 TB
NP KO TB TB/7
NP 1 SNK 2 800 000 17 000 93
NP 2 SNG 110 000 500 2
NP 3 SNP 200 000 3 500 30
NP 4 PÚ SR 3 000 500 2
NP 5 SFÚ 60 000 4 000 20
Spolu 3 173 000 25 000 147
0,00
5000,00
10000,00
15000,00
20000,00
25000,00
30000,00
01.2012
04.2012
07.2012
10.2012
01.2013
04.2013
07.2013
10.2013
01.2014
04.2014
07.2014
10.2014
01.2015
04.2015
07.2015
10.2015
DP6 *
NP10
NP5
NP4
NP3
NP2
NP1

CDA ‐ Design
• Redundancia
– Lokalitná (A + B + C)
– Technologická >>>
• Komponenty
– Servery
• IBM Power 770 / 48 proc.
• HP DL 320, 360, 380 (11)
– Diskové polia
• IBM v 7000 (170 TB)
– Pásková technológia
• IBM 3584 25 PB (2 rob. + 12
drive)
• IBM 3500 LTO5 (10) LTO6 (4)

CDA ‐ Network
• LAN
– Core switch HP 10504
– Firewall HP JG 213A
– Router HP JG 311A
• SAN (opt. Switch)
– IBM 80B‐4
– IBM 24B
• WAN
– SANET 2x1 Gbit fibre

CDA ‐ Software
• Operačné prostredie
– AIX, RedHat, Windows
• Systémový SW (IBM)
– LTFS, GPFS, HSM, TSM
• Aplikačný SW (Tempest)
– CDA Aplikačný server
– CDA Databázový server
– CDA System Directory
– CDA Impex (JAVA)
– CDA Framework
• Deployment diagram

CDA – Zdroje údajov
• Dohoda o vklade
– Volumetria (odhad)
• Vklad/výber: SIP, DIP
• Veľkosť SIP: max., min.
• Objem: celkom, týždeň
– Profil vkladateľa
• PUID‐MIME‐ext.
– Certifikáty
• garanti
• autentifikácia (prístupy)
• autorizácia (balíky)
• Určené spoločenstvo
CD
A
25
PB
Digitál
ne
múzeu
m
Digitál
na
knižnic
a a
archív
Digitálna
audiovízi
a
Digitál
na
galéria
Digitálny
pamiatkov
ý fond
Dokumentačno-
informačné
centrum
rómskej kultúry
Dopytové
projekty
Alternatívn
e zdroje
PUID MIME Názov
fmt/43 image/jpeg JPEG FIF v1.01
fmt/96 text/html Hypertext Markup
x‐fmt/111 text/plain Plain text

CDA – Formáty údajov
• Profily
• PFI (identita, komunikácia)
• Ingest (formáty, procedúry)
• Disseminácia (konverzie,..)
• Ingest Profil:
• <pfiprofile curator="PUR" type="INGEST"
id="PUR_1"> <properties> <property
name="metsSignatureVerify"/> <property
value= "fmt/11,fmt/12,fmt/13, fmt/17,fmt/18,
fmt/19,fmt/20,fmt/41, fmt/43,fmt/44,fmt/93,
fmt/94,fmt/95,fmt/101,fmt/111,fmt/154,
fmt/156,fmt/208,fmt/276,fmt/353,x‐fmt/18,x‐
fmt/76,x‐fmt/111,x‐fmt/263,"
name="allowedFormat.list"/>
• Formáty údajov

CDA – Balíky údajov
• METS
• SIP AIP DIP
• BagIt
• Zip
• Tar
• AIP (SFU_01)

CDA – Transport údajov
• Ingest LTO, HDD, online
• Synchronizácia JAG
• Disseminácia LTO 5,
online
• Pásky
– LTO5 1,5 TB (140 MBit/s)
– LTO6 2,5 TB (160 MBit/s)
– Jaguar 4 TB (250 MBit/s)
• Disky
– HDD 4TB (160 MBit/s)
• Online
– Webdav (5T/24 hod.)

CDA ‐ Správa médií
• Organizácia médií
– Ingest LTO 5, 6 (LTFS)
– Archív A, B (JAG/TSM)
– Archív C (JAG/LTFS)
– Synchro (JAG/LTFS) Tue
Nov 24 08:00:03 CET 2015 pocet volnych
SYNC pasok je 100 pocet volnych C pasok je
45 pocet volnych LTO pasok je 19 Volne
miesto v /impexfs 33 TB Pocet pasok v
mediacache jimpex‐lto 4 Pocet pasok v
mediacache jimpex‐jagarch 0 Pocet pasok v
mediacache jimpex‐jagsync 1
• Páskový kolotoč
Magnetické pásky LTO5, LTO6,
pevné disky, online vklad
DC pásky
DA/DB pásky
LF pásky
Trezor – lokalita C
Pásková knižnica
Do druhej lokality
na synchronizáciu
Po spracovaní naformátovať
a poslať späť do PFI
DA/DB pásky
Po spracovaní naformátovať
a zadať znova na nové
načítanie dát
Rozdelenie magnetických pások v systéme CDA:
LTO5 – vklad, diseminácia
LTO6 – vklad,
LF – synchronizačné,
DC – archivačné DA, DB, DC

CDA – Logistika médií
• CDA Modul Logistika
– Transport
• 3 lokality (A,B,C)
• 4 typy offline médií (LTO5,
LTO6, JAG, HDD)
– Kampane
• 2 lokality (A,B)
– Označenie
• B‐SNP‐LTO5‐20141211‐0915
• B‐SNG‐ONL‐20141007‐1045
• A‐B‐JAG‐20141220‐0800
• Objednávka prepravy

CDA – Procesy ‐ Ingest
• Ingest
Príjem a spracovanie údajov
(Ingescia) je podproces, ktorý
zvaliduje vstupný Informačný Balík
na vklad, zaeviduje Informačný Balík
na vklad ako prijatý od žiadateľa o
vklad, vytvorí na jeho základe
Informačný Balík pre Archiváciu, k
nemu Popisné údaje, AIP uloží do
úložného priestoru pre archiváciu,
Popisné údaje do úložného priestoru
pre rýchly prístup, a podľa potreby
vytvorí kópiu AIP určenú pre záložnú
CDA lokalitu (CDA‐C).

CDA – Procesy ‐ Validácia
• Quality Assurance (OAIS)
• kontrola kompletnosti súboru (súborov) SIP
• rozbalenie adresárovej štruktúry zo súboru (súborov) SIP do
pripraveného pracovného adresára
• overenie digitálneho podpisu súboru obsahujúceho
metadátakontrola správnosti súboru obsahujúceho metadáta
• kontrola, či názov koreňového adresára zodpovedá identifikátoru
SIPID
• kontrola, či poskytnuté metadáta PDI, zodpovedajú formátu
dohodnutému s príslušným PFI (validácia voči XSD)
• kontrola, či metadáta referencujú všetky dodané digitálne objekty
(dátové súbory)
• kontrola, či podľa Informácie o prístupových právach, má CDA
deklarované dostatočné práva na zamýšľanú manipuláciu s obsahom
• kontrola úplnosti jednotlivých rozbalených súborov ‐ checksum, ak
boli dodané kontrolné kódy
• overenie digitálneho podpisu pre jednotlivé súbory (ak je dodaný)
• antivírová kontrola súborov
• iné kontroly podľa špecifík Dohody o zverení obsahu na dlhodobú
archiváciu.

CDA – Pocesy ‐ Disseminácia
• Objednávka • Disseminácia

CDA – Používateľské rozhranie
• Katalóg
• Objednávka na vklad
• Objednávka na výber
• User management

CDA – Operačné rozhranie
• Správa úloh • Manažment médií

CDA – Organizácia
• Úsek elektronizácie
– Odbor CDA (12) BA+MT
• Odd. informačných
technológií
systémov
procesov
– Externé kapacity
• Služby podpory (2 FTE)
• Experti (1 FTE/4)
• Organizačná štruktúra

CDA ‐ Certifikácia
• ISO 16363
– 2014 Interný audit
– 2015 DRAMBORA
– 2016 ?
• ISO 27001
– 2014
– 2015 recertifikácia
– 2016 ...

cda.kultury.sk
• Monitoring A, B
– Denný
• Ingest
• Disseminácia
• Synchronizácia
– Kumulatívny
• Počet SIP > 1 500 000
• Počet SIP / PFI
• Objem dát > 2 700 TB
• Objem dát / PFI

CDA – Udržateľnosť 2015 ‐ 2020
• Služby podpory
„Celý systém bude mať
zároveň zabezpečený
servis.“
– 1 650 000 € / rok
• 750 000 € SW licencie
• 650 000 € HW 24x7
• 250 000 € apl. podpora
• Investičná obnova 15%
– 2 500 000 € / rok
• 2014: 4 649 152
• 2015: 7 205 291
• 2016: 9 576 119 (+ 5 096 000)
2013 2014 2015 2016 2017
CDA 0 0 3067086 5096000 5107307
UKB 4261750 4649152 4138205 4480119 4516948
0
2000000
4000000
6000000
8000000
10000000
12000000
Název osy
Rozpočet UKB 2013 ‐ 2017

You are welcome !
• alojz.androvic,
lenka.bazalova,
helena.boskovicova,
ivan.ciglan, ondrej.kadar,
lucia.kelemenova,
roman.kral, stanislav.lichy,
peter.luptak, ivan.martynek,
milan.rakus,  juraj.strnisko,
alena.spanikova,
bibiana.zigova
• @ulib.sk

Alojz Androvič - Centrálny dátový archív v roku 1

Recommended

Recommended

More Related Content

Featured

Featured (20)

Alojz Androvič - Centrálny dátový archív v roku 1