SlideShare a Scribd company logo
1 of 95
LOGO
CONTENTS 
INTRODUCTION 
AGENTIFICATION 
AGENTIFICATION OF DIGITAL OBJECTS 
AGENTIFICATION OF DP SOCIAL NETWORKS 
AGENTIFICATION OF DP SERVICES 
2 
REMARKS 
PROPOSAL
CONTENTS 
INTRODUCTION 
AGENTIFICATION 
AGENTIFICATION OF DIGITAL OBJECTS 
AGENTIFICATION OF DP SOCIAL NETWORKS 
AGENTIFICATION OF DP SERVICES 
3 
REMARKS 
PROPOSAL
INTRODUCTION 
 The challenge in preserving valuable digital information 
is real and growing at an exponential pace 
 2008: 422 Exabytes new digital 
4 
information was created 
x2 every 18 months 
http://www.storagenewsletter.com/news/miscellaneous/idc-digital-information-created
OBJECTIVES 
 The mission of this Research is: 
 Distribute the DP efforts 
 Make Digital Preservation easy enough for 
individuals, companies and general institutions 
 Help to reduce the cost and increase the capacity of 
memory institutions to preserve digital information 
for the long-term 
 As a first attempt, in this paper will lay the foundations for a 
new object-centric DP paradigm with AGENTS 
5
CONTENTS 
INTRODUCTION 
AGENTIFICATION 
AGENTIFICATION OF DIGITAL OBJECTS 
AGENTIFICATION OF DP SOCIAL NETWORKS 
AGENTIFICATION OF DP SERVICES 
6 
REMARKS 
PROPOSAL
AGENTIFICATION (I) 
 We will design agents that suit the needs of DP, introducing 
agency properties to the DP actors 
 1st  Identify actors 
 Digital Objects  resilience 
 Users  expertise 
 Services  scalability 
 2nd Agentification: Applying agency properties to the actors 
7
AGENTIFICATION (II) 
 This approaches answer three questions derived from 
Berman statements: 
 WHEN (preserving a DO and whether is affordable) is 
necessary to preserve 
 HOW (the solutions of the Users) to do WHAT (the DP 
Services) is necessary to be done 
 Three approaches might coexist: AOUS (Agentification 
of Objects, Users and Services) 
8
AGENTIFICATION (III) 
Characteristic Digital 
Object 
(SPADO) 
Social 
network 
(Users) 
Services 
Autonomous 
Social Competitive Cooperative Coopetitive 
Proactive 
Mission ? ? 
9
CONTENTS 
INTRODUCTION 
AGENTIFICATION 
AGENTIFICATION OF DIGITAL OBJECTS 
AGENTIFICATION OF DP SOCIAL NETWORKS 
AGENTIFICATION OF DP SERVICES 
10 
REMARKS 
PROPOSAL
BUCKETS 
 Buckets were designed to imbue information objects with 
certain responsibilities such: 
 The display 
 Dissemination 
 Protection 
 Maintenance 
 As SPADOs will do 
Nelson M. 2001, Buckets: Smart Objects for Digital 
Libraries, PhD thesis, Old Dominion Univ. 
11
AGENTIFICATION OF DIGITAL OBJECTS 
 Agents might encapsulate the versions they migrated to 
 Their mission is to stay alive as long as possible (accessible, 
authentic, readable) 
 With their own budget for attracting DP know-how and services: 
 SPADO (Self-Preservation Aware Digital Object) 
 Preservation paradigm with three types of agents 
• The digital object has the role of “caring” for itself 
• The users “pay” for its preservation and provide know-how for “curate” it 
• The DP services compete to “preserve” it 
 Object-level preservation budget 
• The more interest in this DO, the more 
budget it will receive and the more 
likely it will be preserved 
12 
Format 
Redun-dancy 
SPADO 
Social 
Multi-components 
Mission 
Budget
PRELIMINARY RESULTS 
 Two evolutionary computing approaches are taken, one from 
swarm intelligence and another one from genetic algorithms. 
13 
Swarm Intelligence (SI) 
Simulations 
based on 
Genetic Algorithms(GA)
PRELIMINARY RESULTS 
 Two evolutionary computing approaches are taken, one from 
swarm intelligence and another one from genetic algorithms. 
14 
Swarm Intelligence (SI) 
Simulations 
based on 
Genetic Algorithms(GA)
PRELIMINARY RESULTS IN SWARM 
INTELLIGENCE 
 Split the preservation budget 
for their operations and 
descendents 
 Descendents might have a 
same or different format 
 Checksum, migration or 
version charge to the budget 
and being accessed by users 
increase it 
 When a descendant run out 
of budget, it tries to go back 
to its ancestors site to get 
further DP budget 
15
PRELIMINARY RESULTS IN SWARM 
INTELLIGENCE 
 Catastrophes consist in a sudden change of a ¼ or 1/3 of the sites, because 
of an update in their software that provoke massive changes and migrations 
in the format of the DOs that are there stored. 
MEASURE 
 Shannon Entropy: to know whether there is enough diversity of formats 
that provide the sufficient resilience to recover back to the former state after 
each catastrophe. 
n 
 
H ( x )   p  
log 
p 
i 2 i i 
1 
 Being resilient means the capacity of gaining back the lost entropy. 
16
PRELIMINARY RESULTS IN SWARM 
INTELLIGENCE 
CATASTROPHES 
17 
Average entropy 
Steps simulation 
 The red line (execution 2) shows in average 85% of resilience
 Two evolutionary computing approaches are taken, one from 
swarm intelligence and another one from genetic algorithms. 
18 
Swarm Intelligence (SI) 
Simulations 
based on 
Genetic Algorithms(GA) 
PRELIMINARY RESULTS
 Two evolutionary computing approaches are taken, one from 
swarm intelligence and another one from genetic algorithms. 
19 
Swarm Intelligence (SI) 
Simulations 
based on 
Genetic Algorithms(GA) 
PRELIMINARY RESULTS
PRELIMINARY RESULTS IN GENETIC 
ALGORITHMS 
 DOs genetic code is characterized by their formats 
20 
 Genetic operations: 
 Mutation (random formatting changes) 
 Cross (encapsulation of DO into other DO)
PRELIMINARY RESULTS IN GENETIC 
ALGORITHMS 
 Instead of entropy, a fitness function is used to measure how adapted is 
the population of DOs 
CATASTROPHES 
 It shows resilience, but is affected by the execution 1 
21 
Average fitness 
Generation simulation
VALIDATION 
 This is validated with a PROTOTYPE 
 Designed in INGENIAS (methodology) 
 Implemented in Java 
22
CONTENTS 
INTRODUCTION 
AGENTIFICATION 
AGENTIFICATION OF DIGITAL OBJECTS 
AGENTIFICATION OF DP SOCIAL NETWORKS 
AGENTIFICATION OF DP SERVICES 
23 
REMARKS 
PROPOSAL 
RESILIENCE
AGENTIFICATION OF DP SOCIAL 
NETWORKS 
 Most of the work that bloggers and Web sites do on the Internet 
is, in fact, connecting people with other resources and people. This 
is a reference function. 
 Libraries are trying to integrate and assimilate this “social 
networking” world. 
 From this level comes the need to assign at least one agent to 
every contributor or consumer, every user in the social network, 
to automate a certain amount of knowledge exchange. 
24
AGENTIFICATION OF DP SOCIAL 
NETWORKS 
 This is our aim in this approach, to provide tools to help 
people developing agents and let them create a network 
of agents that handle DP QAs for SPADOs. 
 Results are in PROTAGE (PReservation Organizations using 
Tools in AGent Environments) project 
 With this approach we obtain the (DP) EXPERTISE 
25
CONTENTS 
INTRODUCTION 
AGENTIFICATION 
AGENTIFICATION OF DIGITAL OBJECTS 
AGENTIFICATION OF DP SOCIAL NETWORKS 
AGENTIFICATION OF DP SERVICES 
26 
REMARKS 
PROPOSAL 
RESILIENCE 
EXPERTISE
AGENTIFICATION OF DP SERVICES 
 According to the W3C Web Services Architecture note, a Web 
Service is an abstract notion that can be implemented 
by a concrete agent 
 Our approach named "Shout and Act", a type of swarm 
intelligence for communication and coordination of agents is 
inspired by rescue robots: the files, all DOs, that need 
preservation are called the “victims”. 
 They COMPETE: to be the first at finding a DO with DP 
needs 
 They COOPERATE: when they see they cannot handle it. 
27
AGENTIFICATION OF DP SERVICES 
 The result is a number of agents that search a user's file 
system, a site for DOs 
28 
1400 
1200 
1000 
800 
600 
400 
200 
0 
Low Medium High 
Heterogeneous (varying skills) 
Homogeneous (combined super-skilled) 
10A+4B 
14C 
High 
Medium 
Low 
Performance of homogeneous vs. heterogeneous agents vs. an exponential 
growth of the number of digital objects. Y-axis is the qualitative average 
processing effort per agent and x-axis is a qualitative order magnitude of the 
number of digital objects (high = 10 times medium = 100 times low)
CONTENTS 
INTRODUCTION 
AGENTIFICATION 
AGENTIFICATION OF DIGITAL OBJECTS 
AGENTIFICATION OF DP SOCIAL NETWORKS 
AGENTIFICATION OF DP SERVICES 
29 
REMARKS 
PROPOSAL 
RESILIENCE 
EXPERTISE 
SCALABILITY
CONTENTS 
INTRODUCTION 
AGENTIFICATION 
AGENTIFICATION OF DIGITAL OBJECTS 
AGENTIFICATION OF DP SOCIAL NETWORKS 
AGENTIFICATION OF DP SERVICES 
30 
REMARKS 
PROPOSAL
REMARKS 
 DP should be taken seriously as a “killer application” of agents 
Comparison of 
the AOUS appr. Objects Users Services 
31 
Scalability 
Expected 
to be good 
Improve the 
social networks 
Good (if 
heterogeneous 
agents) 
Resilience Good ? 
Expected 
to be Good 
Optimization 
of the DP budget Proved ? ? 
Openness Very Good Good Still a challenge 
Improves Digital 
Preservation Awareness Good Very Good ? 
Synergy with ? Web 3.0 
Antivirus and 
backup services 
 The proofs of concept show that resilience under tight DP 
budgets and scalability are achievable
CONTENTS 
INTRODUCTION 
AGENTIFICATION 
AGENTIFICATION OF DIGITAL OBJECTS 
AGENTIFICATION OF DP SOCIAL NETWORKS 
AGENTIFICATION OF DP SERVICES 
32 
REMARKS 
PROPOSAL
RESEARCH PROPOSAL 
 Make Digital Objects more intelligent 
 Make the environment where they 
work more intelligent too. 
 Previous work: Buckets 
33 
SPADO 
Social networks 
Services 
Nelson M. 2001, Buckets: Smart Objects for Digital 
Libraries, PhD thesis, Old Dominion Univ.
LOGO
PRELIMINARY RESULTS IN SWARM 
INTELLIGENCE 
CATASTROPHE 
IVmidaegoe ffoorrmmaatt:: 13 42 
35 
1 
2 
3 
4 
5 
The Users 
Digital 
Objects 
and different 
formats 
Users affected 
by catastrophes
INTRODUCTION (III) 
 In 2011, looking at what is hot on the Web and in IT development, 
many scientists wonder Where are all agents? 
 And we wonder how can they be applied to Digital Preservation? 
 We will show three approaches to an answer to those 
questions: 
 Agentification of digital objects and the architecture of the 
SPADO (self-preservation aware digital objects) 
 Agentification of the DP social networks 
 Agentification of the preservation web services 
36
AGENTIFICATION OF DP SOCIAL 
NETWORKS 
 Most of the work that bloggers and Web sites do on the 
Internet is, in fact, connecting people with other resources 
and people. This is a reference function. 
 Libraries are trying to integrate and assimilate this “social 
networking” world. 
 The changing reference world will produce new information 
agents which is also a very promising and enriching trend, 
especially from our approach if agents were doing the job. 
37
AGENTIFICATION OF DP SOCIAL 
NETWORKS 
 DP questions and answers (QA) provide ways to describe 
how needs are defined, how people understand them, and 
how questions are answered 
 Our aim is to expand social networks through the use of 
agents that reduce the burden of answering repetitive 
questions 
 Agents should link data, agents, and people to find answers. 
 Agents should encapsulate such linking information as well 
as content, and they should avoid spamming 
38
AGENTIFICATION OF DP SERVICES 
 The teams of preservation agents comprise agents of type: 
 A, whose main goal is to detect files as potential victims that need 
migration actions 
 B , that are fewer and slower in detecting victim than the type A 
agents, though they have superior abilities to appraise and rescue 
victims. They follow the shouts that type A agents emit. 
 The shouts are of a magnitude that could be proportional to 
the severity of the digital injuries of the victim. Shouts 
disappear time after being emitted, and disperse with distance 
in a metric created from file systems 
39
SIMULACIÓ BASADA EN 
ALGORISMES GENÈTICS (IV) 
RESULTATS 
 S’han fet també cinc execucions sobre dues configuracions 
diferents: 
 Els resultats són avaluats segons la mitjana del fitness de 
tots els individus 
Formats de 
moda 
Mida 
població 
Generacions 
límit 
Configuració 1 5;4;3;2 20 100 
Configuració 2 3;5;1;4 50 500 
Valor aleatori 
1 2 3 4 5 
1 
0 
Valor aleatori 
Valor aleatori 
Valor 
aleatori 
40 
Format de moda  12345
PRESERVACIÓ DIGITAL (II) 
41
SIMULACIÓ BASADA EN 
ALGORISMES GENÈTICS (III) 
 Només es tenen en compte els canvis de format i, per tant, les 
catàstrofes en aquest model seran els canvis del format de moda 
 Els cromosomes, que representaran els objectes digitals, tenen 
la següent estructura: 
 La llibreria emprada per dur a terme la simulació ha estat JENES 
42
REMARKS (I) 
 DP should be taken seriously as a killer application of 
agents. 
 If all the three agentification approaches were combined, 
there will result the smart DP environment necessary to 
support the SPADOs activities 
43
LOGO
CONTINGUTS 
Introducció 
Anàlisi del sistema 
Disseny i implementació del prototipus 
de preservació digital 
Validació i resultats 
Conclusions i treballs futurs 
45
CONTINGUTS 
Introducció 
Anàlisi del sistema 
Disseny i implementació del prototipus 
de preservació digital 
Validació i resultats 
Conclusions i treballs futurs 
46
MOTIVACIONS 
 Està emmarcat en el projecte PRESERVA TIN-2010- 
17903 (Comparative approaches to the implementation 
of intelligent agents in digital preservation from a 
perspective of the automation of social networks) 
 L’objectiu és implementar aproximacions de 
preservació digital mitjançant agents que treballen 
sobre una xarxa social 
47
PRESERVACIÓ DIGITAL (I) 
 La preservació digital combina les polítiques, estratègies i 
accions que garanteixin l'accés als continguts digitals al llarg 
del temps 
 Els fitxers poden ser fàcilment destruïts o emmagatzemats 
en un format o suport que es torna obsolet 
48
PRESERVACIÓ DIGITAL (II) 
49
OBJECTIU 
 L’objectiu principal és desenvolupar un prototipus de 
preservació digital que: 
 Permeti emular la preservació digital d’agents que representen 
fitxers del nostre ordinador 
 Els agents interactuïn amb un entorn simulat que representa 
una xarxa social on succeeixen catàstrofes 
50
ABAST 
 Els resultats que es pretenen obtenir són: 
 Una anàlisi del sistema basat en algorismes d'intel·ligència 
d'eixam i algorismes genètics 
 Un prototipus en mode emulació 
 Una proposta de transferència tecnològica 
 La memòria d'aquest projecte 
51
CONTINGUTS 
Introducció 
Anàlisi del sistema 
Disseny i implementació del prototipus 
de preservació digital 
Validació i resultats 
Conclusions i treballs futurs 
52
ANÀLISI DEL SISTEMA 
 Les estratègies de preservació es classifiquen en dues 
aproximacions: 
 La preservació de l’entorn tecnològic (emulació) 
 La superació de l’obsolescència dels formats de fitxers 
(migració) 
 El projecte PRESERVA necessita la implementació 
d’algorismes de computació evolutiva 
 Simularem les migracions de format amb tècniques d'intel·ligència 
d’eixam i algorismes genètics per la seva aplicació en la 
preservació digital 
Muñoz, A. M., Lopez, J. A. & Caicedo, E. F., Inteligencia de enjambres: 
sociedades para la solución de problemas (una revisión). Ingeniería e 
Investigación, 2008. 28: p. 119-130. 
53
SIMULACIONS REALITZADES 
Intel·ligència d’eixam 
(Swarm Intelligence) 
Simulacions 
basades en 
Algorismes genètics 
(Genetic Algorithms) 
54
SIMULACIONS REALITZADES 
Intel·ligència d’eixam 
(Swarm Intelligence) 
Simulacions 
basades en 
Algorismes genètics 
(Genetic Algorithms) 
55
SIMULACIÓ BASADA EN 
INTEL·LIGÈNCIA D’EIXAM (I) 
 L’analogia emprada és la següent: 
 Objectes digitals (vídeo o imatge) ≡ formigues 
 Usuaris xarxa (servei de preservació)≡ aliment 
 Ordinadors xarxa ≡ hàbitats 
 El programa emprat ha estat Repast-Simphony 
56
SIMULACIÓ BASADA EN 
INTEL·LIGÈNCIA D’EIXAM (II) 
CATÀSTROFE 
format={ } 
Format ivmídaetgoe: : 13 42 
57 
1 2 3 4 5 
1 
2 
3 
4 
5 
Agents usuari 
Objectes 
Digitals 
i els seus 
possibles 
formats 
Usuaris afectats 
per catàstrofe
SIMULACIÓ BASADA EN 
INTEL·LIGÈNCIA D’EIXAM (III) 
RESULTATS 
 Entropia de Shannon: Com més alt és el valor d’entropia 
preveiem millor preservabilitat  major resistència i recuperació 
davant catàstrofes 
n 
 
H ( x )   p  
log 
p 
i 2 i  
i 
1 
 
  
  
 
  
, 2 , ( ) log  
 
 
 
H x   p  
p 
i j i j  
n 
i 1 
j 
5 
1 
 5 
1 
, 
i , 
j 
, 
k 
i k 
i j 
f 
f 
p 
On: 
 n és el total d'objectes digitals originals 
 j són els diferents formats que hi ha, que són 5 
 pi,j és el percentatge que suposen les còpies de format j respecte el total de 
còpies que té un objecte digital original i 
 k són els diferents formats que hi ha 
Adaptat als 
models simulats 
58
SIMULACIÓ BASADA EN 
INTEL·LIGÈNCIA D’EIXAM (IV) 
RESULTATS 
Paràmetres Model 1 Model 2 
Canvis de format 0,5,4;1,4,3;0,3,2 1,4,3;0,5,3;1,3,1 
OD associats a un usuari inicialment entre 1 i 5 entre 1 i 5 
Cost moure’s per la xarxa 2 2 
Cost quedar-se quiet 1 1 
Límit superior pressupost 60 60 
Límit inferior pressupost 20 20 
Cost allotjament en un usuari entre 1 i 10 entre 1 i 10 
Servei de preservació d’un usuari 100 100 
Percentatge esborrat d’usuaris 25% i 33% 25% i 33% 
 Durada:15 anys on succeeix una catàstrofe cada 5 anys 
 Suposant que 3 steps ≡ 1mes, hi haurà una catàstrofe cada 180 
steps i la simulació tindrà una duració de 540 steps 
 S’ha executat un total de 5 vegades (estabilitat estadística) 
59
SIMULACIÓ BASADA EN 
INTEL·LIGÈNCIA D’EIXAM (V) 
RESULTATS 
 Model 1 
Esborrat del 25% d’usuaris 
 Execució 2 mostra 
resilence 
Esborrat del 33% d’usuaris 
 Execució 4, després de 
la primera catàstrofe 
mostra resilence 
60 
Mitjana entropia Mitjana entropia 
Steps simulació 
Steps simulació
SIMULACIÓ BASADA EN 
INTEL·LIGÈNCIA D’EIXAM (VI) 
RESULTATS 
 Model 2 
Esborrat del 25% d’usuaris 
 Resilence interessant 
després de la segona 
catàstrofe 
Esborrat del 33% d’usuaris 
 No es mostra gaire 
resilence 
61 
Mitjana entropia 
Steps simulació 
Mitjana entropia 
Steps simulació
SIMULACIONS REALITZADES 
Intel·ligència d’eixam 
(Swarm Intelligence) 
Simulacions 
basades en 
Algorismes genètics 
(Genetic Algorithms) 
62
SIMULACIONS REALITZADES 
Intel·ligència d’eixam 
(Swarm Intelligence) 
Simulacions 
basades en 
Algorismes genètics 
(Genetic Algorithms) 
63
SIMULACIÓ BASADA EN 
ALGORISMES GENÈTICS (I) 
 La població serà de mida fixa i cada individu és un 
objecte digital (format imatge, vídeo, Word, PowerPoint) 
 Operacions genètiques: 
 Mutacions (modificacions aleatòries de format) 
 Creuament (encapsular objectes digitals dins d’altres) 
64
SIMULACIÓ BASADA EN 
ALGORISMES GENÈTICS (II) 
 La població serà de mida fixa i cada individu és un 
objecte digital (format imatge, vídeo, Word, PowerPoint) 
 Operacions genètiques: 
 Mutacions (modificacions aleatòries de format) 
 Creuament (encapsular objectes digitals dins d’altres) 
65
SIMULACIÓ BASADA EN 
ALGORISMES GENÈTICS (II) 
 La població serà de mida fixa i cada individu és un 
objecte digital (format imatge, vídeo, Word, PowerPoint) 
 Operacions genètiques: 
 Mutacions (modificacions aleatòries de format) 
 Creuament (encapsular objectes digitals dins d’altres) 
66
SIMULACIÓ BASADA EN 
ALGORISMES GENÈTICS (II) 
 La població serà de mida fixa i cada individu és un 
objecte digital (format imatge, vídeo, Word, PowerPoint) 
 Operacions genètiques: 
 Mutacions (modificacions aleatòries de format) 
 Creuament (encapsular objectes digitals dins d’altres) 
Selecció 
Creuament 
Mutació 
Inserció 
67
SIMULACIÓ BASADA EN 
ALGORISMES GENÈTICS (III) 
 Només es tenen en compte els canvis de format i, per tant, les 
catàstrofes en aquest model seran els canvis del format de moda 
 Els cromosomes, que representaran els objectes digitals, tenen 
la següent estructura: 
 La llibreria emprada per dur a terme la simulació ha estat JENES 
68
SIMULACIÓ BASADA EN 
ALGORISMES GENÈTICS (IV) 
RESULTATS 
 S’han fet també cinc execucions sobre dues configuracions 
diferents: 
 Els resultats són avaluats segons la mitjana del fitness de 
tots els individus 
Formats de 
moda 
Mida 
població 
Generacions 
límit 
Configuració 1 5;4;3;2 20 100 
Configuració 2 3;5;1;4 50 500 
Valor aleatori 
1 2 3 4 5 
1 
0 
Valor aleatori 
Valor aleatori 
Valor 
aleatori 
69 
Format de moda  12345
SIMULACIÓ BASADA EN 
ALGORISMES GENÈTICS (V) 
RESULTATS 
 Configuració 1: 
 Mostra resilence 
 Afectat per l’execució 1 
70 
Mitjana fitness 
Generacions simulació
SIMULACIÓ BASADA EN 
ALGORISMES GENÈTICS (VI) 
RESULTATS 
 Configuració 2: 
 Millor resilence 
 Mitjançant l'evolució, els objectes digitals 
s'adapten als canvis de format 
71 
Mitjana fitness 
Generacions simulació
CONCLUSIONS ANÀLISI 
DEL SISTEMA 
 A aquests models evolutius implementats hem trobat uns primers 
indicis que corroboren la bondat per la preservació digital de: 
 La còpia i la migració de format 
 L'intercanvi entre amics 
 El pressupost digital 
 L'encapsulament d'objectes 
 El model que hem estudiat de genètics és poc realitzable : 
 Població fixa 
 L’estructura rígida del cromosoma 
 L’encapsulament limitat 
 La mutació té força similitud a la còpia i migració en swarm  
descartem implementar-ho al prototipus 
72
CONTINGUTS 
Introducció 
Anàlisi del sistema 
Disseny i implementació del prototipus 
de preservació digital 
Validació i resultats 
Conclusions i treballs futurs 
73
METODOLOGIA (I) 
 S’ha seguit la metodologia INGENIAS 
 S’ha integrat amb la metodologia RUP (Rational Unified 
Process) en les fases d’anàlisi i disseny 
 L’eina emprada ha sigut INGENIAS Development Kit (IDK) 
74
METODOLOGIA (II) 
1 
2 
3 
4 
5 
6 
7 8 
9 
J. J. Gómez-Sanz. Modelado de Sistemas Multi-Agente. PhD thesis, Departamento 
de Sistemas Informáticos y Programación, Universidad Complutense Madrid, 2002. 
75
 El sistema desenvolupat es divideix en dues parts ben 
diferenciades: 
 La interfície d’usuari, que s’ha dissenyat orientada a 
objectes 
 El sistema d’emulació de preservació digital, que es concep 
com un Sistema Multiagent que es basa en gestionar un 
ecosistema d'SPADO (Self Preservation Aware Digital 
Objects) 
76 
DISSENY (I)
77 
DISSENY (II)
IMPLEMENTACIÓ (I) 
 Les pantalles principals del prototipus són: 
 Selecció de fitxers 
78
IMPLEMENTACIÓ (II) 
 Les pantalles principals del prototipus són: 
 Configuració de la xarxa social 
79
IMPLEMENTACIÓ (III) 
 Les pantalles principals del prototipus són: 
 Configuració de paràmetres 
80
IMPLEMENTACIÓ (IV) 
 Les pantalles principals del prototipus són: 
 Inicialització de l'emulació 
81
CONTINGUTS 
Introducció 
Anàlisi del sistema 
Disseny i implementació del prototipus 
de preservació digital 
Validació i resultats 
Conclusions i treballs futurs 
82
VALIDACIÓ (I) 
 Es comparen els resultats obtinguts amb la simulació basada en la 
intel·ligència d'eixam 
 S’han executat els mateixos models emprats en la simulació basada en 
intel·ligència d'eixam 
Paràmetres Model 1 Model 2 
Canvis de format 0,5,4;1,4,3;0,3, 
2 
1,4,3;0,5,3;1,3, 
1 
OD associats a un usuari inicialment entre 1 i 5 entre 1 i 5 
Cost moure’s per la xarxa 2 2 
Cost quedar-se quiet 1 1 
Límit superior pressupost 60 60 
Límit inferior pressupost 20 20 
Cost allotjament en un usuari entre 1 i 10 entre 1 i 10 
Servei de preservació d’un usuari 100 100 
Percentatge esborrat d’usuaris 25% i 33% 25% i 33% 
83
VALIDACIÓ (II) 
 Model 1 
Esborrat del 25% d’usuaris 
 Amb el prototip: més 
còpies i amb mes diversitat 
de formats del previst en les 
primeres simulacions 
 Resilence en les dues 
primeres catàstrofes (4,9 
punts més intensa) 
Esborrat del 33% d’usuaris 
 El prototipus es torna a 
comportar molt millor que la 
simulació d'intel·ligència 
d'eixam. 
 Resilence del prototipus amb 
més “força”(16 punts més 
forta) 
84 
Mitjana entropia 
Steps simulació 
Mitjana entropia 
Steps simulació
VALIDACIÓ (III) 
 Model 2 
Esborrat del 25% d’usuaris 
 El prototip es comporta 
millor, però no mostra 
gaire resilence 
 Catàstrofes afecten més 
al prototip 
Esborrat del 33% d’usuaris 
 El prototip es comporta 
millor, però no mostra gaire 
resilence 
85 
Mitjana entropia 
Steps simulació 
Mitjana entropia 
Steps simulació
DISCUSSIÓ SOBRE EL GRAU 
D’ASSOLIMENT DEL PROTOTIPUS 
Requeriments Validació 
Còpia i migració de format 
Intercanvi entre amics 
Pressupost digital 
OD amb tipus (imatge, vídeo, Word, PowerPoint) 
OD amb tipus concret (ex: Word 2003, 2007, etc) 
Xarxa social basada en amics 
OD amb referència al site “propietari” 
Succeeixen catàstrofes 
Valoració resultats amb entropia 
Validació amb 
•25% d’esborrats 
•33% d’esborrats 
86
DISCUSSIÓ SOBRE EL GRAU 
D’ASSOLIMENT DEL PROTOTIPUS 
Requeriments Validació Bonus 
Còpia i migració de format 
Intercanvi entre amics 
Pressupost digital 
OD amb tipus (imatge, vídeo, Word, PowerPoint) 
OD amb tipus concret (ex: Word 2003, 2007, etc) 
Xarxa social basada en amics 
OD amb referència al site “propietari” 
Succeeixen catàstrofes 
Valoració resultats amb entropia 
Validació amb 
•25% d’esborrats 
•33% d’esborrats 
Càlcul entropia a cada step 
Recompte del número d’objectes a cada step 
Càlcul de nous percentatges per fer experimentació 
87
VÍDEO DEMO PROTOTIPUS 
88
NOUS EXPERIMENTS AMB EL 
PROTOTIPUS (I) 
ESTADÍSTICS 
 Percentatge d’objectes digitals salvats. Entre el 81.91% i el 
96.79% d’objectes salvats 
89
NOUS EXPERIMENTS AMB EL 
PROTOTIPUS (II) 
ESTADÍSTICS 
 Percentatge d’objectes digitals que tenen una còpia compatible 
al site que corresponen. Entre el 63.59% i el 77.35% 
90
CONTINGUTS 
Introducció 
Anàlisi del sistema 
Disseny i implementació del prototipus 
de preservació digital 
Validació i resultats 
Conclusions i treballs futurs 
91
CONCLUSIONS (I) 
 S'ha estudiat i realitzat un prototipus de preservació digital 
basat en agents que treballen sobre una xarxa social 
 En l'anàlisi s’ha fet una incursió en el món de la recerca 
implementant algorismes d'intel·ligència d'eixam i algorismes 
genètics aplicats a la preservació digital 
 Amb els coneixements adquirits en l'anàlisi i de la metodologia 
INGENIAS s’ha fet el disseny del sistema 
 S’ha implementat el prototipus, un software multithread, que 
redueix l'obsolescència i la desaparició dels objectes que tenim 
en l'ordinador, i dóna feedback a l'usuari via interfície gràfica 
 S'ha validat el prototipus i podem dir que la nostra solució 
proporciona noves i interessants prestacions de preservació 
mostrades amb l'entropia i comprovades per l'alt percentatge 
d'objectes salvats en les emulacions realitzades 
92 
50% 
15% 
35%
CONCLUSIONS (II) 
 Del treball desenvolupat en l'anàlisi s'ha enviat a: 
 Olvera, J. A.(2011). An Outline of The Application of Agents to Digital 
Preservation and an Introduction to Self Preservation Aware Digital 
Objects (acceptat). 13th European Agent Systems Summer School 
(EASSS 2011) 
 Olvera, J. A. , and de la Rosa, J. L. (2011). Preliminary Study on Swarm 
Intelligence and Genetic Algorithms Applied to Digital Preservation 
(enviat). 14è Congrés Internacional de l'Associació Catalana 
d'Intel·ligència Artificial (CCIA 2011) 
 S’ha realitzat una proposta de transferència dels 
algorismes desenvolupats en el prototipus (conclusions i 
treballs futurs memòria) 
93
TREBALL FUTUR 
 Transferència a Pyramid 
 Fer més experiments i comprovacions addicionals del 
prototipus 
 Desenvolupar els algorismes, millorant-los en robustesa i 
escalabilitat 
 Implementar dos versions alfa i una beta, i proves amb 
usuaris beta-testers 
 Validació del software 
 S’ha obert una línia de recerca on hi ha nombroses 
millores en la modelització i l’experimentació 
 Simulació basada en la intel·ligència d’eixam 
 Simulació basada en algorismes genètics 
94
LOGO

More Related Content

Similar to An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

De què parlem quan parlem de serveis al núvol?
De què parlem quan parlem de serveis al núvol?De què parlem quan parlem de serveis al núvol?
De què parlem quan parlem de serveis al núvol?Ricard de la Vega
 
Curs 'Innovar x Internet!'. Part 4/4 Innovació i Gestió del coneixement
Curs 'Innovar x Internet!'. Part 4/4 Innovació i Gestió del coneixementCurs 'Innovar x Internet!'. Part 4/4 Innovació i Gestió del coneixement
Curs 'Innovar x Internet!'. Part 4/4 Innovació i Gestió del coneixementXavier Lasauca i Cisa
 
Què són els nous mitjans?
Què són els nous mitjans?Què són els nous mitjans?
Què són els nous mitjans?jvalenting
 
Experiència d'usuari, arquitectura de la informació i disseny d'interfícies p...
Experiència d'usuari, arquitectura de la informació i disseny d'interfícies p...Experiència d'usuari, arquitectura de la informació i disseny d'interfícies p...
Experiència d'usuari, arquitectura de la informació i disseny d'interfícies p...inina
 
Projecte i sad
Projecte i sadProjecte i sad
Projecte i sadDani Blasi
 
First Studies on Self-Preserving Digital Objects
First Studies on Self-Preserving Digital ObjectsFirst Studies on Self-Preserving Digital Objects
First Studies on Self-Preserving Digital ObjectsJose Antonio Olvera
 
Màster Enginyeria Programari Lliure
Màster Enginyeria Programari LliureMàster Enginyeria Programari Lliure
Màster Enginyeria Programari LliureCarles Mateu
 
Activitat 2
Activitat 2Activitat 2
Activitat 2vigavic
 
web 2.0: Desenvolupament de competències digitals per a la gestió de la marca...
web 2.0: Desenvolupament de competències digitals per a la gestió de la marca...web 2.0: Desenvolupament de competències digitals per a la gestió de la marca...
web 2.0: Desenvolupament de competències digitals per a la gestió de la marca...Laura Rosillo Cascante
 

Similar to An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT) (20)

De què parlem quan parlem de serveis al núvol?
De què parlem quan parlem de serveis al núvol?De què parlem quan parlem de serveis al núvol?
De què parlem quan parlem de serveis al núvol?
 
T2 2 big data
T2 2 big dataT2 2 big data
T2 2 big data
 
Curs 'Innovar x Internet!'. Part 4/4 Innovació i Gestió del coneixement
Curs 'Innovar x Internet!'. Part 4/4 Innovació i Gestió del coneixementCurs 'Innovar x Internet!'. Part 4/4 Innovació i Gestió del coneixement
Curs 'Innovar x Internet!'. Part 4/4 Innovació i Gestió del coneixement
 
De què parlem quan parlem de serveis al núvol?
De què parlem quan parlem de serveis al núvol?De què parlem quan parlem de serveis al núvol?
De què parlem quan parlem de serveis al núvol?
 
Què són els nous mitjans?
Què són els nous mitjans?Què són els nous mitjans?
Què són els nous mitjans?
 
Web20
Web20Web20
Web20
 
Innovacamp web 3.0
Innovacamp web 3.0Innovacamp web 3.0
Innovacamp web 3.0
 
Big Data a Catalunya (català)
Big Data a Catalunya (català)Big Data a Catalunya (català)
Big Data a Catalunya (català)
 
Experiència d'usuari, arquitectura de la informació i disseny d'interfícies p...
Experiència d'usuari, arquitectura de la informació i disseny d'interfícies p...Experiència d'usuari, arquitectura de la informació i disseny d'interfícies p...
Experiència d'usuari, arquitectura de la informació i disseny d'interfícies p...
 
La transparència de les entitats no lucratives, Ajuntament de València
La transparència de les entitats no lucratives, Ajuntament de ValènciaLa transparència de les entitats no lucratives, Ajuntament de València
La transparència de les entitats no lucratives, Ajuntament de València
 
Cenatic Ub By Sa Ca
Cenatic Ub By Sa CaCenatic Ub By Sa Ca
Cenatic Ub By Sa Ca
 
Projecte i sad
Projecte i sadProjecte i sad
Projecte i sad
 
First Studies on Self-Preserving Digital Objects
First Studies on Self-Preserving Digital ObjectsFirst Studies on Self-Preserving Digital Objects
First Studies on Self-Preserving Digital Objects
 
Màster Enginyeria Programari Lliure
Màster Enginyeria Programari LliureMàster Enginyeria Programari Lliure
Màster Enginyeria Programari Lliure
 
Carles Sans - Bdigital
Carles Sans - BdigitalCarles Sans - Bdigital
Carles Sans - Bdigital
 
Coul
CoulCoul
Coul
 
Coul
CoulCoul
Coul
 
Web1.2.3.0
Web1.2.3.0Web1.2.3.0
Web1.2.3.0
 
Activitat 2
Activitat 2Activitat 2
Activitat 2
 
web 2.0: Desenvolupament de competències digitals per a la gestió de la marca...
web 2.0: Desenvolupament de competències digitals per a la gestió de la marca...web 2.0: Desenvolupament de competències digitals per a la gestió de la marca...
web 2.0: Desenvolupament de competències digitals per a la gestió de la marca...
 

Recently uploaded

XARXES UBANES I LA SEVA PROBLEMÀTICA.pptx
XARXES UBANES I LA SEVA PROBLEMÀTICA.pptxXARXES UBANES I LA SEVA PROBLEMÀTICA.pptx
XARXES UBANES I LA SEVA PROBLEMÀTICA.pptxCRIS650557
 
MECANISMES I CINEMÀTICA 1r DE BATXILLERAT
MECANISMES I CINEMÀTICA 1r DE BATXILLERATMECANISMES I CINEMÀTICA 1r DE BATXILLERAT
MECANISMES I CINEMÀTICA 1r DE BATXILLERATLasilviatecno
 
ESCOLAERNESTLLUCHINFORME_BAREM_RESOLTES_BAREM.pdf
ESCOLAERNESTLLUCHINFORME_BAREM_RESOLTES_BAREM.pdfESCOLAERNESTLLUCHINFORME_BAREM_RESOLTES_BAREM.pdf
ESCOLAERNESTLLUCHINFORME_BAREM_RESOLTES_BAREM.pdfErnest Lluch
 
SISTEMA DIÈDRIC. PLANS, PAREL·LELISME,PERPENDICULARITAT,
SISTEMA DIÈDRIC. PLANS, PAREL·LELISME,PERPENDICULARITAT,SISTEMA DIÈDRIC. PLANS, PAREL·LELISME,PERPENDICULARITAT,
SISTEMA DIÈDRIC. PLANS, PAREL·LELISME,PERPENDICULARITAT,Lasilviatecno
 
Sílvia_López_Competic3_bloc000002_C8.pdf
Sílvia_López_Competic3_bloc000002_C8.pdfSílvia_López_Competic3_bloc000002_C8.pdf
Sílvia_López_Competic3_bloc000002_C8.pdfsilvialopezle
 
Plans Estudi per Especialitats - El Musical
Plans Estudi per Especialitats - El MusicalPlans Estudi per Especialitats - El Musical
Plans Estudi per Especialitats - El Musicalalba444773
 

Recently uploaded (8)

XARXES UBANES I LA SEVA PROBLEMÀTICA.pptx
XARXES UBANES I LA SEVA PROBLEMÀTICA.pptxXARXES UBANES I LA SEVA PROBLEMÀTICA.pptx
XARXES UBANES I LA SEVA PROBLEMÀTICA.pptx
 
MECANISMES I CINEMÀTICA 1r DE BATXILLERAT
MECANISMES I CINEMÀTICA 1r DE BATXILLERATMECANISMES I CINEMÀTICA 1r DE BATXILLERAT
MECANISMES I CINEMÀTICA 1r DE BATXILLERAT
 
ESCOLAERNESTLLUCHINFORME_BAREM_RESOLTES_BAREM.pdf
ESCOLAERNESTLLUCHINFORME_BAREM_RESOLTES_BAREM.pdfESCOLAERNESTLLUCHINFORME_BAREM_RESOLTES_BAREM.pdf
ESCOLAERNESTLLUCHINFORME_BAREM_RESOLTES_BAREM.pdf
 
HISTÒRIES PER A MENUTS II. CRA Serra del Benicadell.pdf
HISTÒRIES PER A MENUTS II. CRA  Serra del Benicadell.pdfHISTÒRIES PER A MENUTS II. CRA  Serra del Benicadell.pdf
HISTÒRIES PER A MENUTS II. CRA Serra del Benicadell.pdf
 
SISTEMA DIÈDRIC. PLANS, PAREL·LELISME,PERPENDICULARITAT,
SISTEMA DIÈDRIC. PLANS, PAREL·LELISME,PERPENDICULARITAT,SISTEMA DIÈDRIC. PLANS, PAREL·LELISME,PERPENDICULARITAT,
SISTEMA DIÈDRIC. PLANS, PAREL·LELISME,PERPENDICULARITAT,
 
Sílvia_López_Competic3_bloc000002_C8.pdf
Sílvia_López_Competic3_bloc000002_C8.pdfSílvia_López_Competic3_bloc000002_C8.pdf
Sílvia_López_Competic3_bloc000002_C8.pdf
 
Plans Estudi per Especialitats - El Musical
Plans Estudi per Especialitats - El MusicalPlans Estudi per Especialitats - El Musical
Plans Estudi per Especialitats - El Musical
 
itcs - institut tècnic català de la soldadura
itcs - institut tècnic català de la soldaduraitcs - institut tècnic català de la soldadura
itcs - institut tècnic català de la soldadura
 

An Outline of the Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (EASSS 2011) (PPT)

  • 2. CONTENTS INTRODUCTION AGENTIFICATION AGENTIFICATION OF DIGITAL OBJECTS AGENTIFICATION OF DP SOCIAL NETWORKS AGENTIFICATION OF DP SERVICES 2 REMARKS PROPOSAL
  • 3. CONTENTS INTRODUCTION AGENTIFICATION AGENTIFICATION OF DIGITAL OBJECTS AGENTIFICATION OF DP SOCIAL NETWORKS AGENTIFICATION OF DP SERVICES 3 REMARKS PROPOSAL
  • 4. INTRODUCTION  The challenge in preserving valuable digital information is real and growing at an exponential pace  2008: 422 Exabytes new digital 4 information was created x2 every 18 months http://www.storagenewsletter.com/news/miscellaneous/idc-digital-information-created
  • 5. OBJECTIVES  The mission of this Research is:  Distribute the DP efforts  Make Digital Preservation easy enough for individuals, companies and general institutions  Help to reduce the cost and increase the capacity of memory institutions to preserve digital information for the long-term  As a first attempt, in this paper will lay the foundations for a new object-centric DP paradigm with AGENTS 5
  • 6. CONTENTS INTRODUCTION AGENTIFICATION AGENTIFICATION OF DIGITAL OBJECTS AGENTIFICATION OF DP SOCIAL NETWORKS AGENTIFICATION OF DP SERVICES 6 REMARKS PROPOSAL
  • 7. AGENTIFICATION (I)  We will design agents that suit the needs of DP, introducing agency properties to the DP actors  1st  Identify actors  Digital Objects  resilience  Users  expertise  Services  scalability  2nd Agentification: Applying agency properties to the actors 7
  • 8. AGENTIFICATION (II)  This approaches answer three questions derived from Berman statements:  WHEN (preserving a DO and whether is affordable) is necessary to preserve  HOW (the solutions of the Users) to do WHAT (the DP Services) is necessary to be done  Three approaches might coexist: AOUS (Agentification of Objects, Users and Services) 8
  • 9. AGENTIFICATION (III) Characteristic Digital Object (SPADO) Social network (Users) Services Autonomous Social Competitive Cooperative Coopetitive Proactive Mission ? ? 9
  • 10. CONTENTS INTRODUCTION AGENTIFICATION AGENTIFICATION OF DIGITAL OBJECTS AGENTIFICATION OF DP SOCIAL NETWORKS AGENTIFICATION OF DP SERVICES 10 REMARKS PROPOSAL
  • 11. BUCKETS  Buckets were designed to imbue information objects with certain responsibilities such:  The display  Dissemination  Protection  Maintenance  As SPADOs will do Nelson M. 2001, Buckets: Smart Objects for Digital Libraries, PhD thesis, Old Dominion Univ. 11
  • 12. AGENTIFICATION OF DIGITAL OBJECTS  Agents might encapsulate the versions they migrated to  Their mission is to stay alive as long as possible (accessible, authentic, readable)  With their own budget for attracting DP know-how and services:  SPADO (Self-Preservation Aware Digital Object)  Preservation paradigm with three types of agents • The digital object has the role of “caring” for itself • The users “pay” for its preservation and provide know-how for “curate” it • The DP services compete to “preserve” it  Object-level preservation budget • The more interest in this DO, the more budget it will receive and the more likely it will be preserved 12 Format Redun-dancy SPADO Social Multi-components Mission Budget
  • 13. PRELIMINARY RESULTS  Two evolutionary computing approaches are taken, one from swarm intelligence and another one from genetic algorithms. 13 Swarm Intelligence (SI) Simulations based on Genetic Algorithms(GA)
  • 14. PRELIMINARY RESULTS  Two evolutionary computing approaches are taken, one from swarm intelligence and another one from genetic algorithms. 14 Swarm Intelligence (SI) Simulations based on Genetic Algorithms(GA)
  • 15. PRELIMINARY RESULTS IN SWARM INTELLIGENCE  Split the preservation budget for their operations and descendents  Descendents might have a same or different format  Checksum, migration or version charge to the budget and being accessed by users increase it  When a descendant run out of budget, it tries to go back to its ancestors site to get further DP budget 15
  • 16. PRELIMINARY RESULTS IN SWARM INTELLIGENCE  Catastrophes consist in a sudden change of a ¼ or 1/3 of the sites, because of an update in their software that provoke massive changes and migrations in the format of the DOs that are there stored. MEASURE  Shannon Entropy: to know whether there is enough diversity of formats that provide the sufficient resilience to recover back to the former state after each catastrophe. n  H ( x )   p  log p i 2 i i 1  Being resilient means the capacity of gaining back the lost entropy. 16
  • 17. PRELIMINARY RESULTS IN SWARM INTELLIGENCE CATASTROPHES 17 Average entropy Steps simulation  The red line (execution 2) shows in average 85% of resilience
  • 18.  Two evolutionary computing approaches are taken, one from swarm intelligence and another one from genetic algorithms. 18 Swarm Intelligence (SI) Simulations based on Genetic Algorithms(GA) PRELIMINARY RESULTS
  • 19.  Two evolutionary computing approaches are taken, one from swarm intelligence and another one from genetic algorithms. 19 Swarm Intelligence (SI) Simulations based on Genetic Algorithms(GA) PRELIMINARY RESULTS
  • 20. PRELIMINARY RESULTS IN GENETIC ALGORITHMS  DOs genetic code is characterized by their formats 20  Genetic operations:  Mutation (random formatting changes)  Cross (encapsulation of DO into other DO)
  • 21. PRELIMINARY RESULTS IN GENETIC ALGORITHMS  Instead of entropy, a fitness function is used to measure how adapted is the population of DOs CATASTROPHES  It shows resilience, but is affected by the execution 1 21 Average fitness Generation simulation
  • 22. VALIDATION  This is validated with a PROTOTYPE  Designed in INGENIAS (methodology)  Implemented in Java 22
  • 23. CONTENTS INTRODUCTION AGENTIFICATION AGENTIFICATION OF DIGITAL OBJECTS AGENTIFICATION OF DP SOCIAL NETWORKS AGENTIFICATION OF DP SERVICES 23 REMARKS PROPOSAL RESILIENCE
  • 24. AGENTIFICATION OF DP SOCIAL NETWORKS  Most of the work that bloggers and Web sites do on the Internet is, in fact, connecting people with other resources and people. This is a reference function.  Libraries are trying to integrate and assimilate this “social networking” world.  From this level comes the need to assign at least one agent to every contributor or consumer, every user in the social network, to automate a certain amount of knowledge exchange. 24
  • 25. AGENTIFICATION OF DP SOCIAL NETWORKS  This is our aim in this approach, to provide tools to help people developing agents and let them create a network of agents that handle DP QAs for SPADOs.  Results are in PROTAGE (PReservation Organizations using Tools in AGent Environments) project  With this approach we obtain the (DP) EXPERTISE 25
  • 26. CONTENTS INTRODUCTION AGENTIFICATION AGENTIFICATION OF DIGITAL OBJECTS AGENTIFICATION OF DP SOCIAL NETWORKS AGENTIFICATION OF DP SERVICES 26 REMARKS PROPOSAL RESILIENCE EXPERTISE
  • 27. AGENTIFICATION OF DP SERVICES  According to the W3C Web Services Architecture note, a Web Service is an abstract notion that can be implemented by a concrete agent  Our approach named "Shout and Act", a type of swarm intelligence for communication and coordination of agents is inspired by rescue robots: the files, all DOs, that need preservation are called the “victims”.  They COMPETE: to be the first at finding a DO with DP needs  They COOPERATE: when they see they cannot handle it. 27
  • 28. AGENTIFICATION OF DP SERVICES  The result is a number of agents that search a user's file system, a site for DOs 28 1400 1200 1000 800 600 400 200 0 Low Medium High Heterogeneous (varying skills) Homogeneous (combined super-skilled) 10A+4B 14C High Medium Low Performance of homogeneous vs. heterogeneous agents vs. an exponential growth of the number of digital objects. Y-axis is the qualitative average processing effort per agent and x-axis is a qualitative order magnitude of the number of digital objects (high = 10 times medium = 100 times low)
  • 29. CONTENTS INTRODUCTION AGENTIFICATION AGENTIFICATION OF DIGITAL OBJECTS AGENTIFICATION OF DP SOCIAL NETWORKS AGENTIFICATION OF DP SERVICES 29 REMARKS PROPOSAL RESILIENCE EXPERTISE SCALABILITY
  • 30. CONTENTS INTRODUCTION AGENTIFICATION AGENTIFICATION OF DIGITAL OBJECTS AGENTIFICATION OF DP SOCIAL NETWORKS AGENTIFICATION OF DP SERVICES 30 REMARKS PROPOSAL
  • 31. REMARKS  DP should be taken seriously as a “killer application” of agents Comparison of the AOUS appr. Objects Users Services 31 Scalability Expected to be good Improve the social networks Good (if heterogeneous agents) Resilience Good ? Expected to be Good Optimization of the DP budget Proved ? ? Openness Very Good Good Still a challenge Improves Digital Preservation Awareness Good Very Good ? Synergy with ? Web 3.0 Antivirus and backup services  The proofs of concept show that resilience under tight DP budgets and scalability are achievable
  • 32. CONTENTS INTRODUCTION AGENTIFICATION AGENTIFICATION OF DIGITAL OBJECTS AGENTIFICATION OF DP SOCIAL NETWORKS AGENTIFICATION OF DP SERVICES 32 REMARKS PROPOSAL
  • 33. RESEARCH PROPOSAL  Make Digital Objects more intelligent  Make the environment where they work more intelligent too.  Previous work: Buckets 33 SPADO Social networks Services Nelson M. 2001, Buckets: Smart Objects for Digital Libraries, PhD thesis, Old Dominion Univ.
  • 34. LOGO
  • 35. PRELIMINARY RESULTS IN SWARM INTELLIGENCE CATASTROPHE IVmidaegoe ffoorrmmaatt:: 13 42 35 1 2 3 4 5 The Users Digital Objects and different formats Users affected by catastrophes
  • 36. INTRODUCTION (III)  In 2011, looking at what is hot on the Web and in IT development, many scientists wonder Where are all agents?  And we wonder how can they be applied to Digital Preservation?  We will show three approaches to an answer to those questions:  Agentification of digital objects and the architecture of the SPADO (self-preservation aware digital objects)  Agentification of the DP social networks  Agentification of the preservation web services 36
  • 37. AGENTIFICATION OF DP SOCIAL NETWORKS  Most of the work that bloggers and Web sites do on the Internet is, in fact, connecting people with other resources and people. This is a reference function.  Libraries are trying to integrate and assimilate this “social networking” world.  The changing reference world will produce new information agents which is also a very promising and enriching trend, especially from our approach if agents were doing the job. 37
  • 38. AGENTIFICATION OF DP SOCIAL NETWORKS  DP questions and answers (QA) provide ways to describe how needs are defined, how people understand them, and how questions are answered  Our aim is to expand social networks through the use of agents that reduce the burden of answering repetitive questions  Agents should link data, agents, and people to find answers.  Agents should encapsulate such linking information as well as content, and they should avoid spamming 38
  • 39. AGENTIFICATION OF DP SERVICES  The teams of preservation agents comprise agents of type:  A, whose main goal is to detect files as potential victims that need migration actions  B , that are fewer and slower in detecting victim than the type A agents, though they have superior abilities to appraise and rescue victims. They follow the shouts that type A agents emit.  The shouts are of a magnitude that could be proportional to the severity of the digital injuries of the victim. Shouts disappear time after being emitted, and disperse with distance in a metric created from file systems 39
  • 40. SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (IV) RESULTATS  S’han fet també cinc execucions sobre dues configuracions diferents:  Els resultats són avaluats segons la mitjana del fitness de tots els individus Formats de moda Mida població Generacions límit Configuració 1 5;4;3;2 20 100 Configuració 2 3;5;1;4 50 500 Valor aleatori 1 2 3 4 5 1 0 Valor aleatori Valor aleatori Valor aleatori 40 Format de moda  12345
  • 42. SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (III)  Només es tenen en compte els canvis de format i, per tant, les catàstrofes en aquest model seran els canvis del format de moda  Els cromosomes, que representaran els objectes digitals, tenen la següent estructura:  La llibreria emprada per dur a terme la simulació ha estat JENES 42
  • 43. REMARKS (I)  DP should be taken seriously as a killer application of agents.  If all the three agentification approaches were combined, there will result the smart DP environment necessary to support the SPADOs activities 43
  • 44. LOGO
  • 45. CONTINGUTS Introducció Anàlisi del sistema Disseny i implementació del prototipus de preservació digital Validació i resultats Conclusions i treballs futurs 45
  • 46. CONTINGUTS Introducció Anàlisi del sistema Disseny i implementació del prototipus de preservació digital Validació i resultats Conclusions i treballs futurs 46
  • 47. MOTIVACIONS  Està emmarcat en el projecte PRESERVA TIN-2010- 17903 (Comparative approaches to the implementation of intelligent agents in digital preservation from a perspective of the automation of social networks)  L’objectiu és implementar aproximacions de preservació digital mitjançant agents que treballen sobre una xarxa social 47
  • 48. PRESERVACIÓ DIGITAL (I)  La preservació digital combina les polítiques, estratègies i accions que garanteixin l'accés als continguts digitals al llarg del temps  Els fitxers poden ser fàcilment destruïts o emmagatzemats en un format o suport que es torna obsolet 48
  • 50. OBJECTIU  L’objectiu principal és desenvolupar un prototipus de preservació digital que:  Permeti emular la preservació digital d’agents que representen fitxers del nostre ordinador  Els agents interactuïn amb un entorn simulat que representa una xarxa social on succeeixen catàstrofes 50
  • 51. ABAST  Els resultats que es pretenen obtenir són:  Una anàlisi del sistema basat en algorismes d'intel·ligència d'eixam i algorismes genètics  Un prototipus en mode emulació  Una proposta de transferència tecnològica  La memòria d'aquest projecte 51
  • 52. CONTINGUTS Introducció Anàlisi del sistema Disseny i implementació del prototipus de preservació digital Validació i resultats Conclusions i treballs futurs 52
  • 53. ANÀLISI DEL SISTEMA  Les estratègies de preservació es classifiquen en dues aproximacions:  La preservació de l’entorn tecnològic (emulació)  La superació de l’obsolescència dels formats de fitxers (migració)  El projecte PRESERVA necessita la implementació d’algorismes de computació evolutiva  Simularem les migracions de format amb tècniques d'intel·ligència d’eixam i algorismes genètics per la seva aplicació en la preservació digital Muñoz, A. M., Lopez, J. A. & Caicedo, E. F., Inteligencia de enjambres: sociedades para la solución de problemas (una revisión). Ingeniería e Investigación, 2008. 28: p. 119-130. 53
  • 54. SIMULACIONS REALITZADES Intel·ligència d’eixam (Swarm Intelligence) Simulacions basades en Algorismes genètics (Genetic Algorithms) 54
  • 55. SIMULACIONS REALITZADES Intel·ligència d’eixam (Swarm Intelligence) Simulacions basades en Algorismes genètics (Genetic Algorithms) 55
  • 56. SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (I)  L’analogia emprada és la següent:  Objectes digitals (vídeo o imatge) ≡ formigues  Usuaris xarxa (servei de preservació)≡ aliment  Ordinadors xarxa ≡ hàbitats  El programa emprat ha estat Repast-Simphony 56
  • 57. SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (II) CATÀSTROFE format={ } Format ivmídaetgoe: : 13 42 57 1 2 3 4 5 1 2 3 4 5 Agents usuari Objectes Digitals i els seus possibles formats Usuaris afectats per catàstrofe
  • 58. SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (III) RESULTATS  Entropia de Shannon: Com més alt és el valor d’entropia preveiem millor preservabilitat  major resistència i recuperació davant catàstrofes n  H ( x )   p  log p i 2 i  i 1         , 2 , ( ) log     H x   p  p i j i j  n i 1 j 5 1  5 1 , i , j , k i k i j f f p On:  n és el total d'objectes digitals originals  j són els diferents formats que hi ha, que són 5  pi,j és el percentatge que suposen les còpies de format j respecte el total de còpies que té un objecte digital original i  k són els diferents formats que hi ha Adaptat als models simulats 58
  • 59. SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (IV) RESULTATS Paràmetres Model 1 Model 2 Canvis de format 0,5,4;1,4,3;0,3,2 1,4,3;0,5,3;1,3,1 OD associats a un usuari inicialment entre 1 i 5 entre 1 i 5 Cost moure’s per la xarxa 2 2 Cost quedar-se quiet 1 1 Límit superior pressupost 60 60 Límit inferior pressupost 20 20 Cost allotjament en un usuari entre 1 i 10 entre 1 i 10 Servei de preservació d’un usuari 100 100 Percentatge esborrat d’usuaris 25% i 33% 25% i 33%  Durada:15 anys on succeeix una catàstrofe cada 5 anys  Suposant que 3 steps ≡ 1mes, hi haurà una catàstrofe cada 180 steps i la simulació tindrà una duració de 540 steps  S’ha executat un total de 5 vegades (estabilitat estadística) 59
  • 60. SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (V) RESULTATS  Model 1 Esborrat del 25% d’usuaris  Execució 2 mostra resilence Esborrat del 33% d’usuaris  Execució 4, després de la primera catàstrofe mostra resilence 60 Mitjana entropia Mitjana entropia Steps simulació Steps simulació
  • 61. SIMULACIÓ BASADA EN INTEL·LIGÈNCIA D’EIXAM (VI) RESULTATS  Model 2 Esborrat del 25% d’usuaris  Resilence interessant després de la segona catàstrofe Esborrat del 33% d’usuaris  No es mostra gaire resilence 61 Mitjana entropia Steps simulació Mitjana entropia Steps simulació
  • 62. SIMULACIONS REALITZADES Intel·ligència d’eixam (Swarm Intelligence) Simulacions basades en Algorismes genètics (Genetic Algorithms) 62
  • 63. SIMULACIONS REALITZADES Intel·ligència d’eixam (Swarm Intelligence) Simulacions basades en Algorismes genètics (Genetic Algorithms) 63
  • 64. SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (I)  La població serà de mida fixa i cada individu és un objecte digital (format imatge, vídeo, Word, PowerPoint)  Operacions genètiques:  Mutacions (modificacions aleatòries de format)  Creuament (encapsular objectes digitals dins d’altres) 64
  • 65. SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (II)  La població serà de mida fixa i cada individu és un objecte digital (format imatge, vídeo, Word, PowerPoint)  Operacions genètiques:  Mutacions (modificacions aleatòries de format)  Creuament (encapsular objectes digitals dins d’altres) 65
  • 66. SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (II)  La població serà de mida fixa i cada individu és un objecte digital (format imatge, vídeo, Word, PowerPoint)  Operacions genètiques:  Mutacions (modificacions aleatòries de format)  Creuament (encapsular objectes digitals dins d’altres) 66
  • 67. SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (II)  La població serà de mida fixa i cada individu és un objecte digital (format imatge, vídeo, Word, PowerPoint)  Operacions genètiques:  Mutacions (modificacions aleatòries de format)  Creuament (encapsular objectes digitals dins d’altres) Selecció Creuament Mutació Inserció 67
  • 68. SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (III)  Només es tenen en compte els canvis de format i, per tant, les catàstrofes en aquest model seran els canvis del format de moda  Els cromosomes, que representaran els objectes digitals, tenen la següent estructura:  La llibreria emprada per dur a terme la simulació ha estat JENES 68
  • 69. SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (IV) RESULTATS  S’han fet també cinc execucions sobre dues configuracions diferents:  Els resultats són avaluats segons la mitjana del fitness de tots els individus Formats de moda Mida població Generacions límit Configuració 1 5;4;3;2 20 100 Configuració 2 3;5;1;4 50 500 Valor aleatori 1 2 3 4 5 1 0 Valor aleatori Valor aleatori Valor aleatori 69 Format de moda  12345
  • 70. SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (V) RESULTATS  Configuració 1:  Mostra resilence  Afectat per l’execució 1 70 Mitjana fitness Generacions simulació
  • 71. SIMULACIÓ BASADA EN ALGORISMES GENÈTICS (VI) RESULTATS  Configuració 2:  Millor resilence  Mitjançant l'evolució, els objectes digitals s'adapten als canvis de format 71 Mitjana fitness Generacions simulació
  • 72. CONCLUSIONS ANÀLISI DEL SISTEMA  A aquests models evolutius implementats hem trobat uns primers indicis que corroboren la bondat per la preservació digital de:  La còpia i la migració de format  L'intercanvi entre amics  El pressupost digital  L'encapsulament d'objectes  El model que hem estudiat de genètics és poc realitzable :  Població fixa  L’estructura rígida del cromosoma  L’encapsulament limitat  La mutació té força similitud a la còpia i migració en swarm  descartem implementar-ho al prototipus 72
  • 73. CONTINGUTS Introducció Anàlisi del sistema Disseny i implementació del prototipus de preservació digital Validació i resultats Conclusions i treballs futurs 73
  • 74. METODOLOGIA (I)  S’ha seguit la metodologia INGENIAS  S’ha integrat amb la metodologia RUP (Rational Unified Process) en les fases d’anàlisi i disseny  L’eina emprada ha sigut INGENIAS Development Kit (IDK) 74
  • 75. METODOLOGIA (II) 1 2 3 4 5 6 7 8 9 J. J. Gómez-Sanz. Modelado de Sistemas Multi-Agente. PhD thesis, Departamento de Sistemas Informáticos y Programación, Universidad Complutense Madrid, 2002. 75
  • 76.  El sistema desenvolupat es divideix en dues parts ben diferenciades:  La interfície d’usuari, que s’ha dissenyat orientada a objectes  El sistema d’emulació de preservació digital, que es concep com un Sistema Multiagent que es basa en gestionar un ecosistema d'SPADO (Self Preservation Aware Digital Objects) 76 DISSENY (I)
  • 78. IMPLEMENTACIÓ (I)  Les pantalles principals del prototipus són:  Selecció de fitxers 78
  • 79. IMPLEMENTACIÓ (II)  Les pantalles principals del prototipus són:  Configuració de la xarxa social 79
  • 80. IMPLEMENTACIÓ (III)  Les pantalles principals del prototipus són:  Configuració de paràmetres 80
  • 81. IMPLEMENTACIÓ (IV)  Les pantalles principals del prototipus són:  Inicialització de l'emulació 81
  • 82. CONTINGUTS Introducció Anàlisi del sistema Disseny i implementació del prototipus de preservació digital Validació i resultats Conclusions i treballs futurs 82
  • 83. VALIDACIÓ (I)  Es comparen els resultats obtinguts amb la simulació basada en la intel·ligència d'eixam  S’han executat els mateixos models emprats en la simulació basada en intel·ligència d'eixam Paràmetres Model 1 Model 2 Canvis de format 0,5,4;1,4,3;0,3, 2 1,4,3;0,5,3;1,3, 1 OD associats a un usuari inicialment entre 1 i 5 entre 1 i 5 Cost moure’s per la xarxa 2 2 Cost quedar-se quiet 1 1 Límit superior pressupost 60 60 Límit inferior pressupost 20 20 Cost allotjament en un usuari entre 1 i 10 entre 1 i 10 Servei de preservació d’un usuari 100 100 Percentatge esborrat d’usuaris 25% i 33% 25% i 33% 83
  • 84. VALIDACIÓ (II)  Model 1 Esborrat del 25% d’usuaris  Amb el prototip: més còpies i amb mes diversitat de formats del previst en les primeres simulacions  Resilence en les dues primeres catàstrofes (4,9 punts més intensa) Esborrat del 33% d’usuaris  El prototipus es torna a comportar molt millor que la simulació d'intel·ligència d'eixam.  Resilence del prototipus amb més “força”(16 punts més forta) 84 Mitjana entropia Steps simulació Mitjana entropia Steps simulació
  • 85. VALIDACIÓ (III)  Model 2 Esborrat del 25% d’usuaris  El prototip es comporta millor, però no mostra gaire resilence  Catàstrofes afecten més al prototip Esborrat del 33% d’usuaris  El prototip es comporta millor, però no mostra gaire resilence 85 Mitjana entropia Steps simulació Mitjana entropia Steps simulació
  • 86. DISCUSSIÓ SOBRE EL GRAU D’ASSOLIMENT DEL PROTOTIPUS Requeriments Validació Còpia i migració de format Intercanvi entre amics Pressupost digital OD amb tipus (imatge, vídeo, Word, PowerPoint) OD amb tipus concret (ex: Word 2003, 2007, etc) Xarxa social basada en amics OD amb referència al site “propietari” Succeeixen catàstrofes Valoració resultats amb entropia Validació amb •25% d’esborrats •33% d’esborrats 86
  • 87. DISCUSSIÓ SOBRE EL GRAU D’ASSOLIMENT DEL PROTOTIPUS Requeriments Validació Bonus Còpia i migració de format Intercanvi entre amics Pressupost digital OD amb tipus (imatge, vídeo, Word, PowerPoint) OD amb tipus concret (ex: Word 2003, 2007, etc) Xarxa social basada en amics OD amb referència al site “propietari” Succeeixen catàstrofes Valoració resultats amb entropia Validació amb •25% d’esborrats •33% d’esborrats Càlcul entropia a cada step Recompte del número d’objectes a cada step Càlcul de nous percentatges per fer experimentació 87
  • 89. NOUS EXPERIMENTS AMB EL PROTOTIPUS (I) ESTADÍSTICS  Percentatge d’objectes digitals salvats. Entre el 81.91% i el 96.79% d’objectes salvats 89
  • 90. NOUS EXPERIMENTS AMB EL PROTOTIPUS (II) ESTADÍSTICS  Percentatge d’objectes digitals que tenen una còpia compatible al site que corresponen. Entre el 63.59% i el 77.35% 90
  • 91. CONTINGUTS Introducció Anàlisi del sistema Disseny i implementació del prototipus de preservació digital Validació i resultats Conclusions i treballs futurs 91
  • 92. CONCLUSIONS (I)  S'ha estudiat i realitzat un prototipus de preservació digital basat en agents que treballen sobre una xarxa social  En l'anàlisi s’ha fet una incursió en el món de la recerca implementant algorismes d'intel·ligència d'eixam i algorismes genètics aplicats a la preservació digital  Amb els coneixements adquirits en l'anàlisi i de la metodologia INGENIAS s’ha fet el disseny del sistema  S’ha implementat el prototipus, un software multithread, que redueix l'obsolescència i la desaparició dels objectes que tenim en l'ordinador, i dóna feedback a l'usuari via interfície gràfica  S'ha validat el prototipus i podem dir que la nostra solució proporciona noves i interessants prestacions de preservació mostrades amb l'entropia i comprovades per l'alt percentatge d'objectes salvats en les emulacions realitzades 92 50% 15% 35%
  • 93. CONCLUSIONS (II)  Del treball desenvolupat en l'anàlisi s'ha enviat a:  Olvera, J. A.(2011). An Outline of The Application of Agents to Digital Preservation and an Introduction to Self Preservation Aware Digital Objects (acceptat). 13th European Agent Systems Summer School (EASSS 2011)  Olvera, J. A. , and de la Rosa, J. L. (2011). Preliminary Study on Swarm Intelligence and Genetic Algorithms Applied to Digital Preservation (enviat). 14è Congrés Internacional de l'Associació Catalana d'Intel·ligència Artificial (CCIA 2011)  S’ha realitzat una proposta de transferència dels algorismes desenvolupats en el prototipus (conclusions i treballs futurs memòria) 93
  • 94. TREBALL FUTUR  Transferència a Pyramid  Fer més experiments i comprovacions addicionals del prototipus  Desenvolupar els algorismes, millorant-los en robustesa i escalabilitat  Implementar dos versions alfa i una beta, i proves amb usuaris beta-testers  Validació del software  S’ha obert una línia de recerca on hi ha nombroses millores en la modelització i l’experimentació  Simulació basada en la intel·ligència d’eixam  Simulació basada en algorismes genètics 94
  • 95. LOGO

Editor's Notes

  1. Cal descriure els requeriments i especificacions duts a terme en l’anàlisi que s’han acabat implementant i quins no: S’han implementat les operacions i requeriments que feien referència a la simulació basada en la intel·ligència d’eixam, que eren vuit. No s’han implementat les especificacions que feien referència als algorismes genètics, que eren dos (encapsulació i mutació).
  2. Cal descriure els requeriments i especificacions duts a terme en l’anàlisi que s’han acabat implementant i quins no: S’han implementat les operacions i requeriments que feien referència a la simulació basada en la intel·ligència d’eixam, que eren vuit. No s’han implementat les especificacions que feien referència als algorismes genètics, que eren dos (encapsulació i mutació).