Dileo Presentation (in Greek)
Upcoming SlideShare
Loading in...5
×
 

Dileo Presentation (in Greek)

on

  • 990 views

Evaluation is a very vital research interest in the digital library domain. This has been exhibited by the growth of the literature in the main conferences and journal papers. However it is very ...

Evaluation is a very vital research interest in the digital library domain. This has been exhibited by the growth of the literature in the main conferences and journal papers. However it is very difficult for one to navigate in this extended corpus. For these reasons the DiLEO ontology has been developed in order to assist the exploration of important concepts and the discovery of trends in the evaluation of digital libraries. DiLEO is a domain ontology, which aims to conceptualize the DL evaluation domain by correlating its key entities and provide reasoning paths that support the design of evaluation experiments.

Statistics

Views

Total Views
990
Views on SlideShare
718
Embed Views
272

Actions

Likes
0
Downloads
0
Comments
0

3 Embeds 272

http://www.ionio.gr 261
http://dlib.ionio.gr 9
http://www.linkedin.com 2

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Dileo Presentation (in Greek) Dileo Presentation (in Greek) Presentation Transcript

  • DiLEOμια οντολογία πεδίουγια την αξιολόγησητων ψηφιακών βιβλιοθηκώνdbis/dlib/ionio
  • δομή- Εισαγωγή- Περί αξιολόγησης ψηφιακών βιβλιοθηκών - Μοντελοποίηση της αξιολόγησης ψηφιακών βιβλιοθηκών- Μια οντολογική αναπαράσταση της αξιολόγησης των ψηφιακών βιβλιοθηκών - Οντολογίες - Παρουσίαση του DiLEO 2
  • εν συντομία- Μια οντολογία - Για τη σύγκριση στιγμιοτύπων - Για την υποστήριξη του σχεδιασμού των αξιολογήσεων 3
  • κίνητρο- Η δημιουργία ενός σχήματος καταγραφής και σύγκρισης στιγμιοτύπων αξιολογήσεων.- Απώτερος στόχος είναι η κάλυψη της ασυμφωνίας μοντέλων αξιολόγησης μέσα από ένα δομημένο και τυπικό μετά-μοντέλο. “the lack of globally accepted abstract evaluation models and methodologies can be counterbalanced by collecting, publishing and analyzing current research activities” [Führ et al., 2007]- Ταυτόχρονα ένα εργαλείο σχεδιασμού αξιολογήσεων. “Every evaluation should begin with a well-crafted plan. Writing an evaluation plan is not just common sense. It is an essential roadmap to successful evaluation!” [Reeves et a., 2003]. 4
  • μέρος άπερί αξιολόγησης ψηφιακώνβιβλιοθηκών
  • μοντελοποίηση αξιολόγησης- Δεν αναφερόμαστε σε μοντέλα αξιολόγησης ψηφιακών βιβλιοθηκών, αλλά στην προτυποποίηση της ίδιας της διαδικασίας.- Αναφορά σε πέντε κύριες προσπάθειες: - Στην ταξινόμηση του Saracevic [2004] - Στο Evaluation Computer [Kovacs & Micsik, 2004] - Στο πλαίσιο PRET A Rapporter [Blandford et al., 2007] - Στο μοντέλο 5SQual [Goncalves et al., 2007] - Στο πλαίσιο Zachman 6
  • η ταξινόμηση του Saracevic- Μια ταξινόμηση μελετών αξιολόγησης σύμφωνα με: - το ποιά στοιχεία αξιολογήθηκαν (Constructs) - το πλαίσιο της αξιολόγησης (Context) - τα κριτήρια που χρησιμοποιήθηκαν (Criteria) - τη μεθοδολογία που ακολουθήθηκε (Methodology) 7
  • η ταξινόμηση του Saracevic- Διαχώρισε τις μελέτες αξιολόγησης σε αυτές που προτείνουν μοντέλα αξιολόγησης και σε αυτές που αναφέρουν αποτελέσματα μελετών αξιολόγησης.- Ο Saracevic διαμόρφωσε μια έννοια (Context) για να συμπυκνώσει όλες τις υψηλόβαθμες ερωτήσεις, όπως γιατί αξιολογεί κάποιος, ποιός είναι στόχος του κλπ.- Ταυτόχρονα αφιέρωσε μια κατηγορία για να κατατάξει τις μελέτες σύμφωνα με το τί αξιολόγηθηκε (Constructs) και δύο κατηγορίες (Criteria, Methodology) για να κατάταξει τις μελέτες σύμφωνα με το πως αυτές διεξάγονται. 8
  • the evaluation computer- Μια φασετική ταξινόμηση διαφορετικών οπτικών, οι οποίες συνθέτουν μια πραγμάτωση μιας αξιολόγησης ή ένα ‘evaluation atom’.- Μέτρηση της απόστασης μεταξύ δύο ατόμων μέσα σε έναν χώρο. 9
  • the evaluation computer- Πέντε φασέτες: - Σύστημα - Περιεχόμενο - Οργανισμός - Χρήστης - Αξιολόγηση 10
  • PRET A Rapporter- Ένα πλαίσιο αξιολόγησης το οποίο δίνει έμφαση στo περιβάλλον εργασίας στο οποίο συντελείται.- Σύμφωνα με τους συγγραφείς έχει χαρακτηριστικά που βοηθούν την σχεδίαση μιας αξιολόγησης.- Δομεί τις αξιολογήσεις σύμφωνα με: - τον σκοπό της αξιολόγησης - τις πηγές και τους περιορισμοί - τα ηθικά ζητήματα - τη συλλογή δεδομένων - την ανάλυση δεδομένων - την αναφορά δεδομένων 11
  • PRET A Rapporter- To PRET A Rapporter κινείται περιπτωσιολογικά. Πρακτικά αυτό σημαίνει ότι εστιάζει σε συγκεκριμένες διαστάσεις σε κάθε μια από τις τρεις μελέτες που - ενδεικτικά - παρουσιάζει. - μια σχηματική αξιολόγηση ενός συστήματος - μια συγκριτική αξιολόγηση δύο διεπαφών της ίδιας βάσης - μια ποιοτική μελέτη ενός συστήματος σε χρήση 12
  • 5SQual- Στηρίζεται στο πολυ γνωστό πλαίσιο περιγραφής των ψηφιακών βιβλιοθηκών 5S (Streams, Structures, Spaces, Scenarios, & Societies).- Το μοντέλο ορίζει κάποιες διαστάσεις (κριτήρια) που αντιστοιχούνται σε συστατικά στοιχεία των ψηφιακών βιβλιοθηκών.- Οι συγγραφείς παραθέτουν μια σειρά από μελέτες, παραδείγματα χρήσης όπως λένε χαρακτηριστικά, όπου γίνεται εφαρμογή αυτών των κριτηρίων σε ψηφιακές βιβλιοθήκες, όπως ACM DL, CITIDEL και NDLTD. 13
  • Έννοια ΨΒ Διάσταση ποιότητας Έννοιες του 5SDigital object Accessibility Societies (actor), Structures (metadata specification), Streams + Structures (structured streams) Pertinence Societies (actor), Scenarios (task) Preservability Streams, Structures (structural metadata), Scenarios (process (e.g., migration) Relevance Streams + Structures (structured streams), Structures (query), Spaces (Metric, Similarity Same as in relevance, Structures (citation/link patterns) Significance Structures (citation/link patterns) Timeliness Streams (time), Structures (citation/link patterns)Metadata specification Accuracy Structure (properties, values) Completeness Structure (properties, schema) Conformance Structure (properties, schema)Collection Completeness Structure (collection)Catalog Completeness Structure (collection) Consistency Structure (collection)Repository Completeness Structure (collection) Consistency Structure (catalog, collection)Services Composability See Extensibility, reusability Efficiency Streams (time), Spaces (operations, contraints) Effectiveness See Pertinence, Relevance Extensibility Societies + Scenarios (extends, inherits_from, redefines) Reusability Societies + Scenarios (includes, reuses) Reliability Societies + Scenarios (uses, executes, invokes) 14
  • το πλαίσιο του Zachman- Το Zachman Framework είναι ένα πλαίσιο εταιρικής αρχιτεκτονικής - John Zachman, IBM, αρχές του 1980.- Αποτυπώνει μια τυπική και σε υψηλό επίπεδο δομημένη οπτική ενός οργανισμού. Μια ταξονομία για την οργάνωση δομικών στοιχείων του οργανισμού υπό το πρίσμα συγκεκριμένων οπτικών.- Κατηγοριοποιεί και οργανώνει σε μια δυσδιάστατη περιοχή όλες τις έννοιες που χρειάζονται να είναι ομογενοποιημένες και εκφράζουν τις διάφορες προοπτικές του σχεδιασμού. - Σύμφωνα με τους συμμετέχοντες (εναλλακτικές προοπτικές). - Σύμφωνα με τις λειτουργίες (ερωτήσεις). 15
  • ο πίνακας του Zachman What How Where Who When Why Data Process Location Worker Timing Motivation Core Major Scope Business Principal Business Mission [Planner] Business Business Locations Actors Events & Goals Concepts Transformations Business Business Workflow Business Policy Model Fact Model Tasks Connectivity [Owner] Models Milestones Charter Map Platform & StateSystem Model Data Behavior Rule [Evaluator] Communications BRScripts Transition Model Allocation Book Map Diagrams Technology Relational Technical Plat- Procedure & Work Queue Program Rule Model Database form & Commu- Interface & Scheduling [Evaluator] Specifications Specifications Design nications Design Specifications Designs Detail Database Source Procedures & Work Queues Rulerepresentation Network [Evaluator] Schema Code Interfaces & Schedules Base Functioning Operational Operational Operational Operational Operational Operational Bus Procedures & Work Queues [Evaluator] Database Object Cod Network Rules Interfaces & Schedules 16
  • μέρος β’μια οντολογική αναπαράσταση τηςαξιολόγησης των ψηφιακώνβιβλιοθηκών
  • γιατί μια οντολογία;- Τυπικα μοντέλα που μας βοηθούν: - να καταλάβουμε ένα πεδίο γνώσης. Στη συγκεκριμένη περίπτωση το πεδίο αξιολόγησης ψηφιακών βιβλιοθηκών. - να οικοδομηθεί μια βάση γνώσης για την αντιπαράθεση διαφορετικών στιγμιοτύπων. Στη συγκεκριμένη περίπτωση στιγμιότυπα αξιολόγησης των ψηφιακών βιβλιοθηκών. - να συμπεράνουμε κάποια λογική εξέλιξη. Στη συγκεκριμένη περίπτωση να υποστηρίξουν τον σχεδιασμό αξιολογήσεων. 18
  • γιατί μια οντολογία;- Τα προηγούμενα σχήματα τοποθετούνται “κάθετα” σε συγκεκριμένους χώρους, π.χ. το PRET A Rapporter έχει μια HCI οπτική ή το 5SQual εξετάζει τη διάσταση της ποιότητας.- Δηλώνουν έννοιες (συστατικά), είτε των ψηφιακών βιβλιοθηκών, είτε της αξιολόγησης, αλλά όχι τις μεταξύ τους συσχετίσεις. - Στόχος είναι μέσω των συσχετίσεων να αναδειχθούν οι σύνδεσμοι μεταξύ των εννοιών και να ενισχυθούν αυτές σημασιολογικά. - Επίσης είναι δυνατό να εκφραστούν μονοπάτια, τα οποία αναδεικνύουν εναλλακτικές ή συμπληρωματικές έννοιες και διαδρομές. 19
  • οντολογίες- Χρησιμοποιούμε “συστατικά” όπως: - Κλάσεις (αντιπροσωπεύουν έννοιες, οντότητες, κλπ.) - Συσχετίσεις (σύνδεσμοι μεταξύ των εννοιών) - Συναρτήσεις (περιορισμοί συσχετίσεων) - Αξιώματα (αναπαράσταση αληθινών προτάσεων) - Στιγμιότυπα (πραγματικά στοιχεία - αντιπρόσωποι κλάσεων) 20
  • διαδικασία σύνταξης- Η DiLEO είναι αποτέλεσμα κάποιων διαδικασιών: - Βιβλιογραφική μελέτη και επισκόπηση - με επιλογή των κατάλληλων εννοιών - με συνεχή εξερεύνηση των κατάλληλων συσχετίσεων - Καταγραφή της σε γλώσσα OWL - Πιστοποίηση - μέσα από τη συζήτηση και την άσκηση στα πλαίσια του tutorial στο ECDL 2010 - μέσα από μια συζήτηση εστίασης (focus group) με ερευνητές του πεδίου μας 21
  • μια τυπική απεικόνιση της αξιολόγησης- Ανάπτυξη σε OWL με το Protégé Ontology Editor - http://protege.stanford.edu/ 22
  • το ανώτερο επίπεδοLevelscontent level, processing isAffecting / isAffectedBy Research uestions isDecomposedTolevel, engineering level,interface level, individuallevel, institutional level,social level Dimensions effectiveness, performance measurement, service quality, Subjects isCharacterizing/ technical excellence, outcomes isCharacterizedBy assessment isOperatedBy isOperating isFocusingOn Characteristics isAimingAt isCharacterizing/ Objects isCharacterizedBy Goals describe, document, design hasDiminsionsType Dimensions Type formative, summative, iterative 23
  • το κατώτερο επίπεδο Instruments devices, scales, soware, statistics, narrative items, research artifacts isUsedIn/isUsing isSupporting/isSupportedBy isReportedIn/isReporting hasPerformed/isPerformedIn hasMeansTypeFindings Activity Means Means Types record, measure, analyze, compare, Comparison studies, qualitative, interpret, report, recommend expert studies, quantitative laboratory studies, field studies, logging hasSelected/isSelectedIn studies, surveys CriteriaCriteria Categories isDependingOn specific aims, standards, toolkits isGrouped/isGrouping isMeasuredBy/isMeasuring isSubjectTo Metrics Factors content initiated, system initiated, cost, inastructure, user initiated personnel, time 24
  • σύνδεση μεταξύ των επιπέδων Levels Dimensions Subjects content level, processing effectiveness, performance level, engineering level, measurement, service quality, interface level, individual technical excellence, outcomes level, institutional level, assessment Objects social level hasConstituent isAppliedTo /isConstituting Research uestions Activity Means record, measure, analyze, compare, Comparison studies,isAddressing interpret, report, recommend expert studies, laboratory studies, Findings field studies, logging studies, surveys hasInitiatedFrom Metrics content initiated, system initiated, user initiated 25
  • συσχετίσεις- Μερικές από τις σαράντα (40) συσχετίσεις Συσχέτιση Πεδίο ορισμού Πεδίο τιμώνisCitedIn / inverse: isCiting Appellations/study identifier (AP/stid) Appellations/study reference (AP/strf)Constraints: max cardinality=1hasDimensionsType Dimensions (D) Dimensions Type (DT)Constraints: min cardinality=1, ∃ (formative ∪ summative ∪ iterative)isAffecting inverse: isAffectedBy Dimensions (D) Level (L)min cardinality =1, ∃ (content level ∪ engineering level ∪ processing level ∪ interface level ∪ individual level ∪institutional level ∪ social level)hasConstituent / inverse: isConstituting Dimensions (D) Activities (A)Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)isSupporting / inverse: isSupportedBy Instruments (I) Activities (A)Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend) 26
  • χρήση της οντολογίας- χρησιμοποιούμε “μονοπάτια” της οντολογία για να εκφράσουμε ρητώς μια ροή ή μια απαίτηση. Για παράδειγμα:- Activities/analyze - isPerformedIn - Means/logging studies- hasMeansType - Means Type/quantitative isPerformedIn hasMeansTypeActivity Means Means Typesrecord, measure, analyze, compare, Comparison studies, qualitative,interpret, report, recommend expert studies, quantitative laboratory studies, eld studies, logging studies, surveys 27
  • χρήση της οντολογίας- Level/individual level - isAffectedBy - Dimensions/performance measurement - isFocusingOn - Objects/usage of content/usage of data - isOperatedBy - Subjects/human agents - isCharacterizedby - Characteristics/experience- ... isCharacterizedby - Characteristics/discipline- ... isCharacterizedby - Characteristics/age isAffectedByLevels Dimensions Subjectscontent level, processing effectiveness, performance system agents, human isCharacterizedbylevel, engineering level, measurement, service quality, agentsinterface level, individual technical excellence, outcomes Characteristics age, count, discipline,level, institutional level, assessment experience, profession,social level isFocusingOn isOperatedBy Objects usage of content: usage of data, usage of metadata 28
  • στιγμιότυπα- Εισαγωγή στιγμιοτύπων στο Protégé. 29
  • παραδείγματα ερωτήσεων- Ρωτάμε τη βάση γνώσης με SPARQL ερωτήματα - Ας υποθέσουμε ότι θέλουμε να σχεδιάσουμε μια αξιολόγηση με μελέτη αρχείων καταγραφής (logs). - Κατά τον σχεδιασμό της αξιολόγησης μας ενδιαφερόμαστε να μάθουμε τα ερευνητικά ερωτήματα των αντίστοιχών μελετών. - Για να αντλήσουμε αυτή την πληροφορία από τη βάση γνώσης θα χρειαστεί να συντάξουμε ένα SPARQL ερώτημα. 30
  • παραδείγματα ερωτήσεων- Το ερώτημα και οι απαντήσεις θα έχουν αυτή τη μορφή: απαντήσεις τα ερευνητικά ερωτήματα (στην πρώτη στήλη) από δύο μελέτες (wm2008c και nzdl2000) που έκαναν χρήση αρχείων καταγραφής (στη δεύτερη στήλη), SPARQL ερώτημα SELECT DISTINCT ?Research_QuestionsInst ?Means WHERE { ?Research_QuestionsInst a<Research_Questions>. ?Dimensions a<Technical_Excellence>. ?Activity a <Record>. ?Means a <Logs>. ?Research_QuestionsInst<isBelongingTo> ?Dimensions. ?Dimensions<hasConstituent> ?Activity. ?Activity<isPerformedIn> ?Means } 31
  • πηγές- Η βιβλιογραφία βρίσκεται διαθέσιμη στο: http://www.mendeley.com/groups/731821/dileo/ 32