LSWT2019 Talk by Roy Meissner, AKSW/Universität Leipzig

1. Kompetenzmessung durch
Datenanalyse für E-Assessment
Prof. Dr. Andreas Thor & Roy Meissner
Hochschule für Telekommunikation Leipzig & Universität Leipzig
thor@hft-leipzig.de, roy.meissner@uni-leipzig.de
Im Rahmen des tech4comp Projektes

2. 2@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Projekt tech4comp
● BMBF-Projekt, 7,3 Mio. €, 3 ½ Jahre bis 2022, 34 Mitwirkende
● Thematik: Personalisierte Kompetenzentwicklung durch
skalierbare (E-)Mentoringprozesse
● Teilgebiet Uni-Leipzig (DB):
● E-Assessment (Modulbegleitend & Prüfung)
● Kompetenzermittlung durch Assessment-Analyse

3. 3@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
E-Assessment-Item (Single-Choice-Beispiel)

4. 4@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Datenanalyse für E-Assessment
• Item-basierte Analyse, u.a.
• Schwierigkeitsgrad
• Trennschärfe
• …
• Nutzer-basierte Analyse
• Durchschnitts- / Gesamtpunktzahl
• Rankings / Perzentilen
• …
• Kompetenzprofile?
• Ausnutzen falscher Antworten?
Item
Nr.
Nutzer
A B
1
2
3
4
5
6
7
8
9
10

5. 5@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Annotation von Items mit Metadaten
Anforderungsstufe
Thema

6. 6@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Item Nutzer
Nr. Thema Anford. St. A B
1 RM Erinnern
3 SQL Erinnern
4 RM Erinnern
7 SQL Erinnern
10 SQL Erinnern
2 RM Verstehen
5 SQL Verstehen
9 RM Verstehen
6 RM Anwenden
8 SQL Anwenden
Datenanalyse für E-Assessment mit Metadaten
Item Nutzer
Nr. Thema Anford. St. A B
1 RM Erinnern
2 RM Verstehen
3 SQL Erinnern
4 RM Erinnern
5 SQL Verstehen
6 RM Anwenden
7 SQL Erinnern
8 SQL Anwenden
9 RM Verstehen
10 SQL Erinnern

7. 7@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Identifikation von Kompetenzen bei falschen Antworten
5 + 3 =
8 – 1 =
4
2
5 + 3 =
8 – 1 =
2
9
A B
Erinnern
Verstehen
Anwenden
Analysieren
Evaluieren
Erschaffen
Berechnung Summe & Differenz
Zuordnung Symbol & Operation

8. 8@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Kompetenzanalyse durch E-Assessment
• Automatische Annotation von Items mit Metadaten (u.a.
Anforderungsstufe) als Grundlage zur Identifikation von
Kompetenzprofilen durch Datenanalyse / Data Mining
• Automatische Generierung und Strukturierung von Items
zur Identifikation von Teilkompetenzen, z.B. auf niedrigerer
Anforderungsstufe, bei (teilweise) falschen Antworten
Das E-Assessment-Literacy Tool
www.easlit.de

9. 9@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Vokabular & Shapes für E-Assessment
●
Auf Basis von RDF(S) und SHACL (explizit nicht OWL)
– Aufspannen eines Konzept- und Eigenschafts-Raums
– Intendierte Nutzung auf Basis von SHACL Shapes
eal:Item
a rdfs:Class ;
rdfs:comment "Super Class ..."@en ;
rdfs:label "Question Item"@en .
eal:FreeTextItem
a rdfs:Class ;
rdfs:comment "A free text item"@en ;
rdfs:label "Free Text Item"@en ;
rdfs:subClassOf eal:Item .
eal:ItemShape
a sh:NodeShape ;
sh:targetClass eal:Item, eal:FreeTextItem ;
sh:property [
a sh:PropertyShape ;
sh:path dct:title ;
sh:dataType xsd:string ;
sh:minCount 1 ;
sh:maxCount 1 .
] ;
… .
https://gitlab.com/Tech4Comp/eal-vocabulary-and-shapes

10. 10@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Herausforderungen Vokabular & Shapes
●
Aus Vokabular und Shapes visuelle Graphen
generieren
●
Tool-Unterstützung für Passung von Vokabular,
Shapes und Standarddaten
●
Shacl-Shapes vglw. neu
– Wenig Tool-Unterstützung
– Existierende Tools unterstützen nicht
die volle Shacl Spezifikation
– Shape Nutzung für „on the fly“ Schema Validierung

11. 11@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Automatisierte thematische Einordnung
● „Gegeben seien die Relationenschemata R (a,b) und S (c,d). Attribut b
ist ein Fremdschlüssel auf S mit der Löschregel ON DELETE CASCADE.
Bei welchem der folgenden Ereignisse kommt die Löschregel zur
Anwendung?“
Begriffe:
● Löschregel (Regel)
● Anwendung
● Attribut
● Fremdschlüssel (Schlüssel)
● Ereignis
●
Relationenschemata
(Schemata)●
http://de.dbpedia.org/resource/Eigenschaft
●
http://de.dbpedia.org/resource/
Schlüssel_(Datenbank)
Text-
Analyse
DBpedia-
Spotlight

12. 12@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Automatisierte thematische Einordnung
Schlüssel label:
unique key
Wikidata:
primary key
subject:Data
Modeling
subClassOf:
unique key
also known
as: ...
Beste
Abbildung
part of:
relational database Ergibt:
●
Datenmodellierung
●
Primärschlüssel
(Schlüssel)
●
Relational
●
Datenbank
●
…
Begriffe:
●
Löschregel (Regel)
●
Anwendung
●
Attribut
●
Fremdschlüssel (Schlüssel)
●
Ereignis
●
Relationenschemata (Schemata)
Domänenmodell
Datenbank
Löschregel
Tabelle
Schlüssel
Relational Primärschlüssel
Spalte
Cluster Relationale Datenbanken

13. 13@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Datenaustausch per QUIT-Store
Quit
Service A
Service B
Service C
Web
Uni-Leipzig
Git-Upstreams (Push/Pull)
Sparql
Quit
Service A
Service E
Service C
Uni-Halle
Sparql
Service D

14. 14@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Quit
{ }
Concepts-Graph
{ }
Data-Graph
https://eal.uni-leipzig.de/data
- https://eal.uni-leipzig.de/item/1
- ...
https://eal.uni-leipzig.de/concepts
- https://tech4comp.org/Item
- ...

15. 15@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner
Herausforderungen
● Datentausch erzeugt neue Graphen in Ziel-Store
– Transfer problemlos (Graphen sind isomorph)
– Custom/Selektiver-Merge zw. (Daten-)Graphen nötig
– Ohne Custom-Merge keine Synchronizität der Daten
– Weicht von Git-Flow ab
– Store muss Blank-Node Management unterstützen
● (Teil-)Lösung: Aufgabe von Linked-Data Prinzipien
– Graph-Bezeichner und URI-Prefixes in jedem Store gleich
● Bspw. http://tech4comp.org/…
– URIs werden wie herkömmliche IDs genutzt (nicht wie Verweise)
– Probleme:
● Keine Linked-Data Vorteile mehr
● Software muss herkömmlich implementiert werden