Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

tech4comp - Kompetenzmessung durch Datenanalyse für E-Assessment

170 views

Published on

LSWT2019 Talk by Roy Meissner, AKSW/Universität Leipzig

Published in: Technology
  • Login to see the comments

  • Be the first to like this

tech4comp - Kompetenzmessung durch Datenanalyse für E-Assessment

  1. 1. Kompetenzmessung durch Datenanalyse für E-Assessment Prof. Dr. Andreas Thor & Roy Meissner Hochschule für Telekommunikation Leipzig & Universität Leipzig thor@hft-leipzig.de, roy.meissner@uni-leipzig.de Im Rahmen des tech4comp Projektes
  2. 2. 2@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Projekt tech4comp ● BMBF-Projekt, 7,3 Mio. €, 3 ½ Jahre bis 2022, 34 Mitwirkende ● Thematik: Personalisierte Kompetenzentwicklung durch skalierbare (E-)Mentoringprozesse ● Teilgebiet Uni-Leipzig (DB): ● E-Assessment (Modulbegleitend & Prüfung) ● Kompetenzermittlung durch Assessment-Analyse
  3. 3. 3@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner E-Assessment-Item (Single-Choice-Beispiel)
  4. 4. 4@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Datenanalyse für E-Assessment • Item-basierte Analyse, u.a. • Schwierigkeitsgrad • Trennschärfe • … • Nutzer-basierte Analyse • Durchschnitts- / Gesamtpunktzahl • Rankings / Perzentilen • … • Kompetenzprofile? • Ausnutzen falscher Antworten? Item Nr. Nutzer A B 1 2 3 4 5 6 7 8 9 10
  5. 5. 5@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Annotation von Items mit Metadaten Anforderungsstufe Thema
  6. 6. 6@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Item Nutzer Nr. Thema Anford. St. A B 1 RM Erinnern 3 SQL Erinnern 4 RM Erinnern 7 SQL Erinnern 10 SQL Erinnern 2 RM Verstehen 5 SQL Verstehen 9 RM Verstehen 6 RM Anwenden 8 SQL Anwenden Datenanalyse für E-Assessment mit Metadaten Item Nutzer Nr. Thema Anford. St. A B 1 RM Erinnern 2 RM Verstehen 3 SQL Erinnern 4 RM Erinnern 5 SQL Verstehen 6 RM Anwenden 7 SQL Erinnern 8 SQL Anwenden 9 RM Verstehen 10 SQL Erinnern
  7. 7. 7@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Identifikation von Kompetenzen bei falschen Antworten 5 + 3 = 8 – 1 = 4 2 5 + 3 = 8 – 1 = 2 9 A B Erinnern Verstehen Anwenden Analysieren Evaluieren Erschaffen Berechnung Summe & Differenz Zuordnung Symbol & Operation
  8. 8. 8@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Kompetenzanalyse durch E-Assessment • Automatische Annotation von Items mit Metadaten (u.a. Anforderungsstufe) als Grundlage zur Identifikation von Kompetenzprofilen durch Datenanalyse / Data Mining • Automatische Generierung und Strukturierung von Items zur Identifikation von Teilkompetenzen, z.B. auf niedrigerer Anforderungsstufe, bei (teilweise) falschen Antworten Das E-Assessment-Literacy Tool www.easlit.de
  9. 9. 9@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Vokabular & Shapes für E-Assessment ● Auf Basis von RDF(S) und SHACL (explizit nicht OWL) – Aufspannen eines Konzept- und Eigenschafts-Raums – Intendierte Nutzung auf Basis von SHACL Shapes eal:Item a rdfs:Class ; rdfs:comment "Super Class ..."@en ; rdfs:label "Question Item"@en . eal:FreeTextItem a rdfs:Class ; rdfs:comment "A free text item"@en ; rdfs:label "Free Text Item"@en ; rdfs:subClassOf eal:Item . eal:ItemShape a sh:NodeShape ; sh:targetClass eal:Item, eal:FreeTextItem ; sh:property [ a sh:PropertyShape ; sh:path dct:title ; sh:dataType xsd:string ; sh:minCount 1 ; sh:maxCount 1 . ] ; … . https://gitlab.com/Tech4Comp/eal-vocabulary-and-shapes
  10. 10. 10@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Herausforderungen Vokabular & Shapes ● Aus Vokabular und Shapes visuelle Graphen generieren ● Tool-Unterstützung für Passung von Vokabular, Shapes und Standarddaten ● Shacl-Shapes vglw. neu – Wenig Tool-Unterstützung – Existierende Tools unterstützen nicht die volle Shacl Spezifikation – Shape Nutzung für „on the fly“ Schema Validierung
  11. 11. 11@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Automatisierte thematische Einordnung ● „Gegeben seien die Relationenschemata R (a,b) und S (c,d). Attribut b ist ein Fremdschlüssel auf S mit der Löschregel ON DELETE CASCADE. Bei welchem der folgenden Ereignisse kommt die Löschregel zur Anwendung?“ Begriffe: ● Löschregel (Regel) ● Anwendung ● Attribut ● Fremdschlüssel (Schlüssel) ● Ereignis ● Relationenschemata (Schemata)● http://de.dbpedia.org/resource/Eigenschaft ● http://de.dbpedia.org/resource/ Schlüssel_(Datenbank) Text- Analyse DBpedia- Spotlight
  12. 12. 12@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Automatisierte thematische Einordnung Schlüssel label: unique key Wikidata: primary key subject:Data Modeling subClassOf: unique key also known as: ... Beste Abbildung part of: relational database Ergibt: ● Datenmodellierung ● Primärschlüssel (Schlüssel) ● Relational ● Datenbank ● … Begriffe: ● Löschregel (Regel) ● Anwendung ● Attribut ● Fremdschlüssel (Schlüssel) ● Ereignis ● Relationenschemata (Schemata) Domänenmodell Datenbank Löschregel Tabelle Schlüssel Relational Primärschlüssel Spalte Cluster Relationale Datenbanken
  13. 13. 13@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Datenaustausch per QUIT-Store Quit Service A Service B Service C Web Uni-Leipzig Git-Upstreams (Push/Pull) Sparql Quit Service A Service E Service C Uni-Halle Sparql Service D
  14. 14. 14@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Quit { } Concepts-Graph { } Data-Graph https://eal.uni-leipzig.de/data - https://eal.uni-leipzig.de/item/1 - ... https://eal.uni-leipzig.de/concepts - https://tech4comp.org/Item - ...
  15. 15. 15@LSWT2019, Leipzig, 20.05.2019 Andreas Thor & Roy Meissner Herausforderungen ● Datentausch erzeugt neue Graphen in Ziel-Store – Transfer problemlos (Graphen sind isomorph) – Custom/Selektiver-Merge zw. (Daten-)Graphen nötig – Ohne Custom-Merge keine Synchronizität der Daten – Weicht von Git-Flow ab – Store muss Blank-Node Management unterstützen ● (Teil-)Lösung: Aufgabe von Linked-Data Prinzipien – Graph-Bezeichner und URI-Prefixes in jedem Store gleich ● Bspw. http://tech4comp.org/… – URIs werden wie herkömmliche IDs genutzt (nicht wie Verweise) – Probleme: ● Keine Linked-Data Vorteile mehr ● Software muss herkömmlich implementiert werden

×