Alternative Methoden für die Analyse
von Freitextantworten im E-Learning.
Neue Potenziale für eAssessment?

Dr. Marco Kalz...
Struktur
 Hintergrund

 Latent Semantische Analyse (LSA)

    Methode

    Anwendungsbeispiele

 CELSTEC Prototypen

    P...
Forschungsfokus


eAssessment Lösungen für die Geistes-, Sozial- und
Erziehungswissenschaften
Fokus: Kurse mit vielen Teil...
Frage-Antwort-Typen im
eAssessment
Offene vs. geschlossen




Hartig & Klieme 2007
Latent Semantische Analyse
Entwickelt von Deerwester, Dumais, Furnas, Landauer, &
Harshman 1990) bei der Firma Bellcore La...
LSA Beispiel (Gorrell 2005)
1.) Textinput (Meist Dokumente/Paragraphen)
   "The man walked the dog"
"The man took the dog ...
LSA Beispiel
3.) Ergebnis der Eigenwertzerlegung (SVD)


4.) Latent Semantischer Raum: Suche/Vergleich
eAssessment mit LSA
Essay Scoring Systems
Question Answering Systems
Automated Tutoring Systems
Selection of Educational M...
Placement Support Service

          Similarity of
          documents as
          signal for prior
          knowledge
Placement Support Service
Placement Support Service
Peer Tutor Locator (van
Rosmalen)     1!          2!




         3!
                          4!
Peer Tutor Locator
Zusammenfassung
Beide Prototypen sind im Rahmen von PhD Projekten
evaluiert worden
Beide Prototypen konnten effizient die A...
Erkenntnisse
Hoher Erstellungsaufwand am Anfang
Einige kontextuelle Faktoren, die Übertragbarkeit
einschränken
Lokalisieru...
Ein Essay-Scoring Scenario
   Edumedia: Einzelaufgaben (Freitext)
   Benotete Referenzbeispiele

Cluster Sehr gut - gut


...
Future Tutoring Scenarios




  Andrew Olney, University of Memphis
Future Tutoring Scenarios




  Andrew Olney, University of Memphis
Fragen? Feedback?


               http://celstec.org
Upcoming SlideShare
Loading in …5
×

Alternative Methoden für die Analyse von Freitextantworten im E-Learning. Neue Potenziale für eAssessment?

1,367 views

Published on

In this presentation I discuss several new approaches for e-Assessment involving peer tutoring and semantic analysis techniques like LSA.

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,367
On SlideShare
0
From Embeds
0
Number of Embeds
9
Actions
Shares
0
Downloads
5
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Sehr geehrte Damen und Herren, vielen Dank für die Einladung zum Forschungskolloquium hier in Duisburg. Ich werde mich heute mit dem Thema der computergestützten Analyse von Freitextantworten im E-Assessment beschäftigen. Der Vortrag basiert zum Teil auf einem Vortrag, den ich Anfang Januar auf der OnlinEduca in Berlin gehalten habe.
  • Zunächst werde ich Ihnen kurz etwas zur Motivation erläutern, die uns dazu geführt hat, uns mit Freitextantworten zu beschäftigen. Anschließend werde ich kurz etwas zu einer Methode sagen, die wir in verschiedenen Projekten eingesetzt haben. Anschließend werde ich 2 Prototypen vorstellen, die wir in den letzten Jahren entwickelt und evaluiert haben. Diese Erfahrungen aus den beiden Projekten werde ich zusammenfassen und ein Beispiel für ein mögliches Essay Scoring System für Edumedia zu geben. Am Ende werde ich Ihnen in einem ca. 2-minütigen Video einen Ausblick in die Zukunft der computergestützten Unterstützung von Lernern geben.
  • Der Grund, warum wir uns mit der computergestützten Auswertung von Freitextantworten beschäftigen ist, dass dieses Antwortformat in den Geistes-, Sozial- und Erziehungswissenschaften einen hohen Stellenwert hat, während reine Wissensabfragen über z.B. Multiple-Choice hier eher selten vorkommen. Ein weiterer Grund für die Untersuchung nach alternativen Auswertungsverfahren von Freitextantworten sind einige Kurse an der OUNL, die oft mit mehr als 200 TN absolviert werden. Hier kann die tutorielle Betreuung meist nicht zufriedenstellend gewährleistet werden. Zunehmende Bedeutung erhalten auch non-formale Lernangebote, bei denen die Rolle eines Tutors gar nicht vorhanden ist.
  • Um zu sehen, wie Freitextantworten im eAssessment gehandhabt werden steigen wir doch direkt einmal ein mit dem Gewinner des diesjährigen Medidaprix, dem eAssessment Center der Universität Bremen ein. Auf dieser Folie sehen wir, welche Fragetypen in diesem eAssessment-Center benutzt werden können. Wie wir hier lesen können, findet die Auswertung der Texte manuell statt.
  • Hartig & Klieme haben 2007 einmal offene mt geschlossenen Antwortformaten verglichen und sehen besonders die zeitaufwendige Beantwortung und aufwendige Auswertung als Nachteil. In diesem Vortrag will ich Ihnen eine Methode vorstellen, mit der bei der computertestützten Auswertung von Freitextantworten schon beachtliche Erfolge erzielt wurden.
  • Entwickelt wurde das Verfahren von Mitarbeitern der Firma Bellcore, die bis zu diesem Jahr in den USA auch ein Patent darauf hatten. Generell handelt es sich bei der LSA um ein rein mathematisch-statistisches Modell, das das Vorkommen von bedetungstragenden Wörtern zusammen mit anderen bedeutungstragenden Wörtern analysiert. Dabei ist es ein rein semantisches Modell, das keinerlei Syntax oder Grammatik in Betracht zieht.
  • Diese Methode wurde in den USA zur Entwicklung von unterschiedlichen Systemen verwendet.
  • An der OUNL haben wir das Verfahren angewendet, um Lerner und Lehrende bei der Auswertung von Portfolios für die Annerkennung von bereits erworbenem Wissen zu unterstützen. Dabei wurde LSA benutzt, um die Ähnlichkeit zwischen von den Lernern in der Vergangenheit geschriebenen Texten und Kursinhalten in einem gewählten Studienprogramm zu berechnen.
  • Alternative Methoden für die Analyse von Freitextantworten im E-Learning. Neue Potenziale für eAssessment?

    1. 1. Alternative Methoden für die Analyse von Freitextantworten im E-Learning. Neue Potenziale für eAssessment? Dr. Marco Kalz Centre for Learning Sciences and Technologies (CELSTEC) Open University of the Netherlands marco.kalz@ou.nl
    2. 2. Struktur Hintergrund Latent Semantische Analyse (LSA) Methode Anwendungsbeispiele CELSTEC Prototypen Placement Support Service Advanced (Peer) Tutor Locator Zusammenfassung Erkenntnisse Ein Essay Scoring System für Edumedia Tutoring der Zukunft?
    3. 3. Forschungsfokus eAssessment Lösungen für die Geistes-, Sozial- und Erziehungswissenschaften Fokus: Kurse mit vielen Teilnehmern (x>200) Fokus: Non-formale Lernzenarien
    4. 4. Frage-Antwort-Typen im eAssessment
    5. 5. Offene vs. geschlossen Hartig & Klieme 2007
    6. 6. Latent Semantische Analyse Entwickelt von Deerwester, Dumais, Furnas, Landauer, & Harshman 1990) bei der Firma Bellcore Labs Statistisches Verfahren für die Berechnung der Ähnlichkeit von Texten auf der Basis von Ko-Okurrenzen Rein semantischer Ansatz, keine Syntax Mehrstufiges Verfahren: TDM - SVD - Query Vektobasiertes Verfahren: Ähnlichkeit durch Winkel zwischen 2 Vektoren Vorteil gegenüber Keyword-Verfahren: Latente Ähnlichkeit
    7. 7. LSA Beispiel (Gorrell 2005) 1.) Textinput (Meist Dokumente/Paragraphen) "The man walked the dog" "The man took the dog to the park" "The dog went to the park" 2.) Term-Dokumenten-Matrix (TDM)
    8. 8. LSA Beispiel 3.) Ergebnis der Eigenwertzerlegung (SVD) 4.) Latent Semantischer Raum: Suche/Vergleich
    9. 9. eAssessment mit LSA Essay Scoring Systems Question Answering Systems Automated Tutoring Systems Selection of Educational Material Matching employees profiles with tasks Automated Summarization
    10. 10. Placement Support Service Similarity of documents as signal for prior knowledge
    11. 11. Placement Support Service
    12. 12. Placement Support Service
    13. 13. Peer Tutor Locator (van Rosmalen) 1! 2! 3! 4!
    14. 14. Peer Tutor Locator
    15. 15. Zusammenfassung Beide Prototypen sind im Rahmen von PhD Projekten evaluiert worden Beide Prototypen konnten effizient die Arbeit von Tutoren unterstützen Probabilistisches Verfahren, keine Garantie für richtiges Feedback (aber hohe Trefferquoten von über 80% im Vergleich mit einem menschlichen Urteil) Nur anwendbar in textbasierten Disziplinen
    16. 16. Erkenntnisse Hoher Erstellungsaufwand am Anfang Einige kontextuelle Faktoren, die Übertragbarkeit einschränken Lokalisierungsbedarf Noch wenige Erfahrungen außerhalb der englischen Sprache Perspektive: Selbst-optimierende Systeme Perspektive: Kombination von LSA mit klassischen Data Mining Methoden
    17. 17. Ein Essay-Scoring Scenario Edumedia: Einzelaufgaben (Freitext) Benotete Referenzbeispiele Cluster Sehr gut - gut Cluster befriedigend - ausreichend Neues ubekanntes Dokument Cluster mangelhaft
    18. 18. Future Tutoring Scenarios Andrew Olney, University of Memphis
    19. 19. Future Tutoring Scenarios Andrew Olney, University of Memphis
    20. 20. Fragen? Feedback? http://celstec.org

    ×