Messung von Problemlösefähigkeit

Entwicklung eines Instrumentes zur Messung von komplexer Problemlösefähigkeit im Klassenraum Karsten D. Wolf Eveline Wuttke

Übersicht 1. Ausgangslage 2. Theoretisches Bezugssystem 2.1. Theorielage & vorhandene Instrumente 2.2. Bisherige Entwicklung von MAPS 3. Beschreibung der Untersuchung 4. Empirische Befunde 5. Fazit und Ausblick BY: night86mare Karsten D. Wolf & Eveline Wuttke

• Förderung komplexer Problemlösefähigkeit ist zunehmend Bestandteil beruﬂicher Ausbildung • Hinweise zur Gestaltung von problemlöse- förderlichen Lehr-Lern-Arrangements mittlerweile vielfältig • „Klassenzimmertaugliche“ Testinstrumente zur Evaluation der erreichten Problemlösefähigkeit sind dagegen Mangelware Ausgangslage BY: jonas_k Karsten D. Wolf & Eveline Wuttke

Vorhandene Tests überwiegend • Selbstauskünfte zur Problemlösefähigkeit (Fragebogen, z.B. Stäudel, Dirksmeier) oder • Statische allgemeine Problemlösefähigkeit (PISA-Studie, standardisierte Papier- und Bleistift-Aufgaben) • Dynamische allgemeine Problemlösefähigkeit (Leutner/Klieme/Meyer/Wirth) Karsten D. Wolf & Eveline Wuttke

Es fehlt ein Instrument… • zur flexiblen Erfassung • fachspezifischer Problemlösekompetenz • in Abstimmung auf vorangegangene Unterrichtsinhalte • im Kontext beruflichen Lernens • durch Lehrer/-innen Karsten D. Wolf & Eveline Wuttke

Ziel unserer Arbeit Entwicklung eines „alltagstauglichen“ Instruments zur Erfassung komplexer Problemlösefähigkeit im Klassenraum Karsten D. Wolf & Eveline Wuttke

Theorielage • Entwicklungsboom in1990er Jahren • „Requirements for problem-solving tests“ (Mayer 1992/1994): • Keine Routineaufgaben, sondern realitätsnahe, (dynamische) Problemstellungen, die Generierung neuer Lösungen verlangen • Fokus auf kognitive Prozesse und Strategien, nicht auf „Produkte“ Karsten D. Wolf & Eveline Wuttke

Theorielage • Anforderungen bei der Problem- lösung (z.B. Dörner, Reef et al.; Bransford & Stein; Sembill): • Problem identiﬁzieren (Ist-Soll- Abgleich) • Informationen sammeln, strukturieren • Lösungswege entwickeln • Neben- und Folgewirkungen berücksichtigen • Problemlösung ausführen • Handlungskontrolle Karsten D. Wolf & Eveline Wuttke

Instrumente • CRESST-Modell (Center for Research on Evaluation, Standards and Student Testing; 1997) • Plan a trip (OECD 1997) • The Overall Test (Segers 1997) • Problem Solving Assessment Instrument (Choi et al. 2000) • Systemdynamische Modellsimulationen (Breuer) Karsten D. Wolf & Eveline Wuttke

Instrumente Ähnlich: Instrumente der Eingangsdiagnostik für Positionen der Führungsebene (Seeling) • Postkorbaufgaben (Kupka 2007) • Managementfallstudien (Seeling 2004) • Computergestützte Problemlöseverfahren, Planspiele und Serious Games Karsten D. Wolf & Eveline Wuttke

Eignung 1. Vollständigkeit der zu durchlaufenden Anforderungen/Schritte • Sehr unterschiedlich, CRESST bewertet z.B. nur Informationssuche vs. Modellsimulationen 2. Inhaltsbezogen vs. Domäneunabhängig • Häuﬁg domäneunabhängig, nicht auf „Unterricht“ bezogen (allgemeine Problemlösefähigkeit) Karsten D. Wolf & Eveline Wuttke

Qualität • Nur selten testtheoretische Überprüfung • Auswertung selten standardisiert, wenig objektiv • Oft nur augenscheinvalide (Postkorb) • Konstruktvalidität selten geprüft Karsten D. Wolf & Eveline Wuttke

Entwicklung MAPS • Basis: AIT (Sembill 1992) • Grundlegende Schritte (Dörner 1976, Sembill 1992, Bransford/Stein 1993): • Analyse der Ausgangssituation • Festlegung von Zielen • Entwicklung von Problemlösestrategien bzw. Maßnahmen BY: retro_traveler • Handlungskontrolle unter Berücksichtigung von Haupt-, Neben- und Folgewirkungen Karsten D. Wolf & Eveline Wuttke

Durchführungsdetails AIT • Lernende erhalten schriftlich formuliertes Problem, Papier-Bleistift-Test, sehr offene Problemstellung • Auswertung entlang der genannten Schritte in einem mehrstuﬁgen quantitativen und qualitativen Auswertungsprozess • Ermittlung von Ergebnissen in den Einzelschritten BY: retro_traveler und eines Gesamtmaßes AIT bzw. AITG Karsten D. Wolf & Eveline Wuttke

Durchführungsprobleme AIT • Bewährtes Forschungsinstrument / theoriekonforme Befunde • Probleme • Stark abhängig von Motivation und Anstrengungsbereitschaft der Schüler • Extrem zeitaufwendig in der Auswertung • Objektivität nur mittelmäßig (Interrater- Reliabilität .66) da hoch komplex BY: retro_traveler ‣ Nicht für schulischen Einsatz geeignet Karsten D. Wolf & Eveline Wuttke

Konsequenz MAPS Bisherige Art der Problemstellung beibehalten 1. Änderung: Statt völlig offener Problemstellung konkrete Fragen zu den Schritten (Stützfragen) 2. Änderung: Statt mehrstuﬁgem Auswertungsprozess vorgegebenes Ratingschema (3 stuﬁg), in dem Einschätzungen der Experten (Lehrer) BY: retro_traveler vorzunehmen sind Karsten D. Wolf & Eveline Wuttke

Bisherige Ergebnisse • Qualität von MAPS: • Deutlich geringerer Zeitaufwand • Gute Interrater-Reliabilität (.89)  hohe Auswertungsobjektivität • Hohe Interkorrelation von MAPS und AIT- Resultaten in Pilotstudie (.807 für Gesamtmaß BY: retro_traveler AIT)  Validität Karsten D. Wolf & Eveline Wuttke

Einsatzbereiche • Alternative Assessment Ansatz im Bereich Projektarbeit, Selbstorganisationsoffener Unterricht, … etc. • Wenn Verantwortung für den Lernprozess an Lernende abgegeben wird, muss zumindest ein Teil der Bewertung auch in ihre Verantwortung gegeben werden • Bei guter Qualität von Self- und Peer-Assessment könnten Teile des sehr zeitaufwendigen Prozesses BY: retro_traveler von Lernenden erledigt werden Karsten D. Wolf & Eveline Wuttke

Fragen • Fragenkomplex Instrumentenentwicklung • Bedeutung der Stützfragen • Problemstellung Erste vs. Dritte Person • Umfang der Situationsbeschreibung • Fragenkomplex Self- und Peer-Assessment • Übereinstimmung der Bewertungen • Über- und Unterschätzungen • BY: -bast- Qualität der Bewertungen Karsten D. Wolf & Eveline Wuttke

Design Veranstaltung 1 2 3 Lehrer- Ideale Thema der PS Web 2.0 beurteilung Lernsoftware Perspektive Erste vs. Dritte Erste Erste Stützfrage Ohne vs. Mit Ohne vs. Mit Mit Situation vs. Setting Situation Situation Frage N 18 TN 31 TN 60 TN Karsten D. Wolf & Eveline Wuttke

MAPS Ratingbogen Bewertung durch: ________________________________________________ Auswertungsblatt MAPS Eigene Lösung Lösung von: Analyse der Ausgangssituation Ja (in eigenen Worten) – zum Teil - Ja (in eigene Autor/in gibt eine unfassende Beschreibung der Situation nein nein Völlig – zum Teil – überhaupt nicht Völlig – zum T Die Beschreibung durch den/die Autor/in erfasst die wichtigsten Punkte Völlig ausreichend – wenig - keine Völlig ausreich Autor/in zeigt fehlende/ benötigte Information auf Autor/in formuliert Ideen, wo/ bei wem fehlende Information bezogen Viele – einige - keine Viele – einige werden kann Viele – einige – keine Viele – einige Autor/in formuliert Annahmen über fehlende Information Alle – einige – keine Alle – einige – Die Annahmen des/r Autor/ins sind angemessen Definition von Zielen Viele – einige – keine Viele – einige Autor/in formuliert Ziele Alle – einige – keine Alle – einige – Die Ziele sind angemessen Autor/in formuliert für alle in der Problemstellung angesprochenen Für alle – nur für einige – für keine Für alle – nur Personen Ziele Mehrere Ziele – ein Ziel – kein Ziel Mehrere Ziele Autor/in wählt eines oder mehrere Ziele aus Ja, explizit – ja, implizit – nein Ja, explizit – ja Autor/in erklärt, warum er das Ziel/die Ziele wählt Ja – zum Teil – keine oder schlechte Ja – zum Teil Die Wahl des Ziels/ der Ziele ist fundiert Gründe Gründe Maßnahmen und Handlungspläne Ja – nur wenige – keine Ja – nur wenig Autor/in schlägt verschiedene Strategien/ Handlungspläne vor Karsten D. Wolf & Eveline Wuttke Ja – teilweise – nein Ja – teilweise Autor/in begründet, warum er diese Maßnahmen für angemessen hält

Intercoderreliabilität Experten (Basis 110 zufällig ausgewählte MAPS) ✓ Cohens Kappa κ = 0,775 Peers (Basis 173 MAPS mit 2 vollständigen Peer-Bewertungen) ✴ Cohens Kappa κ = 0,569 Karsten D. Wolf & Eveline Wuttke

Experten vs. Selbst vs. Peers Karsten D. Wolf & Eveline Wuttke

Über- vs. Unterschätzung Karsten D. Wolf & Eveline Wuttke

V1: Perspektive und Stützfrage Karsten D. Wolf & Eveline Wuttke

MAPS Stützfragen 1. Beschreibung des Problems: Bitte beschreiben Sie das Problem in Ihren eigenen Worten. 2. Informationen beschaffen: Welche Informationen zu dem Problem fehlen? Wen würden Sie um Hilfe fragen, wo würden Sie nach weiteren Hinweisen suchen? Bitte beschreiben Sie auch die Annahmen, die Sie für diese fehlenden Informationen zum Problem machen. 3. Ziele: Welche Ziele können Sie sich in der Problemsituation vorstellen? Welche Ziele wählen Sie und warum? 4. Lösungsstrategien: Welche verschiedenen Lösungsstrategien fallen Ihnen ein, um die oben genannten Ziele zu erreichen? Warum können diese Strategien zur Lösung beitragen? 5. Für eine Lösung entscheiden: Sind manche der Strategien besser als andere? Bitte berücksichtigen Sie dabei auch mögliche Neben- und Folgeeffekte Ihrer Strategien. Entscheiden Sie sich, welche Strategie am besten passt. 6. Überprüfung der Lösung: Inwiefern ändert Ihre vorgeschlagene Lösung die Ausgangssituation? Wie erfolgreich schätzen Sie Ihre Lösung in Anbetracht Ihrer Ziele ein? Inwieweit sind die Handlungen Ihrer Lösungsstrategie dem Problem angemessen? Karsten D. Wolf & Eveline Wuttke

V2: Stützfrage Karsten D. Wolf & Eveline Wuttke

V3: Setting TN-ID TN-ID Problemstellung Problemstellung Bitte versuchen Sie sich, in die folgende Situation hineinzuversetzen. Bitte erstellen Sie eine Konzeption für eine „ideale“ Lernsoftware für ein Fach ihrer Wahl. Nach dem erfolgreichen Abschluss ihres Studiums haben Sie nicht den Weg in das Sie haben 30 Minuten Zeit. Bitte schreiben Sie alles auf, was Sie für dieses Problem Referendariat angetreten, sondern sind der Uni treu geblieben. Als frischgebackene/r durchdenken, ggf. auch Sackgassen. Lassen Sie uns an Ihren Gedanken teilhaben. wissenschaftliche/r Mitarbeiter/in sind sie Mitglied in einem Forschungsteam, welches vom Bundesbildungsministerium finanziert wird. Ziel ist es, Lernsoftware für Schulen zu entwickeln. Heute ist Projektmeeting und der Chef fängt an zu berichten: Situation vs. Frage „Liebe Teammitglieder, ich war gestern in Berlin bei der Ministerin und die Hauptsponsoren wie z.B. die Telekom, McKinsey und Springer waren auch da. Die wollen nicht weniger als für jedes Schulfach und jedes Schuljahr „optimale Lernsoftware“ die sowohl „vormittags“ als auch „nachmittags“ eingesetzt werden kann. In dem Treffen wurde insbesondere an den vorhandenen Produkten bemängelt, dass neben hübscher Grafik häufig die Didaktik hinten runterfällt! Geld ist wohl zur Produktion hochwertiger Software genug da, nur - so die Ministerin: „Wo ist die neue Didaktik?“ Und das war direkt an uns gerichtet!“ „Wir sollen eine Art Blaupause für die zu entwickelnden Lernsoftware-Titel entwickeln. Nun denke ich, dass die für verschiedene Fächer auch unterschiedlich aussehen sollten. Deshalb sind sie ja auch hier!“ Zufrieden schaut er in ihre Runde - immerhin 6 Mitarbeiter/innen, die 80% aller unterrichteten Fächer an den Schulen abdecken. „Bevor sie nun einfach loslegen, bitte ich sie, zunächst die wichtigsten Punkte zu skizzieren, so dass ich mir einen Überblick über ihre Ideen verschaffen kann.“ Sie haben 30 Minuten Zeit. Bitte schreiben Sie alles auf, was Sie für dieses Problem durchdenken, ggf. auch Sackgassen. Lassen Sie uns an Ihren Gedanken teilhaben. Karsten D. Wolf & Eveline Wuttke

Situation TN-ID Problemstellung Bitte versuchen Sie sich, in die folgende Situation hineinzuversetzen. Nach dem erfolgreichen Abschluss ihres Studiums haben Sie nicht den Weg in das Referendariat angetreten, sondern sind der Uni treu geblieben. Als frischgebackene/r wissenschaftliche/r Mitarbeiter/in sind sie Mitglied in einem Forschungsteam, welches vom Bundesbildungsministerium finanziert wird. Ziel ist es, Lernsoftware für Schulen zu entwickeln. Heute ist Projektmeeting und der Chef fängt an zu berichten: „Liebe Teammitglieder, ich war gestern in Berlin bei der Ministerin und die Hauptsponsoren wie z.B. die Telekom, McKinsey und Springer waren auch da. Die wollen nicht weniger als für jedes Schulfach und jedes Schuljahr „optimale Lernsoftware“ die sowohl „vormittags“ als auch „nachmittags“ eingesetzt werden kann. In dem Treffen wurde insbesondere an den vorhandenen Produkten bemängelt, dass neben hübscher Grafik häufig die Didaktik hinten runterfällt! Geld ist wohl zur Produktion hochwertiger Software genug da, nur - so die Ministerin: „Wo ist die neue Didaktik?“ Und das war direkt an uns gerichtet!“ „Wir sollen eine Art Blaupause für die zu entwickelnden Lernsoftware-Titel entwickeln. Nun denke ich, dass die für verschiedene Fächer auch unterschiedlich aussehen sollten. Deshalb sind sie ja auch hier!“ Zufrieden schaut er in ihre Runde - immerhin 6 Mitarbeiter/innen, die 80% aller unterrichteten Fächer an den Schulen abdecken. „Bevor sie nun einfach loslegen, bitte ich sie, zunächst die wichtigsten Punkte zu skizzieren, so dass ich mir einen Überblick über ihre Ideen verschaffen kann.“ Wolf & Eveline Wuttke Karsten D.

Frage TN-ID Problemstellung Bitte erstellen Sie eine Konzeption für eine „ideale“ Lernsoftware für ein Fach ihrer Wahl. Sie haben 30 Minuten Zeit. Bitte schreiben Sie alles auf, was Sie für dieses Problem durchdenken, ggf. auch Sackgassen. Lassen Sie uns an Ihren Gedanken teilhaben. Karsten D. Wolf & Eveline Wuttke

V3 Setting Spanne = 55 vs. 67,5 Std.abw. = 14,03 vs. 17,58 Karsten D. Wolf & Eveline Wuttke

Ergebnisse Variationen • Perspektive: scheint bei Studenten egal zu sein • Stützfrage: unterschiedliche Ergebnisse, weitere Replikationen notwendig • Setting: kein Unterschied, das überraschendste Ergebnis Karsten D. Wolf & Eveline Wuttke

Ergebnisse Self- und Peer-Assessment • Im Mittel relativ geringe Überschätzung • Hohe Streuung von Unter- und Überschätzungen • Peer-Assessments tendenziell „milder“ Karsten D. Wolf & Eveline Wuttke

Weitere Schritte • Mehr Motivation durch „High Stake“ Tests? • Zeiteffekte? 30 min zu wenig, insbesondere bei Hochleistenden? Anfangs viel, hinten zu wenig Zeit. • Stützfrageneffekt (und Perspektive) insbes. in der Schule weiter untersuchen • Variationen bei Studenten replizieren • Weitere systematische Variationen der Siutationsbeschreibung / Problemstellungen (erste Tests mit Lehrer/innen) Karsten D. Wolf & Eveline Wuttke

Beyond Paper&Pencil… • Mach mal… - Projektarbeit z.B. im SooU • Lerntagebücher + (E-)Portfolio als Basis für Rating durch Lehrer • Validitätsaspekte 1. „Echten“ Problemlösungsprozess bewerten 2. Ähnliche Problemstellungen schriftlich stellen 3. „Schreibfäule“ untersuchen Karsten D. Wolf & Eveline Wuttke

MAPS Lehrermanual • Anleitung zur Konstruktion von Problemstellungen mit Beispielen • Kodieranleitung für den MAPS Rubric • Text- und Layoutvorlagen • Auswertungstabellen Karsten D. Wolf & Eveline Wuttke

Vielen Dank! Karsten D. Wolf Eveline Wuttke wolf@uni-bremen.de wuttke@em.uni-frankfurt.de

Messung von Problemlösefähigkeit

0 comments

Notes on slide 1

Favorites, Groups & Events