Experimentelle und Quasiexperimentelle Designs 30_04_09

  • 8,923 views
Uploaded on

 

More in: Education
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
8,923
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
18
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1.
    • Empirische Sozialforschung
    • Grundlagen – Methoden – Anwendungen
    • VIII. Experimentelle und Quasiexperimentelle Designs
    11.05.10 Stefan Freier, Thorsten Graß
  • 2. Agenda 11.05.10 Stefan Freier, Thorsten Graß 1. Überblick Designvarianten 2. Vorexperimentelle Designs 3. Experimentelle Designs 4. Quasi-Experimente und Evaluationsforschung 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009
  • 3. 1.Überblick Designvarianten 11.05.10 Stefan Freier, Thorsten Graß Campell und Stanley (1963) haben die Folgenden Designvarianten systematisiert und Vor-und Nachteile untersucht:
    • Vorexperimentelle Designs (als wissenschaftliche Strategie, bzw. zur Hypothesenführung ungeeignet, da mit Fehlerquellen behaftet)
    • Experimentelle Designs (Zwei Gruppen, Randomisierung, unabhängige Variable vom Forscher manipuliert)
    • Quasi-Experimentelle Designs (Kontrollierte Versuchsanordnung, ohne Randomisierung)
    • Ex-post-facto-Designs (Ausblendung von verzerrenden Störfaktoren nach der Untersuchung)
    • [Genaue Betrachtung in Kapitel XIV]
  • 4. 2. Vorexperimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Vorexperimentelle Designs können den Zweck eines Experiments (Varianzkontrolle) nicht erfüllen, da keine Vergleichsgruppen bestehen und auch keine Randomisierung besteht
    • Ausprägungen:
    • X O Design:
    • X O
    • Design ohne Vergleichsgruppe, keine Varianz auf der unabhängigen Variable (Stimulus X)
    • z.B. Vertreiben von Elefanten durch Klatschen auf Parkbank
    • X O „Design falscher Vergleichswerte“:
    • Varianz der abhängigen Variable (O) = 0
    • z.B. Suche nach Gemeinsamkeiten der 100 erfolgreichsten Lernenden
    • (Was ist Output, Was ist input?)
    X=Stimulus O=Observation
  • 5. 2. Vorexperimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • O 1 X O 2 Vorexperimentelles Design mit vorher – nachher Betrachtung
    • Varianz kann sich im Zeitverlauf ändern, wobei man nicht weiß ob es auch ohne Stimulus passiert wäre
    • z.B. Lernerfolg einer Klasse ist nach Motivationsgespräch gestiegen, man weiß aber nicht ob nicht andere Faktoren dafür verantwortlich sind
    • Schwächen vorexperimenteller Designs:
    • Keine Vergleichsgruppen (Varianz=0)
    • Reifungsprozesse können nicht identifiziert werden
  • 6. 11.05.10 Stefan Freier, Thorsten Graß 1. Überblick Designvarianten 2. Vorexperimentelle Designs 3. Experimentelle Designs 4. Quasi-Experimente und Evaluationsforschung 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009 Agenda
  • 7. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Prämissen für Experimentelle Designs:
    • Bildung mindestens zweier Gruppen (Versuchs- und Kontrollgruppe)
    • Randomisierung (Zufällige Verteilung der Probanden auf die Gruppen)
    • Manipulation des Stimulus (unabhängige Variable X )
    • Beispiel Medikament:
    • X= Richtiges Medikament (Versuchsgruppe), leeres Feld (Kontrollgruppe) bekommt Placebo
    R=Randomisierung X= Stimulus O=Observation R X O Versuchsgruppe R O Kontrollgruppe
  • 8. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Blindversuch:
    • Versuchspersonen wissen nicht ob Sie in Kontroll- oder Versuchsgruppe sind, Hypothese ebenfalls nicht bekannt
    • Doppelblindversuch:
    • Versuchsleiter weiß nicht welche Versuchspersonen welcher Gruppe angehören (Kennt den Stimulus nicht)
    • Verhinderung von Selbstsuggestion und Verhaltensänderung aufgrund der Kenntnis der Hypothese
    • Versuchs- und Kontrollgruppen-Design mit mehreren Stimuli (Jede Versuchs- ist gleichzeitig Kontrollgruppe)
    • Beispiel: Zwei Medikamente unterschiedliche Zusammensetzung welche Wirkungen?
    R X 1 O 1 Versuchsgruppe 1 R X 2 O 2 Versuchsgruppe 2 ... ... ... ... R X m O m Versuchsgruppe m
  • 9. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Hintergrund Randomisierung:
    • Probanden werden zufällig auf Versuchsgruppen aufgeteilt (Drittvariablen werden neutralisiert)
    • Störfaktoren werden ausgeschlossen (z.B. unbeobachtete Merkmale)
    • Scheinkorrelation kann ausgeschlossen werden
    • 1. X O Stimulus führt zu Observation
    • 2. Z X O Korrelation zwischen X und O ist nicht kausal
    • sondern wird durch Z hervorgerufen
    • (Scheinkorrelation)
    • 3. X Y O Drittvariable Y wirkt X entgegen (Entgegenwirkende Variable)
    • (z.B. nicht Qualifikation durch Maßnahme sondern Regelmäßigkeit des Tagesablaufs)
    Z=Unbekannter Faktor Y= Entgegenwirkende Variable
  • 10. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Zusammenfassung Fehlerquellen:
    • Scheinkorrelation: Unbekannter Faktor (Z) ist für Zusammenhang zwischen X und O verantwortlich
    • (Bsp. Wirkung von Berufsförderungsprogrammen)
    • Weitere Fehlerquellen trotz Randomisierung:
    • Auftritt einer Drittvariablen Y die X entgegenwirkt
    • Lösung: Laborexperiment
    • Reaktivität (z.B. „Hawthorne-Effekt“ Wissen der Probanden -> Gegenstand wissenschaftlicher Forschung)
    • Lösung: Doppelblindversuch
    • Zufallsauswahl missglückt (geringe Probandenzahl)
    • Lösung: Matching (Versuch „Zwillinge“ in Gruppen zu schaffen)
  • 11. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Solomon – Viergruppenversuchsplan
    • Vorher-Nachher Messung teil des Solomon Vierguppenversuchs:
    • Messung des Ausgangniveaus
    • Vorhermessung kann Nachhermessung beeinflussen (Lerneffekt)
    • Wirkung Stimulus wird zweifach überprüft
    • Bei pos. Kausalem Zusammenhang ist zu erwarten:
    • O 2 >O 1 , O 2 >O 4 , O 5 >O 6
    R O 1 X O 2 Experimentalgruppe 1 R O 3 O 4 Kontrollgruppe 1 R X O 5 Experimentalgruppe2 R 0 6 Kontrollgruppe 2
  • 12. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Störfaktoren:
    • Zwischenzeitliches Geschehen
    • Reifungsprozesse
    • Varianz abhängige Variablen wird durch „intrapersonale“ Prozesse bedingt, also nicht durch Stimulus
    • Meßeffekte
    • Veränderung der abhängigen Variablen ist Folge des ersten Messvorganges (O 3 auf O 4 ) -> Nach erster Messung evtl. Verhaltensänderung
    • Instrumentation
    • Veränderungen der Versuchssituation beeinflussen das Niveau der abhängigen Variablen
    • Verzerrte Auswahlen und Ausfälle
  • 13. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Vorteile:
    • Zeitliche Ordnung
    • Experimenteller Stimulus wird im Experiment „produziert“ und geht der vermuteten Wirkung zeitlich voraus. (Zuordnung möglich)
    • Randomisierung
    • Störvariablen werden ausgeblendet
    • Nachteile:
    • Externe Validität nicht gegeben, da
    • Lassen sich Ergebnisse generalisieren? (Stichprobe)
    • Experimentalsituation -> Können Ergebnisse auf Alltagssituation übertragen werden?
    • Hoher Aufwand bzw. Unmöglichkeit der Randomisierung bei vielen Untersuchungsgegenständen
    • Reaktivität (Suggestion, Aufmerksamkeitseffekte bei Probanden und Versuchleitern
  • 14. 11.05.10 Stefan Freier, Thorsten Graß 1. Überblick Designvarianten 2. Vorexperimentelle Designs 3. Experimentelle Designs 4. Quasi-Experimente und Evaluationsforschung 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009 Agenda
  • 15. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Versuchsanordnungen, ähnlich wie Experimentelle Designs, jedoch folgen sie nicht deren strengen Anforderungen
    • ABER: Kriterium der Randomisierung ist verletzt
    • Bei Evaluation von Maßnahmen ist Zufallsaufteilung von Personen auf die einzelnen Gruppen oft nicht möglich
    • Wirkungen von Maßnahmen kann abgeschätzt werden, allerdings können Drittvariableneffekte auftreten und nicht neutralisiert werden (Aufgrund fehlender Randomisierung)
  • 16. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Zwei gebräuchliche quasiexperimentelle Designs:
    • Versuchsanordnungen mit nicht gleichartiger Kontrollgruppe
    • Zeitreihenexperimente
    • Zu 1. Experiment mit Vorher-nachher-Messung
    • O 1 und O 3 können sich aufgrund fehlender Randomisierung (Selbstselektion) unterscheiden, daher Vorhermessung wesentlich
    • Veränderung ist Meßbar
    • Reifungseffekte und zwischenzeitliche Geschehen (interne Validität) werden mittels Vergleich von Maßnahmen und Kontrollgruppe kontrolliert
    O 1 X O 2 Maßnahmengruppe O 3 O 4 Kontrollgruppe
  • 17. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Beispiel: Einfluss Förderprogramm auf Leistung von Schulkindern
    • O 2 -O 1 > O 4 -O 3
    • Nachweis für Wirksamkeit des Förderprogramms?
    • Probleme die zur Verzerrung durch Drittvariablen führen können:
    • Nichtvergleichbarkeit der Gruppe (z.B. Selbstselektion nur motivierte Schüler)
    • Systematischer Ausfall von Probanden (Leistungsschwache Schüler brechen ab)
    • Folge: O 2 wird nach oben verzerrt, leistungszuwachs wird fälschlicherweise Maßnahme X zugeordnet
    O 1 X O 2 Maßnahmengruppe O 3 O 4 Kontrollgruppe
  • 18. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Lösungsmöglichkeiten:
    • a) Paarweises Matching
    • b) Nachträgliche Kontrolle von Drittvariablen mit multivariaten statistischen Verfahren
    • Zu a)
    • Merkmale vorheriger Leistungsmessung, Geschlecht, Sozialstatus werden berücksichtigt und konstant gehalten (z.B. Jedem Schulkind in der Maßnahmengruppe wird ein Zwilling in der Kontrollgruppe zugeordnet)
    • Zu b)
    • Ähnlich wie Matching, jedoch werden ausgewählte Drittvariablen nachträglich rechnerisch konstant gehalten (Durchführung Kapitel XIV)
    • Eine Kombination beider Methoden ist möglich
  • 19. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Problem weiterhin:
    • Nicht explizit berücksichtigte Drittvariablen verzerren das Ausmaß des Effekts von X
    • Besteht Verdacht:
    • Motivation (Drittvariable) messen und beim Matching oder Datenanalyse kontrollieren, Verzerrung durch Selbstselektion vermeiden:
      • Kontrollgruppe aus Personen der Wartegruppe bilden
  • 20. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Regressionseffekt (Angleichung)
    • Bsp. Schlechte Schüler mehr potenzial zur Leistungsverbesserung
    • Gute Schüler weniger potenzial nach oben aber Verschlechterung möglich
    • Werte der Vorher- Messung in Versuchs- und Kontrollgruppe (O 1 und O 3 ) unterscheiden sich stark
    • Streben aber im Folgenden zur Mitte
    • Bsp. Kriminalitätsrate sehr hoch -> neues Gesetz -> Kriminalität sinkt aber Rückgang ohnehin, da Regression zur Mitte
      • Dieser Rückgang wird allerdings der Maßnahme zugerechnet
  • 21. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Zu 2. Zeitreihen-Experimente
    • Lösungsansatz:
    • Regressionseffekte können u.a. durch ein Zeitreihen-Design kontrolliert werden
    • Hier wird der Trend in einer Zeitreihe vor einem Stimulus X mit dem Trend nach Stimulus X verglichen
    • O 1 O 2 O 3 O 4 X O 5 O 6 O 7 O 8
    • Vorher- Trend Nachher- Trend
    • Somit sind Trends vergleichbar
    • Regressionseffekte und Reifung können identifiziert werden
    • Drittvariablen sind Identintifizierbar
    • Allerdings: Es können im Nachher-Trend von X unabhängige Faktoren auftreten die man X fälschlicherweise zuordnet
  • 22. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Weiteres Problem ist die Einschätzung und Separierung der Wirkung von X auf den Nachher- Trend
    • Hier werden zur Prüfung von X und zur Schätzung der Stärke des Effekts statistische Methoden der Zeitreihenanalyse benutzt
    • Beispiel Zeitreihenexperimente:
    • Hat die Erhöhung der Strafandrohung in Hamburg zu einer Abnahme der Häufigkeit des Schwarzfahrens in öffentlichen Verkehrsmittelns geführt?
    • Scheint erfolgreich! ?
    O 1 X O 2 1,12% Schwarzfahrer Erhöhte Geldbuße (40€) 0,84 % Schwarzfahrer
  • 23. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
  • 24. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Für genauere Analyse Design mehrfache Zeitreihen erforderlich
    • Multiples Zeitreihen- Design:
    • Durch Vergleich mit einer zweiten Zeitreihe ohne Stimulus wird die Maßnahme optisch aufgewertet
    O 1 O 2 O 3 X O 5 O 6 HH O 1 O 2 O 3 O 5 O 6 HB
  • 25. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Allerdings für valide Aussage werden benötigt:
    • Lange Zeitreihen
    • Viele unterschiedliche Vergleichszeitreihen
    • Vorliegende Daten liefern somit keine valide Aussage für den nachhaltigen Effekt des Stimulus
  • 26. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Zusammenfassung:
    • Designs finden Anwendung in Evaluationsstudien
    • Ziel: Erfolgskontrolle und finden von Nebenwirkungen
    • Fehlerquellen:
    • Drittvariablen, Regressionseffekt, Reifung, kurze Zeiträume etc. sind besondere Aufmerksamkeit zu widmen um Wirkungszusammenhänge zu erkennen
  • 27. 11.05.10 Stefan Freier, Thorsten Graß 1. Überblick Designvarianten 2. Vorexperimentelle Designs 3. Experimentelle Designs 4. Quasi-Experimente und Evaluationsforschung 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009 Agenda
  • 28. 11.05.10 Stefan Freier, Thorsten Graß
    • Experiment zurückzuführen auf Freiwilligendilemma (Diekmann) bzw. auf das Prinzip der Verantwortungsdiffusion (Darley und Latané)
    • Hypothese: Je größer Beobachterkreis, desto geringer eigene Hilfebereitschaft
    • Folge: Hilfeleistung unterbleibt
    • Bsp: Kind ist im Eis eingebrochen
    5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie
  • 29. 11.05.10 Stefan Freier, Thorsten Graß
    • Abstrakt:
    • Wert der Hilfeleistung ist für n Personen ein kollektives Gut
    • (kann bereits durch eine Person vollständig hergestellt werden) mit Nutzen U
    • Hilfeleistung ist mit Kosten verbunden (K)
      • Annahme U>K>0
    • „ Trittbrettfahrer“ setzen auf Person, die Kosten auf sich nimmt um selbst U zu erzielen
    • Kooperative Lösung: kooperative Person erzielt U-K
    • Trittbrettfahrer jedoch U
    • Unterbleibt Hilfeleistung: U=0 für alle!
    K=Kosten U=Nutzen n= Anzahl Personen 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie
  • 30. 11.05.10 Stefan Freier, Thorsten Graß Darley-und-Latané Experiment:
    • Mit steigender Gruppengröße sinken die Hilfeleistungsreaktionen
    5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie Gruppengröße n Fallzahl N Hilfeleistungsreaktionen in % Durchschnittliche Zeit in Sek. Bis zur Reaktion 1 (Versuchsperson und Opfer) 13 85 52 2 (Versuchsperson, Opfer und andere Person) 26 62 93 5 (Versuchsperson, Opfer und 4 andere Personen 13 31 166
  • 31. 11.05.10 Stefan Freier, Thorsten Graß
    • Hieraus kann man die Nash-Gleichgewichtslösung ableiten:
    • Die Wahrscheinlichkeit der Kooperation (p) steigt mit dem Wert des Kollektivgutes (U)
    • Und sinkt mit den Kosten (K) und der Gruppengröße (n)
    • D.h. Desto größer die Gruppe desto größer die Anzahl der Trittbrettfahrer
    • Bsp. Investitionen von Unternehmen in Forschung
    p= Wahrscheinlichkeit der Kooperation 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie
  • 32. E) Zusammenfassung Kap VIII 11.05.10 Stefan Freier, Thorsten Graß Typ Merkmal Experimentelle Designs Mit Randomisierung ,es entstehen gute Kontrollgruppen Quasiexperimentelle Designs Ohne Randomisierung, es entstehen suboptimale Vergleichsgruppen Vorexperimentelle Designs Ohne Vergleichsgruppe