Experimentelle und Quasiexperimentelle Designs 30_04_09
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

Experimentelle und Quasiexperimentelle Designs 30_04_09

on

  • 9,708 views

 

Statistics

Views

Total Views
9,708
Views on SlideShare
9,698
Embed Views
10

Actions

Likes
0
Downloads
18
Comments
0

2 Embeds 10

http://www.slideshare.net 9
http://webcache.googleusercontent.com 1

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Experimentelle und Quasiexperimentelle Designs 30_04_09 Presentation Transcript

  • 1.
    • Empirische Sozialforschung
    • Grundlagen – Methoden – Anwendungen
    • VIII. Experimentelle und Quasiexperimentelle Designs
    11.05.10 Stefan Freier, Thorsten Graß
  • 2. Agenda 11.05.10 Stefan Freier, Thorsten Graß 1. Überblick Designvarianten 2. Vorexperimentelle Designs 3. Experimentelle Designs 4. Quasi-Experimente und Evaluationsforschung 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009
  • 3. 1.Überblick Designvarianten 11.05.10 Stefan Freier, Thorsten Graß Campell und Stanley (1963) haben die Folgenden Designvarianten systematisiert und Vor-und Nachteile untersucht:
    • Vorexperimentelle Designs (als wissenschaftliche Strategie, bzw. zur Hypothesenführung ungeeignet, da mit Fehlerquellen behaftet)
    • Experimentelle Designs (Zwei Gruppen, Randomisierung, unabhängige Variable vom Forscher manipuliert)
    • Quasi-Experimentelle Designs (Kontrollierte Versuchsanordnung, ohne Randomisierung)
    • Ex-post-facto-Designs (Ausblendung von verzerrenden Störfaktoren nach der Untersuchung)
    • [Genaue Betrachtung in Kapitel XIV]
  • 4. 2. Vorexperimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Vorexperimentelle Designs können den Zweck eines Experiments (Varianzkontrolle) nicht erfüllen, da keine Vergleichsgruppen bestehen und auch keine Randomisierung besteht
    • Ausprägungen:
    • X O Design:
    • X O
    • Design ohne Vergleichsgruppe, keine Varianz auf der unabhängigen Variable (Stimulus X)
    • z.B. Vertreiben von Elefanten durch Klatschen auf Parkbank
    • X O „Design falscher Vergleichswerte“:
    • Varianz der abhängigen Variable (O) = 0
    • z.B. Suche nach Gemeinsamkeiten der 100 erfolgreichsten Lernenden
    • (Was ist Output, Was ist input?)
    X=Stimulus O=Observation
  • 5. 2. Vorexperimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • O 1 X O 2 Vorexperimentelles Design mit vorher – nachher Betrachtung
    • Varianz kann sich im Zeitverlauf ändern, wobei man nicht weiß ob es auch ohne Stimulus passiert wäre
    • z.B. Lernerfolg einer Klasse ist nach Motivationsgespräch gestiegen, man weiß aber nicht ob nicht andere Faktoren dafür verantwortlich sind
    • Schwächen vorexperimenteller Designs:
    • Keine Vergleichsgruppen (Varianz=0)
    • Reifungsprozesse können nicht identifiziert werden
  • 6. 11.05.10 Stefan Freier, Thorsten Graß 1. Überblick Designvarianten 2. Vorexperimentelle Designs 3. Experimentelle Designs 4. Quasi-Experimente und Evaluationsforschung 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009 Agenda
  • 7. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Prämissen für Experimentelle Designs:
    • Bildung mindestens zweier Gruppen (Versuchs- und Kontrollgruppe)
    • Randomisierung (Zufällige Verteilung der Probanden auf die Gruppen)
    • Manipulation des Stimulus (unabhängige Variable X )
    • Beispiel Medikament:
    • X= Richtiges Medikament (Versuchsgruppe), leeres Feld (Kontrollgruppe) bekommt Placebo
    R=Randomisierung X= Stimulus O=Observation R X O Versuchsgruppe R O Kontrollgruppe
  • 8. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Blindversuch:
    • Versuchspersonen wissen nicht ob Sie in Kontroll- oder Versuchsgruppe sind, Hypothese ebenfalls nicht bekannt
    • Doppelblindversuch:
    • Versuchsleiter weiß nicht welche Versuchspersonen welcher Gruppe angehören (Kennt den Stimulus nicht)
    • Verhinderung von Selbstsuggestion und Verhaltensänderung aufgrund der Kenntnis der Hypothese
    • Versuchs- und Kontrollgruppen-Design mit mehreren Stimuli (Jede Versuchs- ist gleichzeitig Kontrollgruppe)
    • Beispiel: Zwei Medikamente unterschiedliche Zusammensetzung welche Wirkungen?
    R X 1 O 1 Versuchsgruppe 1 R X 2 O 2 Versuchsgruppe 2 ... ... ... ... R X m O m Versuchsgruppe m
  • 9. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Hintergrund Randomisierung:
    • Probanden werden zufällig auf Versuchsgruppen aufgeteilt (Drittvariablen werden neutralisiert)
    • Störfaktoren werden ausgeschlossen (z.B. unbeobachtete Merkmale)
    • Scheinkorrelation kann ausgeschlossen werden
    • 1. X O Stimulus führt zu Observation
    • 2. Z X O Korrelation zwischen X und O ist nicht kausal
    • sondern wird durch Z hervorgerufen
    • (Scheinkorrelation)
    • 3. X Y O Drittvariable Y wirkt X entgegen (Entgegenwirkende Variable)
    • (z.B. nicht Qualifikation durch Maßnahme sondern Regelmäßigkeit des Tagesablaufs)
    Z=Unbekannter Faktor Y= Entgegenwirkende Variable
  • 10. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Zusammenfassung Fehlerquellen:
    • Scheinkorrelation: Unbekannter Faktor (Z) ist für Zusammenhang zwischen X und O verantwortlich
    • (Bsp. Wirkung von Berufsförderungsprogrammen)
    • Weitere Fehlerquellen trotz Randomisierung:
    • Auftritt einer Drittvariablen Y die X entgegenwirkt
    • Lösung: Laborexperiment
    • Reaktivität (z.B. „Hawthorne-Effekt“ Wissen der Probanden -> Gegenstand wissenschaftlicher Forschung)
    • Lösung: Doppelblindversuch
    • Zufallsauswahl missglückt (geringe Probandenzahl)
    • Lösung: Matching (Versuch „Zwillinge“ in Gruppen zu schaffen)
  • 11. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Solomon – Viergruppenversuchsplan
    • Vorher-Nachher Messung teil des Solomon Vierguppenversuchs:
    • Messung des Ausgangniveaus
    • Vorhermessung kann Nachhermessung beeinflussen (Lerneffekt)
    • Wirkung Stimulus wird zweifach überprüft
    • Bei pos. Kausalem Zusammenhang ist zu erwarten:
    • O 2 >O 1 , O 2 >O 4 , O 5 >O 6
    R O 1 X O 2 Experimentalgruppe 1 R O 3 O 4 Kontrollgruppe 1 R X O 5 Experimentalgruppe2 R 0 6 Kontrollgruppe 2
  • 12. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Störfaktoren:
    • Zwischenzeitliches Geschehen
    • Reifungsprozesse
    • Varianz abhängige Variablen wird durch „intrapersonale“ Prozesse bedingt, also nicht durch Stimulus
    • Meßeffekte
    • Veränderung der abhängigen Variablen ist Folge des ersten Messvorganges (O 3 auf O 4 ) -> Nach erster Messung evtl. Verhaltensänderung
    • Instrumentation
    • Veränderungen der Versuchssituation beeinflussen das Niveau der abhängigen Variablen
    • Verzerrte Auswahlen und Ausfälle
  • 13. 3. Experimentelle Designs 11.05.10 Stefan Freier, Thorsten Graß
    • Vorteile:
    • Zeitliche Ordnung
    • Experimenteller Stimulus wird im Experiment „produziert“ und geht der vermuteten Wirkung zeitlich voraus. (Zuordnung möglich)
    • Randomisierung
    • Störvariablen werden ausgeblendet
    • Nachteile:
    • Externe Validität nicht gegeben, da
    • Lassen sich Ergebnisse generalisieren? (Stichprobe)
    • Experimentalsituation -> Können Ergebnisse auf Alltagssituation übertragen werden?
    • Hoher Aufwand bzw. Unmöglichkeit der Randomisierung bei vielen Untersuchungsgegenständen
    • Reaktivität (Suggestion, Aufmerksamkeitseffekte bei Probanden und Versuchleitern
  • 14. 11.05.10 Stefan Freier, Thorsten Graß 1. Überblick Designvarianten 2. Vorexperimentelle Designs 3. Experimentelle Designs 4. Quasi-Experimente und Evaluationsforschung 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009 Agenda
  • 15. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Versuchsanordnungen, ähnlich wie Experimentelle Designs, jedoch folgen sie nicht deren strengen Anforderungen
    • ABER: Kriterium der Randomisierung ist verletzt
    • Bei Evaluation von Maßnahmen ist Zufallsaufteilung von Personen auf die einzelnen Gruppen oft nicht möglich
    • Wirkungen von Maßnahmen kann abgeschätzt werden, allerdings können Drittvariableneffekte auftreten und nicht neutralisiert werden (Aufgrund fehlender Randomisierung)
  • 16. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Zwei gebräuchliche quasiexperimentelle Designs:
    • Versuchsanordnungen mit nicht gleichartiger Kontrollgruppe
    • Zeitreihenexperimente
    • Zu 1. Experiment mit Vorher-nachher-Messung
    • O 1 und O 3 können sich aufgrund fehlender Randomisierung (Selbstselektion) unterscheiden, daher Vorhermessung wesentlich
    • Veränderung ist Meßbar
    • Reifungseffekte und zwischenzeitliche Geschehen (interne Validität) werden mittels Vergleich von Maßnahmen und Kontrollgruppe kontrolliert
    O 1 X O 2 Maßnahmengruppe O 3 O 4 Kontrollgruppe
  • 17. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Beispiel: Einfluss Förderprogramm auf Leistung von Schulkindern
    • O 2 -O 1 > O 4 -O 3
    • Nachweis für Wirksamkeit des Förderprogramms?
    • Probleme die zur Verzerrung durch Drittvariablen führen können:
    • Nichtvergleichbarkeit der Gruppe (z.B. Selbstselektion nur motivierte Schüler)
    • Systematischer Ausfall von Probanden (Leistungsschwache Schüler brechen ab)
    • Folge: O 2 wird nach oben verzerrt, leistungszuwachs wird fälschlicherweise Maßnahme X zugeordnet
    O 1 X O 2 Maßnahmengruppe O 3 O 4 Kontrollgruppe
  • 18. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Lösungsmöglichkeiten:
    • a) Paarweises Matching
    • b) Nachträgliche Kontrolle von Drittvariablen mit multivariaten statistischen Verfahren
    • Zu a)
    • Merkmale vorheriger Leistungsmessung, Geschlecht, Sozialstatus werden berücksichtigt und konstant gehalten (z.B. Jedem Schulkind in der Maßnahmengruppe wird ein Zwilling in der Kontrollgruppe zugeordnet)
    • Zu b)
    • Ähnlich wie Matching, jedoch werden ausgewählte Drittvariablen nachträglich rechnerisch konstant gehalten (Durchführung Kapitel XIV)
    • Eine Kombination beider Methoden ist möglich
  • 19. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Problem weiterhin:
    • Nicht explizit berücksichtigte Drittvariablen verzerren das Ausmaß des Effekts von X
    • Besteht Verdacht:
    • Motivation (Drittvariable) messen und beim Matching oder Datenanalyse kontrollieren, Verzerrung durch Selbstselektion vermeiden:
      • Kontrollgruppe aus Personen der Wartegruppe bilden
  • 20. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Regressionseffekt (Angleichung)
    • Bsp. Schlechte Schüler mehr potenzial zur Leistungsverbesserung
    • Gute Schüler weniger potenzial nach oben aber Verschlechterung möglich
    • Werte der Vorher- Messung in Versuchs- und Kontrollgruppe (O 1 und O 3 ) unterscheiden sich stark
    • Streben aber im Folgenden zur Mitte
    • Bsp. Kriminalitätsrate sehr hoch -> neues Gesetz -> Kriminalität sinkt aber Rückgang ohnehin, da Regression zur Mitte
      • Dieser Rückgang wird allerdings der Maßnahme zugerechnet
  • 21. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Zu 2. Zeitreihen-Experimente
    • Lösungsansatz:
    • Regressionseffekte können u.a. durch ein Zeitreihen-Design kontrolliert werden
    • Hier wird der Trend in einer Zeitreihe vor einem Stimulus X mit dem Trend nach Stimulus X verglichen
    • O 1 O 2 O 3 O 4 X O 5 O 6 O 7 O 8
    • Vorher- Trend Nachher- Trend
    • Somit sind Trends vergleichbar
    • Regressionseffekte und Reifung können identifiziert werden
    • Drittvariablen sind Identintifizierbar
    • Allerdings: Es können im Nachher-Trend von X unabhängige Faktoren auftreten die man X fälschlicherweise zuordnet
  • 22. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Weiteres Problem ist die Einschätzung und Separierung der Wirkung von X auf den Nachher- Trend
    • Hier werden zur Prüfung von X und zur Schätzung der Stärke des Effekts statistische Methoden der Zeitreihenanalyse benutzt
    • Beispiel Zeitreihenexperimente:
    • Hat die Erhöhung der Strafandrohung in Hamburg zu einer Abnahme der Häufigkeit des Schwarzfahrens in öffentlichen Verkehrsmittelns geführt?
    • Scheint erfolgreich! ?
    O 1 X O 2 1,12% Schwarzfahrer Erhöhte Geldbuße (40€) 0,84 % Schwarzfahrer
  • 23. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
  • 24. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Für genauere Analyse Design mehrfache Zeitreihen erforderlich
    • Multiples Zeitreihen- Design:
    • Durch Vergleich mit einer zweiten Zeitreihe ohne Stimulus wird die Maßnahme optisch aufgewertet
    O 1 O 2 O 3 X O 5 O 6 HH O 1 O 2 O 3 O 5 O 6 HB
  • 25. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Allerdings für valide Aussage werden benötigt:
    • Lange Zeitreihen
    • Viele unterschiedliche Vergleichszeitreihen
    • Vorliegende Daten liefern somit keine valide Aussage für den nachhaltigen Effekt des Stimulus
  • 26. 4. Quasi- Experimente und Evaluationsforschung 11.05.10 Stefan Freier, Thorsten Graß
    • Zusammenfassung:
    • Designs finden Anwendung in Evaluationsstudien
    • Ziel: Erfolgskontrolle und finden von Nebenwirkungen
    • Fehlerquellen:
    • Drittvariablen, Regressionseffekt, Reifung, kurze Zeiträume etc. sind besondere Aufmerksamkeit zu widmen um Wirkungszusammenhänge zu erkennen
  • 27. 11.05.10 Stefan Freier, Thorsten Graß 1. Überblick Designvarianten 2. Vorexperimentelle Designs 3. Experimentelle Designs 4. Quasi-Experimente und Evaluationsforschung 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009 Agenda
  • 28. 11.05.10 Stefan Freier, Thorsten Graß
    • Experiment zurückzuführen auf Freiwilligendilemma (Diekmann) bzw. auf das Prinzip der Verantwortungsdiffusion (Darley und Latané)
    • Hypothese: Je größer Beobachterkreis, desto geringer eigene Hilfebereitschaft
    • Folge: Hilfeleistung unterbleibt
    • Bsp: Kind ist im Eis eingebrochen
    5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie
  • 29. 11.05.10 Stefan Freier, Thorsten Graß
    • Abstrakt:
    • Wert der Hilfeleistung ist für n Personen ein kollektives Gut
    • (kann bereits durch eine Person vollständig hergestellt werden) mit Nutzen U
    • Hilfeleistung ist mit Kosten verbunden (K)
      • Annahme U>K>0
    • „ Trittbrettfahrer“ setzen auf Person, die Kosten auf sich nimmt um selbst U zu erzielen
    • Kooperative Lösung: kooperative Person erzielt U-K
    • Trittbrettfahrer jedoch U
    • Unterbleibt Hilfeleistung: U=0 für alle!
    K=Kosten U=Nutzen n= Anzahl Personen 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie
  • 30. 11.05.10 Stefan Freier, Thorsten Graß Darley-und-Latané Experiment:
    • Mit steigender Gruppengröße sinken die Hilfeleistungsreaktionen
    5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie Gruppengröße n Fallzahl N Hilfeleistungsreaktionen in % Durchschnittliche Zeit in Sek. Bis zur Reaktion 1 (Versuchsperson und Opfer) 13 85 52 2 (Versuchsperson, Opfer und andere Person) 26 62 93 5 (Versuchsperson, Opfer und 4 andere Personen 13 31 166
  • 31. 11.05.10 Stefan Freier, Thorsten Graß
    • Hieraus kann man die Nash-Gleichgewichtslösung ableiten:
    • Die Wahrscheinlichkeit der Kooperation (p) steigt mit dem Wert des Kollektivgutes (U)
    • Und sinkt mit den Kosten (K) und der Gruppengröße (n)
    • D.h. Desto größer die Gruppe desto größer die Anzahl der Trittbrettfahrer
    • Bsp. Investitionen von Unternehmen in Forschung
    p= Wahrscheinlichkeit der Kooperation 5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie
  • 32. E) Zusammenfassung Kap VIII 11.05.10 Stefan Freier, Thorsten Graß Typ Merkmal Experimentelle Designs Mit Randomisierung ,es entstehen gute Kontrollgruppen Quasiexperimentelle Designs Ohne Randomisierung, es entstehen suboptimale Vergleichsgruppen Vorexperimentelle Designs Ohne Vergleichsgruppe