Sept27 college 3
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

Sept27 college 3

on

  • 1,076 views

For Groning

For Groning

Statistics

Views

Total Views
1,076
Views on SlideShare
1,076
Embed Views
0

Actions

Likes
0
Downloads
3
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Sept27 college 3 Presentation Transcript

  • 1. Methoden en Technieken Ning Ding September 27 2011
  • 2. Overview
    • Review of the last course
      • Instrumentation
      • Validity and Reliability
      • Internal Validity
    • Today’s course
      • Experimental Research
      • Single-Subject Research
  • 3. Review of the 1st course
    • Chapter 1-4
      • The nature of research
        • The scientic method provides an important way to obtain accurate and reliable information.
      • The research problem
        • Feasible, clear, significant, and ethical
      • Variables and hypotheses
        • Quantitative vs. categorical variables
        • Independent vs. dependent variables
        • Moderator variables
        • Extraneous variables
      • Ethics and research
  • 4. Review of the 1st course
    • Chapter 1-4
    Feasible, clear, significant, ethical Adequate Testable Clear Brief Relevant Representative Clearly defined Rational Detailed Detailed Clear Relevant
  • 5. Review of the 1st course
    • Chapter 1-4
    • Nominal: female vs. male
    • Ordinal: low achievement < medium < high
    • Interval: learning performance in English
    • Ratio: age in years
    • Dependent:
    • Independent:
    • Can a teacher’s teaching style influence students’ learning achievement?
    • Moderator:
    • Can a senior teacher’s teaching style influence students’ learning achievement?
    • Extraneous: need to be excluded
  • 6. Review of the 2nd course
    • Chapter 7 Instrumentation
      • Data: Where, when, how often, who
      • Means of Classifying Data-Collection Instruments
        • Who? Where? How?
      • Norm-referenced vs. Criterion-referenced Instruments
      • Measurement Scales
    Jeroen has solved 60% problems in the test, and scored above 40% of all the students in his class.
  • 7. Review of the 2nd course
    • Chapter 8 Validity and Reliability
      • Validity= the extent to which a test measures what we actually wish to measure.
        • Content-related evidence (content and format of the instrument)
        • Criterion-related evidence (relationship between scores of instrument and another instrument)
        • Construct-related evidence (nature of the psychological construct or characteristic being measured by the instrument)
    Representative? Predictive? Theoretical?
  • 8. Review of the 2nd course
    • Chapter 8 Validity and Reliability
      • Reliability= the consistency of scores or answer of the instrument
      • Errors of measurement
      • Methods to estimate reliability
        • Test-retest
        • Equivalent-forms
        • Internal-consistency
          • Split-half procedure
          • Kuder-richardson approaches
          • Cronbach’s Alpha
  • 9. Review of the 2nd course Test-retest Parallel forms Split-half KR20 Cronbach’s alpha Type Coefficient What is measured Methods Stability Equivalence Internal consistency Reliability of a test or instrument infered from examinee scores. Same test is administered twice to same subjects over an interval of less than six months. Degree to which alternative forms of the same measure produce same or similar results. Administered simultaneously or with a delay. Interrater estimates of the similarity of judges’ observations or scores. Degree to which instrument items are homogeneous and reflect the same underlying construct. Correlation Correlation Specialized correlations formulas
  • 10. Review of the 2nd course
    • Chapter 8 Validity and Reliability
  • 11. Review of the 2nd course
    • Chapter 9 Internal Validity.
      • Internal Validity = any relationship observed between two or more variables should be clear-cut, rather than due to something else.
    Internal validity External validity Do the conclusions we draw about a demonstrated experimental relationship truly imply cause? Does an observed causal relationship generalize to the pupulation?
  • 12. Review of the 2nd course
    • Chapter 9 Internal Validity
      • Threats to Internal Validity
        • Subject characteristics
        • Loss of subjects (mortality)
        • Location
        • Instrumentation
        • Instrument decay
        • Data collector characteristics
        • Data collector bias
        • Testing
        • History
        • Maturation
        • Attitudes of subjects
        • Regression
        • Implementation
  • 13. Review of the 2nd course
    • Chapter 9 Internal Validity
      • Minimize the threats
  • 14.
    • Types of Research
    Chapter 13 Experimental Research Experimental research Correlational research Causal-comparative research Survey Ethnographic research Historical research Action research Compare; Single over time Relationship Cause, consequence Characteristics Everyday experience Past Active involvement
  • 15.
    • Uniqueness of Experimental Research
      • Is uniek
        • Enig type onderzoek waarbij een variabele gemanipuleerd wordt
        • Beste type onderzoek om uitspraken te kunnen doen over oorzaak-gevolg relaties
      • Twee variabelen
        • Independent Variable/ Onafhankelijke variabele (interventie of niet):
        • Dependent Variable/ Afhankelijke variabele (uitkomst): meestal interval
    Chapter 13 Experimental Research
  • 16.
    • Uniqueness of Experimental Research
      • Is uniek
        • gemanipuleerd
        • oorzaak-gevolg relaties
      • Twee variabelen
        • Onafhankelijke variabele (interventie of niet)
        • Afhankelijke variabele (uitkomst)
    Chapter 13 Experimental Research diefstal Report it or not? Independent variable Dependent variable alone with someone
  • 17.
    • Characteristics of Experimental Research
      • Kenmerken van Experimenteel onderzoek
        • De onderzoeker manipuleert de onafhankelijke variabele
        • De onderzoeker beslist over de aard en intensiteit van de behandeling/interventie
        • Na de behandelingen worden metingen verricht bij de groepen om te zien of ze verschillen
        • Kern: voorbij beschrijving en voorspelling op zoek naar de oorzaak
    Chapter 13 Experimental Research
  • 18.
    • Randomization
      • Elke onderzoekseenheid heeft dezelfde kans om in de experimentele of de controleconditie te komen
      • Drie kenmerken:
        • Voordat het experiment begint
        • Gecontroleerd door de onderzoeker
        • Met als resultaat: equivalente groepen (verschillen kunnen aleen maar toevallig zijn)
    Chapter 13 Experimental Research
  • 19.
    • Randomization
    Chapter 13 Experimental Research
  • 20.
    • Randomization
      • Drie kenmerken:
        • Voordat het experiment begint
        • Gecontroleerd door de onderzoeker
        • Met als resultaat: equivalente groepen (verschillen kunnen aleen maar toevallig zijn)
    Chapter 13 Experimental Research
  • 21.
    • Control of Extraneous Variables / Controle van externe verstorende variabelen
      • In het experiment controleert de onderzoeker alles
      • Met speciale aandacht voor mogelijke bedreigers van de interne validiteit
      • Werkwijze: controle over alle kenmerken van de onderzoekseenheden die de uitkomsten mogelijk zouden kunnen beinvloeden
    Chapter 13 Experimental Research
  • 22.
    • Weak Experiment Design / Zwakke experimentele designs
      • Zwak: want geen controle ingebouwd om validiteitsbedreigers het hoofd te bieden
        • The one-shot case study
          • Een groep krijgt een behandeling waarna een meting (posttest) volgt
        • The one-group-pretest-posttest design
          • Idem maar met een pretest
        • The static-group comparison design
          • Twee intacte groepen krijgen twee verschillende behandelingen
    Chapter 13 Experimental Research
  • 23.
    • Example of one-shot case study design
    Chapter 13 Experimental Research
    • No pretest?
    • No control group?
    Treatment or manipulation Observation or measurement Dependent Variable Independent Variable
  • 24.
    • Example of one-group pretest-posttest design
    Chapter 13 Experimental Research
    • No control group?
    Pretest: Twenty-item attitude scale completed by students Treatment: Ten weeks of counseling Posttest: Twenty-item attitude scale completed by students
  • 25.
    • Example of static-group comparison design
    Chapter 13 Experimental Research
    • Unequavalent treatment
    pretest Attitude scale to measure interest Attitude scale to measure interest 1 treatment pretest 0 Different treatment
  • 26.
    • Bedreigers van de interne validiteit
      • Kenmerken van de onderzoekseenheden en selectiebias
      • Experimentele sterfte (mortaliteit)
      • Locatie / omstandigheden
      • Instrumentatie (Scoring-regel verandert)
      • Kenmerken van de dataverzamelaar
        • Gestandaardiseerde procedures
        • Blind
      • Testing: een pre-test kan mensen gevoelig maken
      • Geschiedenis of speciale gebeurtenis
      • Rijping
      • Houding van de “proefpersonen”
        • Hawthorne
        • John Henry
      • Implementation
    Chapter 13 Experimental Research
  • 27.
    • Weak Experiment Design / Zwakke experimentele designs
      • Zwak: want geen controle ingebouwd om validiteitsbedreigers het hoofd te bieden
        • The one-shot case study
        • The one-group-pretest-posttest design
        • The static-group comparison design
    Chapter 13 Experimental Research Comparison groups that are truly equivalent Matching Random Assignment
  • 28.
    • True Experimental Designs
      • A-selecte toewijzing aan condities (randomiseren)
      • Drie voorbeelden
        • Randomized posttest-only control group design
          • Beide groepen krijgen verschillende behandelingen waarna er een meting (posttest) plaats vindt
        • Randomized pretest-posttest control group design
          • Idem maar met pretest
        • Randomized solomon four-group design
          • Vier groepen, twee met een pretest en twee zonder pretest en daarna posttest
    Chapter 13 Experimental Research
  • 29. Chapter 13 Experimental Research
    • Voorbeeld van Randomized Posttest-Only Control Group Design
    Posttest Posttest treatment Randomization Randomization No treatment 1 0
  • 30. Chapter 13 Experimental Research
    • Voorbeeld van Randomized Posttest-Only Control Group Design
  • 31. Chapter 13 Experimental Research
    • Voorbeeld van Randomized Pretest-Posttest Control Group Design
    Posttest Posttest treatment Randomization Randomization No treatment 1 0 Pretest Pretest
  • 32. Chapter 13 Experimental Research
    • Voorbeeld van een Randomized Solomon Four-Group Design
    To eliminate the possibe effect of a pretest
  • 33. Chapter 13 Experimental Research
    • Wanneer pretest gebruiken?
    • Vergelijkbaarheid van groepen nagaan (controle van randomisering en van uitval)
    • Learning gain / Leerwinst nagaan
    • Differentiele effecten van de interventie (effect afhankelijk van hoogte van voormeting)
    • Nadeel van een pretest testing als validiteitsbedreiger
  • 34.
    • Beperkingen van het experiment
      • Generaliseerbaarheid (externe validiteit)
      • Ethische en politieke overwegingen
      • Niet geschikt voor interventieprogramma in beginfase
      • Tijd en kosten
    Chapter 13 Experimental Research
  • 35.
    • Random toewijzing met matching
      • Om equivalentie te bevorderen worden paren onderzoekseenheden gevormd die op kernvariabelen op elkaar lijken
      • Vervolgens per paar de onderzoekseenheden aselect toewijzen aan de condities
    Chapter 13 Experimental Research
  • 36. Chapter 13 Experimental Research
    • Randomized Posttest-Only Control Group Design met matching
  • 37. Chapter 13 Experimental Research
    • Mechanisch versus statistisch matchen
      • Mechanisch matching: zoals aangegeven
        • Nadeel 1: limit the number / moeilijk bij veel variabelen
        • Nadeel 2: loss of subjects / een persoon valt uit dan paar kwijt
      • Statisch matching (ook wel: statistisch equivaleren of statistische verrekening):
        • Voorkomt deze nadelen
        • Voorspelde score op basis van samenhang tussen de variabelen
        • Verschil voorspelde-geobserveerde score (‘degree of overachievement’) is waar we mee gaan werken
        • Techniek: covariantie-analyse (ANCOVA)
  • 38. Chapter 13 Experimental Research
    • Statistische controle: covariantie-analyse
    Statistisch corrigeren van tussen de groepen gemeten verschillen op de relevant geachte externe variabelen (3 de variabele = covariaat ) Ideaaltypisch voorbeeld: Na- toets O 2 Voortoets O 1 Experimentele groep Controle groep Regressielijn exp. groep: O 2 = .3O 1 + 8 Regressielijn contr. groep: O 2 = .3O 1 + 1 Interventie heeft een gemiddeld effect van 8 - 1 = 7.
  • 39. Chapter 13 Experimental Research
    • Quasi-experimentele Designs
      • Geen randomisering maar andere technieken om de validiteitsbedreigers onder controle te houden
        • Matching-only design
          • Als matchen maar dan zonder aselecte toewijzing
        • Counterbalanced design
          • Alle groepen krijgen alle interventies maar in een verschillende volgorde
        • Time-series design
          • Herhaalde metingen zowel voor als na de interventie
    seeming
  • 40. Chapter 13 Experimental Research
    • Voorbeeld van een Counterbalanced Design
  • 41. Chapter 13 Experimental Research
    • Voorbeelden van uitkomsten bij een Time-Series Design
  • 42. Chapter 13 Experimental Research
    • Factoriele Designs
    • Een (soms meer) extra onafhankelijke variabele
    • Biedt de mogelijkheid om interacties te onderzoeken (moderatorvariabele)
  • 43.
    • Voorbeeld van een Factoriele Design
    Chapter 13 Experimental Research 2*2 Factorial Design > > > <
  • 44. Chapter 13 Experimental Research
    • Voorbeeld van een Factoriele Design
    2*3 Factorial Design Teaching style Age authority facilitator demonstrator Junior Senior
  • 45. Chapter 13 Experimental Research
    • Experimental Research Designs
          • Weak
          • True
          • Quasi
          • Factorial
  • 46. Chapter 14 Single-Subject Research
    • Single subject design
  • 47. Chapter 14 Single-Subject Research
    • Essentiele kenmerken
    • Voorkeur voor een enkel subject boven een hele groep
    • Intensieve gegevensverzameling (met veel metingen / observaties) wenselijk
    • Single-subject design is een variant op het time-series design
  • 48. Chapter 14 Single-Subject Research
    • Single-Subject Design
    • Gebruik van grafische weergave – optische inspectie
    • Eerst een baseline , gevolgd door de interventie (onafhankelijke variabele)
    • Condition lines laat zien of er een verandering in de interventie is opgetreden
    • Data punten representeren wanneer de data werden verzameld (x-as) en wat de metingen op de afhankelijke aan scores hebben opgeleverd
  • 49. Chapter 14 Single-Subject Research
    • Types Single-Subject Designs
    • A-B Design
      • Één subject wordt aan twee condities of fases onderworpen na een reeks baseline metingen
    • A-B-A Design
      • Idem maar withdrawal /verwijdering
    • The A-B-A-B Design
      • als A-B maar dan herhaald
    • The B-A-B Design
      • Te gebruiekn als er snel een gedragsverandering nodig is (geen tijd voor baseline-metingen)
    • The A-B-C-B Design
      • De “C” conditie is een variatie op de “B””-conditie om het aandachtseffect (Hawthorne)
  • 50. Chapter 14 Single-Subject Research
    • A-B Design
    baseline intervention
  • 51. Chapter 14 Single-Subject Research
    • A-B-A Design
    baseline intervention baseline Remove intervention
  • 52. Chapter 14 Single-Subject Research
    • A-B-A-B Design
  • 53. Chapter 14 Single-Subject Research
    • B-A-B Design
  • 54. Chapter 14 Single-Subject Research
    • A-B-C-B Design
  • 55. Chapter 14 Single-Subject Research
    • Multiple-Baseline Design
    • Alternatief voor A-B-A-B design
    • Toepassen als het niet ethisch of onmogelijk is maar de baseline conditie terug te keren
    • Gegevens over meerdere gedragsaspecten
    • Interventie per gedragsaspect
    • Als het gedrag alleen verandert na de interventie dan wordt de interventie als oorzaak gezien
  • 56. Chapter 14 Single-Subject Research
    • Voorbeeld van een Multiple-Baseline Design
  • 57. Chapter 14 Single-Subject Research
    • Voorbeeld van een Multiple-Baseline Design
  • 58. Chapter 14 Single-Subject Research
    • De validiteitsbedriegers in een Single-Subject design
    • Zeer effectief om het volgende onder controle te houden:
    • Kenmerken van het subject (onderzoekseenheid)
    • Mortaliteit
    • Testing
    • Geschiedenis
    • Minder effectief om het volgende onder controle te houden:
        • Locatie
        • Kenmerken van de dataverzamelaar
        • Rijping
        • Regressie-naar-het-gemiddelde
    • Slecht ten aanzien van:
        • Hawthorne
        • Houding
        • Implementatie
  • 59. Chapter 14 Single-Subject Research
    • Externe Validiteit
    • Zwak qua generalisatiemogelijkheden
    • Daarom: replicatie gewenst
  • 60. Overview
    • Review of the last course
      • Instrumentation
      • Validity and Reliability
      • Internal Validity
    • Today’s course
      • Experimental Research
      • Single-Subject Research