Introduction to Mixed-methods Research (MMR) for family medicine residency program, FM Morning Academic Activity, June 22, 2017.

1. Introduction to Mixed-methods Research: MMR
ผศ.ดร.นพ.บวรศม ลีระพันธ์
FM Morning Academic Activity
22 มิ.ย.60
Pix source: www.facebook.com/pmac2015worldartcontest/photos/

2. ØThe “Dictatorship” of research question
ØPhilosophy of science
–Quantitative study
–Qualitative study
–Qualifiers and limitations of study methods
ØMixed-methods study (MMR)
ØRoles of MMR for FM research
Outline
Pix source: online.wsj.com

3. Research, Learning, Knowledge Creation
Pix source: online.wsj.com

4. Implementation Gap vs. Knowledge Gap
ความสัมพันธ์ระหว่่าง
“การเรียนรู้” (จากผู้อื่น) และ “การสร้างความรู้” (ด้วยตนเอง)

5. Implementation Gap vs. Knowledge Gap
ความสัมพันธ์ระหว่่าง
“การเรียนรู้” (จากผู้อื่น) และ “การสร้างความรู้” (ด้วยตนเอง)

6. Questions
vs.
Research Questions
vs.
Researchable Questions

7. Closed Question (Y/N) Open Questions (5W1H)
Is there?
Does it?
Could it?
Would it?
Should it?
What?
When?
Where?
Why?
Who?
How?
Type of Research Questions

8. 1. What
• When (=What time)
• Where (=What place)
• Who/For Whom/By Whom (=What persons)
• How Much/How Many (=What cost, What size)
• Is there (=What actually happens)
2. How (=By what process)
3. Why (=By what reason)
Type of Research Questions: Summarizing

9. The “Dictatorship” of the Research Question
Pix source: http://news.mthai.com/world-news/244643.html
Research
Paradigms &
Methods
Research
Questions
• Tashakkori & Toddlie, 1998

10. • ระเบียบวิธีวิจัยในการพัฒนาระบบสุขภาพ 3 ประเภทหลัก ได้แก่ :
1. “การศึกษาวิจัยเชิงปริมาณ” (quantitative research: QUAN)
เป็นวิธีการทดสอบทฤษฎีหรือสืบค้นความสัมพันธ์ระหว่างตัวแปรเชิงปริมาณ
(variables) และเน้นการนำข้อสรุปที่ได้จากการวิจัยไปใช้ในในบริบทอื่นๆ
(generalizing the findings)
2. “การศึกษาวิจัยเชิงคุณภาพ” (qualitative research: QUAL)
เป็นวิธีการสำรวจและทำความเข้าใจวิธีการที่บุคคลหรือกลุ่มคนมีส่วนใน
กระบวนการต่างๆ หรือมีส่วนร่วมในปัญหาด้านต่างๆ ของมนุษย์และสังคม
เน้นการนำเสนอข้อมูลซึ่งสะท้อนประเด็นความซับซ้อนที่ปรากฎอยู่ใน
ปรากฏการณ์ที่ศึกษา (rendering the complexity)
3. “การศึกษาวิจัยแบบผสมผสาน” (mixed methods research: MMR)
Research Methods

11. “ทำไมจึงมีระเบียบวิธีวิจัยหลากหลายประเภท?”
QUAL = Descriptive?
QUAN = Analytical?

12. What Level of Our Learning?
• WhyWisdom
• HowKnowledge
• What, Who, When, WhereInformation
• Number, Text, Picture, Sound, etc.Data

13. What is Our Philosophy of Science?
Objectivity (วัตถุวิสัย/ภววิสัย) Subjectivity (อัตวิสัย)
• ความจริงมีอยู่แล้วตามธรรมชาติ
และรอคอยการค้นพบของมนุษย์อยู่
(“Truth already exists
somewhere out there and is
waiting for our discovery.”)
• ดังนั้น ความรู้ (knowledge) คือ
ความจริงที่ถูกค้นพบโดยไม่มีอคติ
• ความจริงเป็นสิ่งที่มนุษย์สร้างขึ้น
(“Truth is being constructed”)
• ดังนั้น ความรู้ (knowledge) คือ
ความจริงที่ถูกสร้างขึ้นในบริบททาง
สังคมและวัฒนธรรมของมนุษย์ผู้
สร้้างความรู้นั้นๆ

14. Philosophy of Science
ØWe learn by so many ways: observation, experiment, etc.
ØBut, how we learn what is true and what is not,
depends on our “paradigm” (กระบวนทัศน์).
ØAnd, our “paradigm” depends on:
– Our “ontology” (ภววิทยา): how we see the nature of truth.
– Our “epistemology” (ญาณวิทยา): how we see the nature of
knowledge.
Very confusing?

15. ‘The Milkmaid’,
Johannes Vermeer (c. 1660)

16. Source: http://en.wikipedia.org/wiki/Palace_of_Westminster

17. Source: Claude Monet’s Le Parlement de Londres (1900-1905)

18. Vincent van Gogh’s Vase with Twelve Sunflowers (1888); The Starry Night (1889)

19. Philosophy of Science
ØOur “paradigm” (กระบวนทัศน์) leads to our “methodology”
(วิธีวิทยา) and our “methods” (ระเบียบวิธีวิจัย): how we find
the truth and the knowledge:
• Study design
• Type of data & data collection methods
• Data analytic/synthetic methods

20. 1) Problem Identification (การระบุปัญหาที่ต้องการศึกษาวิจัย)
2) Research Questions (การตั้งคำถามวิจัย):
• What, Who, When, Where, How, Why, etc.
3) Study Design (การออกแบบการวิจัย):
• Cross-sectional, Retrospective Cohort, Prospective Case-Control, Clinical Trial, etc.
4) Data Collection (การเก็บข้อมูล):
• Primary vs. Secondary Data
• Quantitative (“Sampling”) vs. Qualitative Data (Selection of “Key Informants”)
5) Data Analysis/Synthesis (การวิเคราะห์/สังเคราะห์ข้อมูล):
• QUAN: Statistical Analysis, etc.
• QUAL: Content Analysis, Thematic Analysis, etc.
• MMR: Mixed-methods Research
Research Methods

21. 1) Problem Identification (การระบุปัญหาที่ต้องการศึกษาวิจัย)
2) Research Questions (การตั้งคำถามวิจัย):
• What, Who, When, Where, How, Why, etc.
3) Study Design (การออกแบบการวิจัย):
• Cross-sectional, Retrospective Cohort, Prospective Case-Control, Clinical Trial, etc.
4) Data Collection (การเก็บข้อมูล):
• Primary vs. Secondary Data
• Quantitative (“Sampling”) vs. Qualitative Data (Selection of “Key Informants”)
5) Data Analysis/Synthesis (การวิเคราะห์/สังเคราะห์ข้อมูล):
• QUAN: Statistical Analysis, etc.
• QUAL: Content Analysis, Thematic Analysis, etc.
• MMR: Mixed-methods Research
Design, Data Collection, Data Analysis
“3D of research”

22. Quantitative Study vs. Qualitative Study
Pix source: online.wsj.com

23. “กระบวนการศึกษาวิจัยเชิงปริมาณและเชิงคุณภาพ
มีความแตกต่างกันอย่างไร?”

24. Type of Research Questions
Source: Gilson, editor (2012). Health Policy and Systems Research: A Methodology Reader.

25. Quantitative Study Qualitative Study
• Objective
• Test theory; driven by hypothesis
• Measurable; report statistical
analysis; basic element of analysis
is numbers; establishes
relationships, causation
• Reasoning is logistic and deductive
• Uses instruments; researcher is
separate
• Strives for generalization; facts are
context-free and value-free
• Sample size is a concern: n
• Subjective
• Develops theory; driven by
research questions
• Interpretive; report rich narrative,
individual interpretation; basic
element of analysis is words/ideas;
describes meaning, discovery
• Reasoning is dialectic and inductive
• Uses communications/observation;
researcher is a part of process
• Strives for uniqueness; facts are
context-specific and value-laden
• Sample size is not a concern; seeks
informal-rich informants
Source: Adapated from Anderson (2006): www.icoe.org/webfm_send/1936

26. Research Skills for Family Physicians
Pix source: online.wsj.com

27. Physician vs. Researcher
Pix source: www.wamathai.com/listened/dilemma

28. Skills for QUAN Study
• การศึกษาทางระบาดวิทยา (Epidemiological study)
• การวิเคราะห์สถิติเชิงพรรณา (Descriptive statistics)
• การวิเคราะห์สถิตเชิงอนุมาณ (Inferential statistics)
ระบาดวิทยา (Epidemiology),
ชีวสถิติ (Biostatistics)
เวชปฎิบัติอิงหลักฐาน (Evidence-based medicine: EBM)

29. Skills for QUAL Study
• การสังเกต (Observation):
– การเก็บข้อมูลโดยใช้ประสาทสัมผัส: ตา หู จมูก ลิ้น กาย (ใจ)
oการฟังอย่างลึกซึ้ง (deep listening)
– การมีส่วนร่วมในเหตุการณ์ (Participation):
oการสังเกตแบบมีส่วนร่วม (Participant observation)
oการสังเกตแบบไม่มีส่วนร่วม (Non-participant observation)
• การสังเคราะห์ (Synthesis):
– การสังเคราะห์แก่นเรื่อง (Theme synthesis)
“สังเกตและสังเคราะห์”

30. Skills for QUAN/QUAL Study
“สังเคราะห์ (synthesize)”
“วิเคราะห์ (analyze)”
QUAN/QUAL Data
• Theory/Hypothesis
• Theory/Hypothesis
QUAN/QUAL Data
“สังเกต (observe)”

31. การสังเกต (Observation)
Pix source: online.wsj.com

32. Probably not this kind of observation!
Source: www.blueflashgames.net

33. Deep Listening & Learning
Source: Senge, P., Scharmer, C.O., Jaworski, J. & Flowers, B.S. (2004). Presence- Exploring Profound Change in People, Organizations and Society.
เปรียบเทียบกับสิ่งที่รู้ (“Downloading”)
ตัดสินคนพูด (“Judging”)

34. Deep Listening & Learning
Source: Senge, P., Scharmer, C.O., Jaworski, J. & Flowers, B.S. (2004). Presence- Exploring Profound Change in People, Organizations and Society.
เปิดความคิด
เปิดใจ
เปิดเจตจำนง
เรียนรู้จากปัจจุบันขณะ, “มหาสติ”

35. Deep Listening & Learning
• Multiple levels of how we can learn from listening:
① “Downloading” (ตัดสินคนพูด, เปรียบเทียบกับสิ่งที่เคยรู้):
e.g. to test our knowledge, to test our hypotheses
② “Observing”, “Open Mind” (เปิดความคิด, ได้มุมมองหรือข้อมูลใหม่):
e.g. to understand and gain new knowledge of why and
how do people think or behave in a certain way
③ “Sensing”, “Open Heart” (เปิดใจ, เอาใจเขามาใส่ใจเรา):
e.g. to empathize people we met
④ “Presencing”, “Open Will” (เปิดเจตจำนง, เรียนรู้จากปัจจุบันขณะ):
e.g to create our own insight or knowledge

36. Deep Listening & Learning
“ฉันรู้ว่าฉันรู้”
นำความรู้ไปใช้
ศึกษา/ค้นคว้า/ซักถาม
จากตำราหรือผู้รู้
ฟังอย่างลึกซึ้ง
เปิดความคิดและเปิดใจเพื่อเรียนรู้
“ฉันรู้ว่าฉันไม่รู้”
“ฉันไม่รู้ว่าฉันไม่รู้”

37. การสังเคราะห์ (Synthesis)
Pix source: online.wsj.com

38. Pix source: www.dek-d.com/education/31442/
“ขอสามคำ”

39. Pix source: www.tinyzone.tv/HealthDetail.aspx?ctpostid=1958
“ขอสามคำ”

40. Pix source: www.mindstationblog.com
“ขอสามคำ”

41. “คุณกําลังทําอะไร” เขาถามชายขี้เมาที่จมอยู่ในความเงียบหน้าขวดเหล้ากองโต
ทั้งที่มีเหล้าเต็มและที่เป็นขวดเปล่าๆ
“ฉันกําลังกินเหล้า” ชายขี้เมาตอบด้วยท่าทางเศร้าสลด
“ทําไมคุณต้องกินเหล้าด้วย” เจ้าชายน้อยถาม
“เพื่อลืมอะไรบางอย่าง” ชายขี้เมาตอบ “ลืมอะไรล่ะ” เจ้าชายน้อยถามด้วยความ
สงสาร
“ลืมเรื่องที่น่าอับอาย” ชายขี้เมาตอบแล้วก้มหน้า
“แล้วคุณอายเรื่องอะไร” เขาถามเพราะอยากจะช่วยเหลือ
“อายเรื่องที่ต้องกินเหล้าน่ะสิ” ชายขี้เมาตอบแล้วเก็บตัวเขาสู่ความเงียบ
เจ้าชายน้อยจากไปอย่างงุนงง
“พวกผู้ใหญ่นี่แปลกจัง” เขาบอกตัวเองขณะเดินทางต่อ
ที่มา: เจ้าชายน้อย (Le Petit Prince)
ผู้เขียน: Antoine De Saint-Exupery
ผู้แปล : อาริยา ไพฑูรย์

42. “…ความสุขความสวัสดีของข้าพเจ้า จะเกิดขึ้นได้ ก็ด้วยบ้านเมืองของเรา
มีความเจริญ มั่นคง เป็นปกติสุข ความเจริญมั่นคง ทั้งนั้น จะสำเร็จผลเป็น
จริงไปได้ ก็ด้วยทุกคนทุกฝ่ายในชาติ มุ่งที่จะปฏิบัติหน้าที่ของตนให้เต็ม
กำลัง ด้วยสติ รู้ตัว ด้วยปัญญา รู้คิด และด้วยความสุจริตจริงใจ โดยเห็น
แก่ประโยชน์ส่วนรวมยิ่งกว่าส่วนอื่น..."
พระราชดำรัสในพระบาทสมเด็จพระเจ้าอยู่หัว
ในการเสด็จออกมหาสมาคมในงานพิธีเฉลิมพระชนมพรรษา
ณ พระที่นั่งอมรินทรวินิจฉัย วันเสาร์ที่ 5 ธันวาคม 2552

43. How exactly the two methods are “mixed”?
Pix source: online.wsj.com

44. Planning MMR
Source: Creswell (2008).
• Topic: “pain diary” used by patients with chronic pain
• Research Qs:
– Q1: Is the use of pain diary (cost)-effective?
– Q2: In which groups of patients that the use of pain diary are
effective (e.g. patients with cancer pain vs. patients with non-cancer
chronic pain)?
– Q3: What are the experiences of patients using pain diary?
– Q4: How does pain diary help patients to cope with chronic pain?
By what mechanism(s)?
– Q5: Why is the pain diary not effective in some patients?

45. Considerations in Planning MMR
Source: Adapted from Creswell et al (2003).
Timing Weighting Mixing Theorizing
• No
sequence,
Concurrent
• Sequential,
Qualitative
first
• Sequential,
Quantitative
first
• Equal
• Qualitative
• Quantitative
• Integrating
• Connecting
• Embedding
• Explicit
• Implicit

46. Mixed Methods Research Designs
Source: Creswell (2008).
1. Sequential Explanatory Design**
2. Sequential Exploratory Design**
3. Sequential Transformative Design
4. Concurrent Triangulation Design**
5. Concurrent Embedded Design
6. Concurrent Transformative Design

47. Sequential Explanatory/Exploratory Design
Source: Creswell (2008).

48. Concurrent Triangulation Design
Source: Creswell (2008).

49. Roles of MMR in FM Research
Pix source: online.wsj.com

50. • Aekplakorn, et al. Diabetes Care, 2011.

51. • Aekplakorn, et al. Diabetes Care, 2011.

52. • Aekplakorn, et al. Diabetes Care, 2011.

53. • Christakis & Fowler (2007). NEJM.

54. • Christakis & Fowler (2007). NEJM.

55. • Christakis & Fowler (2007). NEJM.

56. • Gomes, et al. PLOS Currents Outbreaks. 2014.

57. • Gomes, et al. PLOS Currents Outbreaks. 2014.

58. • Gomes, et al. PLOS Currents Outbreaks. 2014.

59. • Riewpaiboon et al. Social Science and Medicine, 2005.

60. • Riewpaiboon et al. Social Science and Medicine, 2005.

61. • Riewpaiboon et al. Social Science and Medicine, 2005.

62. • Riewpaiboon et al. (2005). Social Science and Medicine.

63. • Leerapan & Namtatsanee (2013). Rama Med J.

64. • Leerapan & Namtatsanee (2013). Rama Med J.

65. • Leerapan & Namtatsanee (2013). Rama Med J.

66. For Your Further Study
Pix source: amazon.com

67. For Your Further Study
Source: www.annfammed.org

68. For Your Further Study
Source: NIH (2010).

69. For Your Further Study
Source: www.mcgill.ca/familymed/research/projects/mmat

70. Q & A
borwornsom.lee@mahidol.ac.th
Pix source: online.wsj.com

71. Food-for-Thought
Pix source: online.wsj.com

72. “I'm not confused. I'm just well mixed.”
--Robert Frost
Pix source: www.biography.com/people/robert-frost-20796091