5 - reliability and validity of qualitative research ( Dr. Abdullah Al-Beraidi - Dr. Ibrahim Althonayan - Dr.Ramzi)

Overview نظرة شاملة
Definitions: Reliability and Validity
تعريفات : الموثوقية والمصداقية
Reliability الموثوقية
Validity المصداقية
Reliability and Validity in Qualitative Research
الموثوقية والمصداقية في الأبحاث النوعية
Testing Reliability and Validity فحص الموثوقية والمصداقية
Concluding Remarks ملاحظات ختامية

It is important to test and demonstrate credibility of the study for both qualitative and quantitative studies.
يعتبر فحص و إثبات صدق الدراسة أمرا هاما بالنسبة للدراسات الكمية والنوعية
For Quantitative: بالنسبة للدراسات الكمية
Credibility depends on instrument construction يعتمد مدى صدق على بنية أداة الدراسة
Validity and reliability are separately viewed المصداقية والموثوقية أمران منفصلان
For Qualitative: بالنسبة للدراسات النوعية
The researcher is the instrument الباحث هو أداة الدراسة
i.e. the ability and the effort of the researcher مثال ذلك : قدرات وجهود الباحث
Validity and reliability are not viewed separately
لا تعامل المصداقية والموثوقية على أنهما أمران منفصلان
Terminology that encompasses both is used
تم استخدام مصطلحات تشمل في معناها كلا المفهومين معا
Such as: Credibility, transferability and trustworthiness
مثال ذلك : الصدق، قابلية الانتقال، مستحقة للثقة

Reliability: الموثوقية
The degree to which a measurement procedure produces similar outcomes when it is repeated.
الدرجة التي نضمن بها أن إجراءا قياسيا ما يعطي نفس القياس إذا تمت إعادته .
E.g., gender, birthplace, mother’s name—should be the same always—
مثال : الجنس، مكان الميلاد، اسم الأم، كلها بيانات تظل كما هي مهما أعدناها
Validity المصداقية
Tests for determining whether a measure is measuring the concept that the researcher thinks is being measured,
وتستخدم للتأكد فيما إذا كان المقياس المستخدم من قبل الباحث يقيس المفاهيم التي يعتقد الباحث أنه يقيسها
i.e., “Am I measuring what I think I am measuring”?
مثال : هل أقيس فعلا المفهوم الذي أعتقد أنني أقيسه؟

Reliability testing is a way of information elicitation
يعتبر فحص الموثوقية طريقة لاستنباط المعلومات
Hence, testing the quality
وكذلك الحال في فحص النوعية
For good quality research: means reliability is used as concept to evaluate the quality
للحصول على أبحاث نوعية جيدة : تستخدم الموثوقية كمفهوم لتقييم النوعية
In other words; used for the purpose of generating understanding
بكلمات أخرى : تستخدم الموثوقية بهدف توليد فهم واستيعاب للموضوع
However, ولكن،
Reliability testing in qualitative research is irrelevant!!
يعتبر فحص الموثوقية بعيد الصلة عن الأبحاث النوعية !!
Due to the fact that there is a difference in the purpose of evaluating the quality of studies in quantitative and qualitative studies
وذلك بسبب الاختلاف الموجود بين الهدف من تقييم نوعية الدراسات الكمية ونوعية الدراسات النوعية

“ The concept of reliability is even misleading in qualitative research. If a qualitative study is discussed with reliability as a criterion, the consequence is rather that the study is no good”
[Stenbacka (2001)]
” إن مفهوم الموثوقية مضلل في الأبحاث النوعية، فحين تتم مناقشة الأبحاث النوعية مع أخذ الموثوقية كمعيار للنقاش ينتج أن هذا البحث ليس جيدا“ ( ستنباكا 2001)
Rising concern about use of reliability and validity in the design of a qualitative research study
القلق متزايد حول استخدام الموثوقية والمصداقية في تصميم الأبحاث النوعية
“ How can an inquirer persuade his/her audiences that the research finding s on an inquiry are worth paying attention to?” [Lincoln & Guba 1985]
” كيف يمكن للباحث أن يقنع مستمعيه أن النتائج التي توصل لها حول موضوع ما تستحق الانتباه؟“
Answer: “Asserting the quality of the study in each paradigm should be judged by its own paradigm terms”
[Healy & Perry (2000)]
الجواب : ” يجب أن يتم الحكم على نوعية الدراسة المجراة ضمن إطار من الأطر باستخدام مصطلحات ذلك الاطار“ ( هيلي وبيري 2000)

Hence, While the terms Reliability and Validity are essential criterion for quality in quantitative paradigms
وعليه، فبالرغم من أن مصطلحي ا لموثوقية و المصداقية معياران هامان من معايير النوعية في الأط الكمية ..
For qualitative paradigms the terms
فإن الأطر النوعية تعتمد على المصطلحات التالية :
Credibility الصدق
Neutrality or Confirmability, الحيادية أوالتأكيد
Consistency or Dependability التطابق أو الاعتمادية
Applicability or Transferability القبول وإمكانية الانتقال
Are to be the essential criteria for quality فهذه هي المعايير الأساسية للنوعية
[Lincoln & Guba, 1985)]

Has a wide range of terms in Qualitative studies
وللمصداقية نطاق واسع من المصطلحات في الدراسات النوعية
Not Single, fixed or universal concept!
ليست مفهوما منفردا أو ثابتا أو عالميا !
“ Is a contingent construct, inescapable grounded in the process and intentions of particular research methodologies and projects”
[Winter (2000)]
” وهي تركيبة محتملة، وأساس لابد منه في العمليات والأهداف المرجوة من أساليب أي بحث أو مشروع“ ( وينتر 2000)

Validity applicability in qualitative research is an issue!
يعتبر مدى تطبيق مفهوم المصداقية على الأبحاث النوعية نقطة نقاش !
There is a need for a qualifying check or measure for research
هناك حاجة لوجود نقطة لفحص الأهلية في الأبحاث
“ Validity is affected by the researcher’s perception of validity in the study and his/her choice of paradigm assumption”
[Creswell & Miller (2000)]
” تتأثر المصداقية بالمنظور الذي يحمله الباحث حول مصداقية الدراسة وخياره المتعلق بفرضيات الاطار المستخدم“ ( كريسول و ميلر 2000)
Hence, researchers have developed their own concepts of validity and have often generated or adopted what they consider to be more appropriate terms, such as, quality, rigor and trustworthiness
وعليه، فقد طور الباحثون مفاهيمهم الخاصة حول المصداقية، كما تبنوا ما يرونه ملائما من الألفاظ مثل : نوعية، صرامة، أهل للثقة .

Describes the extent to which a correlation exists between the measuring instrument & another standard—empirical evidence
تصف المصداقية مدى وجود ارتباط بين أداة القياس المستخدمة وأي معيار آخر - الدليل التجريبي
E.g., the relationship between college board examination and student academic success in college
مثال : العلاقة بين امتحان مجلس الكلية والنجاح الأكاديمي للطالب في الكلية
Two measures need to be taken:
يجب أخذ قياسين اثنين هما :
The measure of the test itself
قياس الامتحان نفسه
The criterion to which the test is related
المعيار الذي تم ربط الامتحان ب ه

External reliability - the degree to which a study can be replicated
الموثوقية الخارجية – درجة أو قابلية الدراسة للتكرار
Internal reliability - whether, when there is more than one observer, members of the research team agree about what they see and hear
الموثوقية الذاتية ( الداخلية ) – حين يتفق أعضاء فريق البحث ( في حال كان هناك أكثر من مراقب واحد ) حول ما يرونه ويسمعونه
Internal validity - whether there is a good match between researchers' observations and the theoretical ideas they develop
المصداقية الذاتية ( الداخلية ) – وتتعلق بوجود توافق جيد بين مشاهدات الباحثين والأفكار النظرية التي يطرحونها
External validity - the degree to which findings can be generalized across social settings
المصداقية الخارجية – درجة امكانية تعميم النتائج لتشمل الأوضاع الاجتماعية

Qualitative studies should be judged or evaluated according to quite different criteria
يجب تقييم الدراسات النوعية أو الحكم عليها من خلال مجموعة مختلفة تماما من المعايير
(different from reliability and validity qualitative studies)
معايير تختلف عن الموثوقية والمصداقية في الأبحاث النوعية
“ It is necessary to specify terms and ways of establishing and assessing the quality of qualitative research that provide an alternative to reliability and validity”
[Guba (1985 & Guba and Lincoln (1994)]
” من الضروري تحديد المصطلحات و الآليات المستخدمة في بناء وتقييم الأبحاث النوعية والتي تشكل بديلا عن الموثوقية والمصداقية“
Two primary criteria معياران أساسيان :
Trustworthiness إستحقاق الثقة
Authenticity الصحة

Trustworthiness : استحقاق الثقة
Credibility (Internal Validity)
الصدق ( المصداقية الذاتية )
Multiple accounts of social reality
تعليلات متعددة للواقع الاجتماعي
Respondent Validation
مصادقة المستجيب ( المتلقي )
Transferability (External Validity)
امكانية الانتقال ( المصداقية الخارجية )
Thick description الوصف الزائد
Dependability (Reliability) الاعتمادية
Auditing approach الأسلوب الرقابي
Accessible امكانية الدخول
Confirmability (Objectivity)
التأكيدية ( الموضوعية )
Acting in good faith التصرف بأمانة
Authenticity : الصحة
Fairness النزاهة
Represent different view points?
هل تمثل أكثر من وجهة نظر واحدة؟
Ontological
مرتبطة بماهوموجود
Better understanding?
هل تقدم فهما أفضل؟
Educative تربوية
Appreciate better the perspective of others?
هل تحترم أطر الآخرين؟
Catalytic تحفيزية
Engaging in action?!
هل تتضمن حركة؟ !
Tactical تكتيكية
Steps for engaging?
هل تنخرط في غيرها؟

Respondent (or member) validation - a process whereby researchers provide the people on whom they have conducted research with an account of their findings.
مصادقة المستجيب ( أو العضو ) – وهي العملية التي يقوم فيها الباحثون بتزويد الأفراد الذين أجريت عليهم الدراسة بتعليل لنتائج الدراسة
Forms: أشكالها
• researchers provide each research participant with an account of what they have said to the researcher in interviews and conversations or of observations of participants in observational studies.
يقوم الباحثون بتزويد المشتركين في البحث بتعليل لما صدر عنهم من أقوال للباحث في المقابلات أو الحوارات أو المشاهدات التي تنطوي عليها الدراسة
• the researcher feeds back to a group or an organization their impressions and findings in relation to that group or organization.
يزود الباحث مجموعة أو منظمة ما بالتغذية الراجعة المتعلقة بالنتائج و الانطباعات حول المجموعة او المنظمة
Practical difficulties: الصعوبات العملية
• respondent validation may occasion defensive reactions and even censorship on the part of research participants.
قد تسبب هذه العملية ردود فعل دفاعية بل وأحيانا رقابية من جانب المشاركين في البحث
• it is highly questionable whether research participants can validate a researcher's analysis, since this entails inferences being made for an audience of social science peers.
إن مقدرة المشاركين على تقييم تحليل الباحث هو قضية موضع سؤال، لأن هذا يستدعي التوصل الى نتيجة معينة لجمهور من الزملاء في مجال العلوم الاجتماعية

How to test or maximise the validity as a result the reliability of a qualitative study?
كيفية فحص وزيادة المصداقية –وبالنتيجة زيادة الموثوقية - للدراسات النوعية؟
Maximising validity/trustworthiness will lead to a credible and defensible result!
إن رفع مستوى المصداقية / أو استحقاق الثقة يؤدي الى نتائج صادقة يمكن الدفاع عنها
Hence, Lead to genralisability
وبالتالي فهي تعني المقدرة على وضع التعميمات
Triangulation methods can be used to improve the validity and reliability of a research study
يمكن استخدام طريقة التثليث لتحسين مصداقية وموثوقية البحث

Entails using more than one method or source of data in the study of social phenomena.
وهي تقنية تستدعي استخدام أكثر من أسلوب أو مصدر واحد للمعلومات في دراسة الظواهر الاجتماعية
Is an approach that uses `multiple observers, theoretical perspectives, sources of data, and methodologies‘ (Denzin)
التثليث أسلوب يستخدم ”عدة مشاهدين، ومجموعة من الأطر النظرية، ومصادر للمعلومات، وأساليب البحث“ ( دنزين )
Has tended to emphasise multiple methods of investigation and sources of data
تهدف هذه الطريقة الى التركيز على تعدد أساليب البحث ومصادر المعلومات
Can operate within and across research strategies
يمكن للتثليث أن يعمل ضمن استراتيجيات البحث وعبرها
Can to refer to a process of cross-checking findings deriving from both quantitative and qualitative research (triangulation of methods)
يمكن استخدامه للاشارة الى عملية الفحص المتبادل للنتائج والذي يتم اشتقاقه من الأبحاث النوعية والأبحاث الكمية معا ( تثليث الأساليب )
May often allow access to different levels of reality
يسمح التثليث في أغلب الأحيان بالولوج الى مستويات مختلفة من الوقائع

Difference between reliability and validity
الفرق بين الموثوقية والمصداقية
Reliability : the degree to which a measurement procedure produces similar outcomes when it is repeated.
الموثوقية : درجة مقدرة الأداة على إعطاء نتائج مشابهة في حال إعادة الدراسة
E.g., gender, birthplace, mother’s name—should be the same always—
مثال ذلك : الجنس، مكان الميلاد، اسم الأم، كلها بيانات تظل كما هي مهما أعدناها
Validity : tests for determining whether a measure is measuring the concept that the researcher thinks is being measured,
المصداقية : وتستخدم للتأكد فيما إذا كان المقياس المستخدم من قبل الباحث يقيس المفاهيم التي يعتقد الباحث أنه يقيسها
i.e., “Am I measuring what I think I am measuring”?
مثال : هل أقيس فعلا المفهوم الذي أعتقد أنني أقيسه؟
Final Note ملاحظة نهائية
A valid test is always reliable but a reliable test is not necessarily valid
مصداقية البحث تعني بالضرورة انه موثوق ولكن العكس ليس صحيحا بالضرورة

5 - reliability and validity of qualitative research ( Dr. Abdullah Al-Beraidi - Dr. Ibrahim Althonayan - Dr.Ramzi)

by Rasha Alahmad

Accessibility

Categories

Upload Details

Usage Rights

1 Embed 22

Statistics

5 - reliability and validity of qualitative research ( Dr. Abdullah Al-Beraidi - Dr. Ibrahim Althonayan - Dr.Ramzi) Presentation Transcript