UX Researchers: Mind The Gap! - Meirav Har-Paz (CyberArk)
•
0 likes•74 views
People have a natural tendency to manipulate a large portion of the information they perceive. Each person experiences a different, subjective reality. With UX research, however, we aim to optimize products for the future, regardless of subjective views. As UX researchers, we strive to perform the most effective research. We must recognize bias and subjectivity gaps of both users and researchers, gaps that can lead to the wrong conclusions and cause products to fail. In this talk, I discuss the tools and methods we use to overcome bias and provide effective and accurate insights. The deck is in English. Deck is followed by the video recording in Hebrew. Meirav Har-Paz (CyberArk) UX Lead and Research, Biophysics B.Sc., over 15 years' experience leading and designing UX for B2B products.
Recommended
More Related Content
Similar to UX Researchers: Mind The Gap! - Meirav Har-Paz (CyberArk)
Similar to UX Researchers: Mind The Gap! - Meirav Har-Paz (CyberArk) (20)
Recently uploaded
Recently uploaded (20)
UX Researchers: Mind The Gap! - Meirav Har-Paz (CyberArk)
- 1. UX Researchers: Meirav Har-Paz UX Lead & Research, CyberArk Mind The Gap!
- 2. marvily.com
- 3. marvily.com Meirav Har-Paz UX Lead & Research, CyberArk Designer Biophysicist Life Coach BloggerUX Expert
- 9. marvily.com • Aim to truly understand • Don’t interrupt the speaker • Be fully present in the conversation • Neutralize yourself Listen Effectively
- 11. marvily.com • Raise awareness • Not knowing is ok • Validate you’ve got it right • Communicate transparently • Be patient Avoid Assuming
- 13. marvily.com
- 14. marvily.com • Use open ended questions • Don’t “lead the witness” • Carefully word and edit your questions • Deep dive following given answers • Don’t ask users to predict Bypass Users’ Bias
- 15. marvily.com Listen Effectively Summary Avoid Assuming Bypass Users’ Bias • Use open ended questions • Don’t “lead the witness” • Word your questions • Deep dive • Don’t ask users to predict • Raise awareness • Not knowing is ok • Validate you’ve got it right • Communicate transparently • Be patient • Aim to truly understand • Don’t interrupt the speaker • Be fully present • Neutralize yourself
- 16. marvily.com
Editor's Notes
- עובדים על קונספט חדש לפיצ'ר קיים במערכת.
- נבחרים שני חוקרים מצוות ה-UX, שאול ונוח, שהם יבדקו את הקונספט החדש, וגם יאספו מידע על שימוש בפיצ'ר הקיים: האם בכלל משתמשים בפיצ'ר? מי משתמש? שאול ונוח יערכו את הבדיקות שלהם במקביל, בשני חדרים סמוכים ויפגשו עם לקוחות שונים שהם משתמשים מנוסים של המערכת. בסיום כל הפגישות החבר'ה נפגשים להשוות ממצאים, ואז התבררה תמונה מאד מעניינת: גם שאול וגם נוח מצאו שאכן המשתתפים משתמשים בפיצ'ר הנדון. אלא מה? אצל שאול, 50% מהמשתתפים – כלומר מחצית מהמקרים – העידו על כך שהם משתמשים בפיצ'ר באופן שונה, כ-WALKAROUND לפתור כל מיני עניינים טכניים שלא פתרו בדרכים אחרות, או שלא הכירו דרכים אחרות להגיע לתוצאה הרצויה. ואצל נוח לא נמצאו ממצאים כאלה. עכשיו, למידע הזה יש משמעות עצומה. יש סיכוי גבוה מאד שעלינו פה על צורך ויש פה הזדמנות עסקית חדשה. ואת זה גילה רק שאול. אז מה קרה פה? מדובר בשני אנשי מקצוע טובים ומנוסים! האם זה היה מקרי – במקרה רק אצל שאול היו המשתמשים שעושים שימוש שונה בפיצ'ר? או שיש פה משהו מעבר? בעוד כמה דקות כולנו נבין מה קרה פה.
- אין צורך להרחיב כמה הפידבק של המשתמשים שלנו חשוב וקריטי להצלחת המוצר. אחרי הכל – בשביל המשתמשים שלנו אנחנו עושים מוצרים והם אלו שבסופו של דבר יקבעו אם המוצר שלנו יהיה סיפור הצלחה או לא. אבל – ופה נכנס אבל גדול – יש חשיבות מאד גדולה לאופן בו נאסף הפידבק. אם הפידבק עובר מניפולציה – אנחנו מפספסים את המטרה. הנה לנו פער מסוג אחד. בהמשך אני אדבר על כלים שנועדו להתגבר על הפער מהסוג הזה: וגם איך אנחנו יכולים לדעת אם המשתמשים מספקים לנו פידבקים אובייקטיבים או איכותיים? אז הנה לנו עוד פער. וגם לזה יש לי בשבילכם כלי. כי בסופו של דבר, הפערים האלה עלולים להוביל אותנו למסקנות והמלצות שעלולים להזיק למוצר. היום אני רוצה לדבר על איך לערוך מחקר יותר אובייקטיבי, נטול בורות ופערים, ולהגיע למסקנות שיקחו את המוצר ואת הביזנס קדימה. מחקר מוטה זה לא מחקר - זו דעה. (1)
- מהי בכלל מציאות? אנרגיה מהסביבה מגיעה אלינו בצורת סיגנלים, אותם אנחנו קולטים. עכשיו, החושים שלנו קולטים רק חלק מהסיגנליים השונים שמגיעים אליהם אז האבולוציה דאגה שיהיה לנו מנגנון השלמה, של מה שאנחנו לא קולטים בחושים שלנו הוא בעצם מנגנון של תרגום ופרשנות של המציאות
- תחשבו על זה - המוח שלנו לעולם אינו פוגש דבר חיצוני לו - הוא כאילו סגור בקופסה בעלת 5 פתחים, שהם בעצם החושים שלנו - דרכם נקלט הסיגנל מהעולם החיצוני החושים פועלים בכיוון אחד - מבחוץ פנימה, ולכן החווייה שאנו חווים באמצעותם היא פנימית ואישית. בואו נסתכל רגע על המנגנון של עיבוד מידע ויזואלי – מדידות פעילות גלי מוח הראו שפיענוח המידע הויזואלי מושפע פי 7 ממה שהמוח שלנו חושב לעומת האות הפיסיקלית שנכנסת אליו!!! ובאופן דומה כך גם מנגנון השמיעה מושפע מאד ממה שאנחנו חושבים אני אוהבת להשתמש בדימוי של שידור רדיו של משחק כדורגל: כל מה שהפרשן אומר או בעצם משדר - זה מה שנדע על המשחק. אם הפרשן אומר ששחקן עושה פאול בכוונה - זה מה שנדע ונחשוב ונאמין וזהו זה. המוח שלנו הוא פרשן של מה שאנחנו קולטים מהעולם החיצוני, וזאת לפי דפוסי החשיבה, האמונות והתפיסות שלמדנו במהלך חיינו. כך שהתפיסה שלנו היא בעצם רק "תגובה פנימית שנוצרת בתוכנו" למציאות החיצונית. אנו "סגורים בתוך הקופסא שלנו", ולכן לעולם איננו יודעים מה באמת מתרחש בחוץ. תכלס, זה סיפור שאנחנו מספרים לעצמנו בדיוק כמו פרשן של משחק כדורגל.
- חברים, אנחנו חיים בסרט!!! מה שאנחנו רואים הוא למעשה אשליה שנוצרה במוחנו, וזה מה שיוצר את חוויית המציאות שלנו. ויכולה להיות פה בעיה גדולה כאשר מדובר במחקר משתמשים כאשר מדובר בלראות ולשמוע מה אנשים עושים מה הם ביצעו, ומה אנחנו ראינו והבנו? מה הם אמרו, ומה אנחנו שמענו והבנו? בתור חוקרים יש לנו אחריות – אחריות לגשר על הפערים האלה מתוך כוונה ברורה להבין באמת מה קורה במגרש. מתוך כוונה לקלוע לצרכים של המשתמשים שלנו. כי מחקר מוטה זה לא מחקר - זו דעה (2)
- אז מה עושים? יש כמה עקרונות וכלים אותם אנחנו יכולים לאמץ כדי לצאת קצת מהסרט הזה שבו אנחנו חיים. כדי לגשר על הפערים. העיקרון הראשון הוא הקשבה.
- הבעיה: ההקשבה שלנו. אנחנו לא מיומנים בהקשבה. אנחנו יכולים לשמוע את המילים ולהבין את השפה, להבין מה שנאמר, ובאותו זמן אנחנו יכולים לפספס את הנקודה לחלוטין גם הקשב שלנו הוא חלקי - אנחנו נוטים לאבד את הקשב לעיתים דיי קרובות בנוסף, אתם זוכרים את הפרשן הפנימי שיש לנו בראש? אז הוא מתרגם חלק מהדברים בצורה לא ממש נאמנה למקור כתוצאה מכך, נוצר פער שעלול להיות גדול, בין מה שנאמר לבין מה שהבנו מתוך זה האם - האם קרה שחשבתם על מענה, טיעון או הסבר, או שאלה, תוך כדי שהאדם האחר עדיין מדבר? האם קרה שחלמתם בהקיץ, או חשבתם על דברים אחרים, תוך כדי שהאדם האחר עדיין מדבר? האם קרה לכם שהפסקתם להקשיב לאדם האחר ברגע ששמעתם משהו שגרם לכם להסכים איתו, או להיפך - לא להסכים איתו, והבן אדם עדיין לא סיים להגיד את מה שיש לו להגיד? מוכר לכם? כולנו עושים זאת, פחות או יותר. לא לימדו אותנו איך להקשיב באמת, איך לתקשר באופן יעיל וככה אנחנו מוצאים עצמינו באי הבנות מצערות, בעיות ביחסים עם אנשים וזה קטלני כשמדובר במחקר יואיקס
- הפיתרון: הקשבה אפקטיבית אחד הגורמים המרכזיים בתקשורת הוא הקשבה אפקטיבית הקטע הוא, שאנחנו לא מיומנים בלהיות מאזינים פעילים, אם כבר - להיפך: החברה המודרנית מלמדת אותנו להיות ההיפך ממאזינים פעילים הקשבה כפעולה אקטיבית, לא משהו פסיבי, וזה דורש מאמץ והחדשות הטובות הן שאנחנו יכולים לפתח את היכולת הזו, וזה עושה הבדל של שמים וארץ אז מה זו הקשבה אפקטיבית ואיך עושים את זה בפועל: להקשיב מתוך מטרה באמת להבין את האדם האחר לכוון להבין את האחר מתוך כוונה כנה לתפוס את המסר שלו כפי שהוא באמת מתכוון לכך. מה הוא אומר ומה הוא מתכוון. לבקש הבהרות אם משהו לא ברור להימנע מהנחת הנחות - לזה נגיע עוד מעט זה לתת לאדם האחר לדבר מבלי להפריע או לקטוע אותו. לדבר בתורות. להתאפק ולא להתפרץ לדברי האחר. להיות לגמריי נוכחים בשיחה, מבלי לעשות או לחשוב על שום דבר אחר תכלס, כשאנחנו עסוקים בטלפון ומישהו מדבר איתנו - אנחנו לא באמת מקשיבים להתמקד באדם שמדבר, ליצור קשר עין. אם המחשבות שלנו נודדות - עלינו להחזיר אותן לשיחה. ואל תעמידו פנים שאתם מקשיבים לנטרל את עצמנו לשים בצד את הדעות שלנו והאמונות שלנו להימנע מלנקוט עמדה - אם בעד ואם נגד מה שאנחנו שומעים לנסות לא להיסחף עם הרגשות שלנו לאמץ את הגישה שיש הרבה דעות בעולם וזה בסדר. להיות כנים בשיחה, ולוותר על הצורך לדבר רק כדי לדבר או כדי להראות כמה אנחנו חכמים ויודעים
- אז אחרי שהבנו מה זו הקשבה אפקטיבית, ואנחנו מתחילים להקשיב על אמת. אתם זוכרים את המנגנון האבולוציוני הזה שיש לנו בראש של השלמת חלקים ממה שאנחנו לא קולטים? אז בואו נעבור לדבר על השלמת פערים, או במילים אחרות – הנחת הנחות.
- הבעיה: אנחנו נוטים למלא פערי ידע ע"י הנחת הנחות יש לנו צורך בסיסי לעשות רציונליזציה של כל דבר כדי להבין את העולם זה מעניק לנו תחושה של ביטחון ושליטה וזה הופך אצלינו להרגל - מבלי שאנחנו מודעים שאנחנו עושים את זה אנחנו נוטים להניח הנחות על - בעצם על כל דבר! אנחנו מניחים הנחות על מה אנשים אחרים חושבים ועושים אנחנו מניחים הנחות בקשר למה שאנשים לא אומרים ותוך כדי אנחנו בטוחים שזו האמת לאמיתה, שזה מה שקרה באמת ואנחנו לא מודעים שזו תוצאה של הדרך בה אנחנו חווים ומפרשים את העולם ככה גם כשעובדים על מוצר חדש - מן הסתם, כשאנחנו מתחילים לעבוד על מוצר או שירות יש לנו הנחות מסויימות: מי הולך להשתמש במוצר, איך ישתמשו בו, מה הם צריכים וכו'. אנחנו צריכים לבדוק אם ההנחות שלנו מחזיקות מים ואחת מהדרכים לבדוק את זה, היא באמצעות מחקר משתמשים אבל - אם נעשה את זה תוך כדי הנחת הנחות - אז מה אנחנו בעצם עושים? אנחנו עושים הטיה של המחקר זה עלול לגרום לנו להבין את הפידבק באופן לא נכון ולהגיע למסקנות שגויות ובסופו של דבר זה עלול לפגוע במוצר ובביזנס להיות בחוסר מודעות לגביי התופעה של הנחת הנחות אומר להיות בתחושה כוזבת של ביטחון ובהירות לגביי מה שאנחנו חושבים ומה שאנחנו יודעים וזה עלול לגרום לנו לעשות טעויות אסטרטגיות או להגדיר הקונספטים שגויים אנחנו פועלים תחת הרושם שאנחנו עשינו את המחקר שלנו, הרי אספנו פידבקים ממשתמשים ואנחנו לא מודעים לכך שתכלס - המצאנו - בלי כוונה! - המצאנו חלק מהממצאים
- הפתרון: אז מה עושים? כמו כל יכולת אחרת, גם כאן אנחנו יכולים לעבוד ולפתח את היכולות שלנו ולהימנע מהנחת הנחות קודם כל המודעות לתופעה, לזה שאנחנו משלימים חלקים שלא היו ולא נבראו. להתחיל לשים לב ולזהות בזמן אמת כשאנחנו מניחים הנחות להבין, שזה בסדר לא לדעת. אנחנו לא יכולים לדעת הכל הכל ואז, מתוך ההבנה הזו, לשאול: אני לא מכיר לעומק את הנושא/מקרה הזה, האם תוכל לפרט/להסביר? למה הכוונה? לבקש דוגמאות. להבין, שזה בסדר לא להבין. אם לא הבנו משהו זה לא אומר שאנחנו לא חכמים, זה רק אומר שלא הבנו. ואז, מתוך ההבנה הזו לבקש שיחזרו על ההסבר, לשאול למה אתה מתכוון? לבקש הבהרות, פרטים, הסברים - עד שאנחנו מבינים ואחרי כל ההסברים האלה, חשוב לוודא שקלטנו את המסר ואת זה אנחנו עושים באמצעות חזרה על הרעיון במילים שלנו. שיקוף. חשוב לתקשר בצורה ישירה ושקופה להימנע מרמיזות. אנשים לא תמיד מבינים רמזים, או שעלולים לפרש אותם לא נכון. בשביל מה? להיות מנומסים, אך שקופים ולהיות סבלנים. הנחת הנחות היא מלכודת סבלנות - לתת לאנשים לדבר, להקשיב במלוא הקשב, ולשאול עד שמבינים הכל דחיית סיפוקים – זה גם נכון לחלק של ההקשבה האפקטיבית. סבלנות, איפוק ודחיית סיפוקים.
- אז אחרי שהבנו מה זו הקשבה אפקטיבית, ואנחנו נמנעים מאד מאד מהנחת הנחות, בואו נדבר רגע על המשתמשים שלנו. גם להם יש פערים בתפיסת המציאות, ופרשן פנימי וכל זה. גם אנשים לא תמיד יודעים לתמלל את מה שהם חושבים, להגדיר את הצורך שלהם או מה חסר להם התפקיד שלנו הוא לשאול אותם את השאלות הנכונות וכך לחלץ את המידע שכל כך קריטי לנו לקבל
- הבעיה: לא רק אנחנו חיים בסרט, גם המשתמשים שלנו חיים בסרט. כל אחד והסרט שלו. קרה לי מקרה אמיתי, שבדקנו קונספט באמת מאד טכני ומאד מורכב, והנסיין קצת התקשה וקצת הסתובב בסיבובים וקצת חשב. זה לא היה המקרה של קליק-קליק-קליק וגמרנו. אז בסוף התהליך, הוא כזה אמר "אני הסתדרתי טוב, אבל לאנשים אחרים יהיה קשה". גם למשתמשים שלנו יש הטיות
- אז איך נדע אם המחקר שלנו אפקטיבי? איך נימנע מתשובות מוטות של המשתמשים שלנו?
- הפיתרון: לשאול את השאלות הנכונות או הטובות, כך שהמשתמשים לא יענו לנו מתוך הפרשנות וההטיות שלהם כשאנחנו שואלים - אנחנו פותחים את האפשרות לקבל יותר מידע שלא היינו יכולים לאסוף בדרך אחרת לשאול שאלות פתוחות, ולא שאלות של כן/לא להתמקד ב"איך" - "האם זה רעיון טוב?" → איך זה יעזור לכם? מה גורם לך לחשוב כך? להימנע משאלות מובילות שגורמות להטייה אצל אנשים לדוגמה, השאלה "האם אהבת את הפיצ'ר?" - עצם השימוש במילה אהבת בתוך השאלה יוצרת אצל הבן אדם הטייה. שותלת לו את הרעיון שהוא אוהב את הפיצ'ר. עדיף לשאול "מה דעתך על הפיצ'ר?" להימנע משאלות של תחזית וניבוי: האם תשתמשו בפיצ'ר הזה? → לאילו מטרות הפיצ'ר הזה יכול לשמש אתכם? באילו נסיבות? כיצד תשתמשו בפיצ'ר? ואז בסיטואציה הזו אתם -- (ולחכות) מה הסבירות שלדעתכם תשתמשו בפיצ'ר הזה? עוד שאלה של תחזית וניבוי זה "איזו עיצוב אתם מעדיפים?" ואז להראות להם 3 גירסאות אנשים לא מודעים לתהליכים המנטליים שלהם ולמה הם מעדיפים משהו אחד על פני האחר, ולכן אין טעם לשאול אותם מה הם מעדיפים הפיתרון הוא לצפות במה הם עושים, לא לשאול מה הם יעשן. לעשות מבדק סטייל A/B טסטינג ולראות איזו גירסה עובדת יותר טוב, בתוך הקונטקסט הרלוונטי להעמיק. על כל שאלה - להכין שאלות המשך כדי ליצור בהירות גדולה יותר: באילו מקרים אתם…? תנו לי דוגמה ל…? לחשוב טוב על סדר השאלות, לתכנן אותן מראש אני בד"כ מכינה תסריט של ראיון עם השאלות שאני רוצה לשאול תמיד לפני שיחות עם משתמשים אני עושה סבב פנימי כדי לבדוק את התסריט שלי ולראות איפה אני מוליכה את הנשאלים, או איך אפשר לשפר את השאלות ככה שהם יספקו לי את מקסימום המידע מבלי שאני אניח הנחות
- תשמעו משהו, רבים טועים לחשוב ששאילת שאלות תגרום להם להיראות לא טוב. אבל להיפך, דווקא זה מאפיין של אנשים שיודעים, ואנשים שרוצים ללמוד עוד ועוד. לא לשאול זו טעות של מתחילים. שוב, לא לפחד מחוסר ידיעה או הבנה המטרה שלנו - לשאול שאלות ככה שנגיע לבהירות גדולה ככל האפשר, ולעקוף את ההטיות של משתמשים מצד אחד, ולעבור את החסמים של פוליטיקלי-קורקט ו"}לא נעים" שיכול להיות להם מצד שני
- זוכרים את שאול ונוח? אז בבדיקה התבררו כמה דברים. שני החוקרים שאלו את המשתמשים אם הם משתמשים בפיצ'ר שעמד במרכז המחקר. נוח שאל, ואמרו לו שכן. והוא הסתפק בזה. הוא הניח שהם משתמשים בפיצ'ר בדרך הידועה והמוכרת והרגילה. הוא הניח הנחות. עכשיו, יכול להיות שהיה המשך למשפט, אבל נוח כבר הפסיק להקשיב אחרי שאמרו לו "כן". הוא לא הקשיב באופן אפקטיבי. והוא לא המשיך בשאלות עומק לגביי השימושים, ולא ביקש דוגמאות ומקרים. כלומר הוא לא שאל שאלות. לעומת זאת, שאול הגיע לממצאים המעניינים והחשובים כי הוא הקשיב באופן אפקטיבי לדברי המשתתפים, לא הניח הנחות, ושאל שאלות עומק וביקש דוגמאות. אז מהיום תהיו מודעים לעניינים האלה, ונסו לא ליפול לבורות.
- כולנו חיים בסרט – כל אחד והסרט שלו. ואנחנו בטוחים שזו המציאות, ואנחנו בטוחים שכולם חיים באותו סרט. בלי להבין את זה אנחנו רק מגדילים את הפערים שיש לנו בהבנת העולם והבנת המשתמשים שלנו, הצרכים שלהם, המוטיבציות שלהם, הכאבים שלהם. אז קודם כל עלינו להיות מודעים לפערים האלה שיש בין מה שקורה בחוץ, לבין מה שמתחולל לנו בתוך הראש. ההבנה שמחקר הוא תהליך של למידה. לבוא ממקום של שירות. אנחנו כחוקרים רק כלי. המשתמשים הם המומחים במה עבד להם ומה לא. להיות מודעים לעניין של פרשנות אישית והטיות - הן של החוקר והן של הנחקר. עדיף שהחוקר לא יהיה המאפיין או המעצב. וליישם את העקרונות שדיברנו עליהם ועוד עקרונות כדי לקיים מחקר אובייקטיבי ונטול פערים. שהרי מחקר מוטה זה לא מחקר - זו דעה. (4)
- אני כותבת על הנושאים האלה בבלוג שלי - אתם מוזמנים לעקוב. יש לי מאמר על הקשבה אפקטיבית, על הנחת הנחות.