UXI Live 2021 מדדידת הערך העיסקי של חווית המשתמש
•
0 likes•50 views
לפני מספר חודשים Taboola שחררו לשוק את הפלטפורמה החדשה שלהם עבור מפרסמים: Taboola Ads. הפוקנציונאליות בפלטפורמה החדשה הייתה דומה מאוד לפלטפורמה הישנה, אבל היה בה חידוש משמעותי: ממשק המשתמש עבר שינוי רדיקאלי. במהלך הדרגתי, הם העבירו 10,000 מפרסמי ענק שמוציאים הון על תוכן ממומן לפלטפורמה החדשה. הפידבקים היו טובים והמעבר בין המערכות עבר באופן חלק יחסית, אבל עלתה שאלה: האם לפידבקים טובים וחוויית משתמש טובה יש גם ערך עסקי? האם ההכנסות יעלו והנטישה תרד? צוות המוצר יצא לבדוק בניסוי שהשווה בין הפלטפורמות, הישנה והחדשה, עם מפרסמים חדשים. מה היו התוצאות ומה אפשר ללמוד מהן? עמי יחלוק איתנו הכל בהרצאה שלו.
Recommended
More Related Content
Similar to UXI Live 2021 מדדידת הערך העיסקי של חווית המשתמש
Similar to UXI Live 2021 מדדידת הערך העיסקי של חווית המשתמש (20)
UXI Live 2021 מדדידת הערך העיסקי של חווית המשתמש
- 4. Building the New Platform Prototype & Usability Testing Internal Alpha External Alpha Limited Availability Beta GA! 🎉
- 6. Measuring Stickiness 90% Aug.2020 Sept. 2020 Oct. 2020 Nov. 2020 Dec. 2020
- 7. Survey
- 9. Platform AB Test New Platform Old Platform
- 10. The Results
- 11. The Results CHURN -14% first week Old Platform New Platform
- 12. The Results Avg. Daily SPENT: 5% HIGHER
- 13. The Results - But Why? New Platform Old Platform The Results - But Why? Average Ads Per Campaign First 7 days
- 18. More Features & Measurements
- 19. Load Times
- 20. Load Times
- 21. Task Success Create Campaign (min) Create Campaign Funnel
- 22. How does it work?
- 23. Happiness - Mostly by using surveys Google’s HEART Model Engagement- Visits per week for example Adoption- Feature adoption, new users Retention- Returning users, churn Task Success- Time it takes to complete tasks Framework for Measuring UX
- 27. Loss Win
- 28. What does your company care about? ● Weekly Active People ● Monthly Active People ● Sessions to Orders ● Completion Rates ● Monthly Active Users ● Avg. Transaction Value ● Total Processed Volume
- 29. Key Takeaways: What business metrics can you influence with the designs or features you are working on? 1. Try to find out: You will know how your work influences the company business goals, you’ll see what works and it can put you in a better place, strategically. 2. Measure
Editor's Notes
- אני רוצה לספר על הפעם הראשונה שבה נתקלתי בab testing זה קרה בחודש הראשון שלי בטאבולה לפני שלוש וחצי שנים. בדיוק הוסיפו אז את Walkme למערכת והציגו הודעה מיוחדת שמצביעה על פיצ׳ר חדש. זה נראה כך
- אז בואו נחזור 3 וחצי שנים אחרונה לחודש הראשון שלי בטאבולה
- טאבולה היא חברה להמלצות תוכן, סביר להניח שאתם נתקלים במוצר מדי יום וכשהגעתי הצטרפתי לצד של המפרסמים, בדיוק יצאה לדרך תוכנית לפתח מחדש את מערכת ניהול הקמפיינים למפרסמים מערכת שעובדים איתה מעל 10,000 מפרסמים שמוציאים מעל מילארד דולר בשנה הסיבה העיקרית היתה טכנולוגית אבל היה גם רצון לשפר את חווית המשתמש אז יצאנו לדרך
- אלפא, ביטא, לאורך הדרך השתמשנו בכמה מדידות: שקף הבא: אני רוצה לספר לכם על כמה מדידות שעשינו בדרך דוגמא ראשונה במערכת החדשה היה כפתור שמאפשר גישה למערכת הישנה ועקבנו אחרי השימוש בכפתור הזה
- אז למשתמשים היתה יכולות לחזור אחורה למערכת הישנה והיעד שלנו היה שב90% מהסשנים הם ישארו במערכת החדשה
- מדידה נוספת: הצגנו סקר במערכת הישנה ששאל מה הסיבה העיקרית שהגעת
- כשמעבירים משתמשים ממערכת ישנה לחדשה כדאי לאפשר להם ערוץ פתוח לפידבקים אמצעי נוסף שהשתמשנו בו הוא hotjar
- יצרנו ערוץ תקשורת ללקוחות דרך הוטג׳אר מומלץ כשמעבירים לקוחות ממערכת אחת לשניה בסופו של דבר הגענו לga ואז עלתה השאלה? האם יש נזק בלהכניס לקוחות חדשים? האם לממשק המשתמש החדש יש השפעה עיסקית?
- אז יצאנו לדרך יאנה מנהלת המוצר וקאנדי האנליסטית הגדירו את האיבי טסט הגדול 1000 לקוחות חדשים לכל מערכת ללא מנהל לקוחות עקבנו אחרי הביצועים במיוחד בשבועיים הראשונים מה היו התוצאות?
- לפני התוצאות רציתי לשתף בתפיסה שהייתה בחברה לגבי חווית משתמש טאבולה היא חברת דאטא, האמונה היתה שרק הביצועים של הקמפיינים יכולים להשפיע על המדדים העיסקיים חווית משתמש ונוחות זה דבר חשוב וטוב אבל אין לו השפעה עיסקית
- אז הגיע שלב התוצאות אתם מוכנים? אז מה בעצם קרה שם? הם היתה פחות נטישה במערכת החדשה? האם המפרסמים הוציאו יותר במערכת החדשה? גילינו שאחוז הנטישה במערכת החדשה נמוך ב14% בשבוע הראשון. המערכת המודרנית נבנתה בדומה למערכות דומות בשוק של פייסבוק וגוגל Learnability less friction
- ההוצאה הכספית היומית הממוצעת היתה גבוה ב5% בשבועיים הראשונים והשלב הבא היה להבין מה גרם לשינוי כאן נדרש ניתוח נוסף של הלקוחות והנתונים
- מצאנו שללקוחות במערכת החדשה יש פי 2 יותר מודעות הסיבה נעוצה בממשק המשתמש החדש ממקום של שיפור החוויה ממשק המשתמש מקל ועוזר לייצר עוד גרסאות, מסתבר שכשיש עוד גרסאות הלקוחות מצליחים יותר ומוציאים יותר כסף בואו נראה איך זה נראה
- כפתור גלובלי להוסיף מודעות זמין תמיד יש טאב מיוחד למודעות וכשלוחצים על שם הקמפיין מגיעים אליו
- כשיוצרים מודעות אנחנו באופן אוטומטי מכפילים את מספר הכותרות במספר התמונות אז מ 3 כותרות ו3 תמונות יש 9 גרסאות
- לעומת זאת בממשק הישן צריך לעבור ממסך הדוחות למסך הניהול ושם יש כפתור להוספת מודעות חדשות אז מה קרה בהמשך אחרי פרסום התוצאות?
- התוצאות עוררו הד בחברה הסי.טי.או הציגו אותם לכל החברה ואמר גילינו שלחווית משתמש יש השפעה אמיתית על תוצאות עיסקיות נותר גם צוות חדש ויש רצון בהמשך להוסיף עוד פיצ׳רים של שיפור חווית המשתמש
- אז איך זה הולך לעבוד אנחנו כל הזמן מקבלים פידבקים מלקוחות אנחנו רוצים להמשיך לשפר את חווית המשתמש ולהמשיך לבדוק את ההשפעה שיש לשיפורים האלה על מדדים עיסקיים מה עוד אנחנו מודדים? אנחנו עושים סקר פעם ברבעון ושואלים כמה שאלות פתוחות וכמה שאלות דירוג אנחנו עושים סקר פעם ב3 חודשים ושואלים שאלות פתוחות וסגורות ראינו שהציון למהירות הדוחות לא מספיק טוב אז בנינו דאשבורד לעקוב אחרי ביצועי המסכים
- ואנחנו הולכים להמשיך לשפר בסדר הבא כבר ראינו שיפו דבר נוסף שאנחנו מודדים הוא task sucess
- ואנחנו הולכים להמשיך לשפר בסדר הבא כבר ראינו שיפו דבר נוסף שאנחנו מודדים הוא task sucess
- אנחנו לא מסתכלים על זה יום יום אבל כן בטווח הרחוק רוצים שיהיה לנו בנצ׳מארק כמו שסיפרתי בהתחלה אז איך כל זה עובד אצלנו? בשקף הבא
- נעזרנו במומחה גוגל אנלטיטקס להטמיע גוגל אנליטיקס בממשק למי שמתעניין ורוצה עזרה בלהתחיל להגדיר מדידות
- Happiness - Mostly by using surveys Engagement- Visits per week for example Adoption- Feature adoption, new users Retention- Returning users, churn Task Success- Time it takes to complete tasks שקף הבא- דוגמאות לעיצוב שמסתמך על נתונים
- השתמשתי בנתונים בשביל לקבל החלטה עיצובית מקרה נוסף עזר לנו להחליט באיזה מוקאפ לבחור
- מדדנו את שלושת הגרסאות ומצאנו שהמוקאפ החדש ביצע טוב יותר עכשיו אניחנו יכולים לשפר את הטופס עם ביטחון גבוה יותר
- סקרו אותי איך זה עובד בחברות אחרות, לכל חברה יש כמה מדדים שמעניינים את כל החברה בגט דיברתי עם פדריקו במאנדי עם רותם ובפאי פל עם דן
- לסיכום אני מזמין אתכם לחשוב איזה מטריקות עיסקיות יכולות להיות קשורות לפיצ׳רים שאת עובדים עליהם ולמדוד איך אתם יכולים להזיז את המחט ולהשפיע עליהם זה יכול גם לעזור לכם לדעת שאתם בכיוון הנכון ובכמה וגם זה יכול לשים אתכ במקום אחר בארגון אנחנו גם מגייסים תודה רבה