1. Prototyping Dynamics:
sharing multiple designs
improves exploration,
group rapport, and
results
+ CHI 2011
- Steven Dow et al.
/김유정
x 2014 winter

2. Prototyping Dynamics: sharing multiple designs
improves exploration, group rapport, and results
Steven Dow et al.(2011)
In Proceedings of the SIGCHI Conference on Human Factors in Computing System

3. Index
Problem
ABSTRACT
EXPERIMENT
RESULTS
CONTRIBUTION
DISCUSSION POINT

4. Problem
그러나 현실은…

5. Problem
김밥천국 팀플지옥

6. Problem
좋은 협업이란
어떻게 이뤄질 수 있을까?
(있긴한걸까)

7. Abstract
Background & Purpose
- 프로토타입의 중요성: 그룹 커뮤니케이션의 근거가 되고, 의사결정을 가능케 함
- 어떤 식의 협업 과정(collaborative process)이 좋은지 검증하는 것이 목적
Research Question
- 실험참가자들이 개별적으로 광고를 만든 후 파트너를 만나서 각기 다른 세 가지 조건 하에서 협업함
- 서로 다른 세 가지 조건 하에서 협업했을 때 결과, 탐색, 공유, 그룹 라포라는 측면에서
어떤 차이가 나타나는지 통계적으로 검증
Share Multiple | 참가자들이 각자 3개씩 광고를 디자인 해온 후 공유하는 것
Share Best | 참가자들이 각자 3개씩 광고를 디자인 한 후 1개를 선택해서 공유하는 것
Share One | 참가자들이 각자 1개씩 광고를 디자인 한 후 이를 공유하는 것

8. Research Question
H1 | 다수의 디자인을 보고 만들어내는 것이 개인적인 탐색을 더 많이 유도할 것이다.
H2 | Sharing Multiple Design이 더 생산적인 대화와 그룹라포 형성을 유도할 것이다.
H3 | Sharing multiple Designs이 더 효과적인 컨셉 블렌딩을 유도할 것이다.
H4 | Sharing multiple Designs이 더 나은 결과를 낼 것이다.

9. Experiment
참고문헌
Participants
- Share Multiple Condition/Share Best Condition/Share One Condition의 세 가지 협업 조건
- 그래픽 디자인 지식 유무 확인: 사전설문을 통해 경험자(experienced)/초보자(novice)로 분류
- 84명의 참가자들 중 경험자 1명과 초보자 1명을 한 팀으로 구성해 총 42쌍을 대상으로 실험 진행

10. Experiment
Dependent Variable
퍼포먼스(performance)
H4
- CTR(Click-through rates), 웹 클라이언트에 대한 Google Analytics
- 품질평가(7점 척도): FaceAIDS 직원(3명), 광고 전문가(6명), Mechanical Turk 고용(21명)
개인 디자인 탐색(Individual design exploration)
H1
- 아이디어의 다양성 정도(7점 척도): Mechanical Turk 고용(10명)
그룹 라포의 변화(Change in Group Rapport)
H2
- 아이스브레이킹과 논의 후 2번 물어보고 그 차이를 측정
대화 차례(Conventional turn taking)
H2
- 파트너의 발언 시간, 총 이야기한 횟수, 분당 차례 변화 주기 등
디자인 요소 공유(Design feature sharing)
H3
- 디자인 요소 다섯 가지: word phrases, background color, images, layout and styles
- 이 중 최종 광고에 사용된 요소를 세어서 파악
그룹 합의(Group consensus)
H4
- 파트너 광고를 쌍으로 구성해 유사성 측정(7점 척도): Mechanical Turk 고용

11. Results
Sharing Multiple이 결과물 퀄리티를 높인다
광고 캠페인 결과
- 협업 조건에 따른 CTR 차이
협업 조건(3가지)에 따른 클릭수(CTR) 차이가 통계적으로 유의미한지 검증
카이제곱 검정(chi-squared analysis) 사용: 유의미하게 높은 비율
Share Multiple ads had a significantly higher click-through rate(χ² = 4.72, p < 0.05).
협업 조건과 참가자 특성에 따른 웹페이지 방문수와 방문시간 차이
- 협업 조건(3가지) 및 참가자 특성(경험자, 초보자)에 따른 웹페이지 방문수와 방문시간 차이가 통
계적으로 유의미한지 검증
- Analysis of variances 사용(n-way ANOVA)
통계적으로 유의미한 차이 없음
No differences for total time spent(F(5,202)=0.808, p>0.05) or number of pages visited from each
ad(F(5, 202)=0.461, p>0.05).

12. Results
Sharing Multiple이 결과물 퀄리티를 높인다
참가자 특성에 따른 캠페인 퍼포먼스(CTR, 방문수, 방문시간) 차이
- 참가자 특성(경험자, 초보자)에 따른 캠페인 퍼포먼스의 차이가 통계적으로 유의미한지 검증
- 카이제곱 검정(Chi-squared analysis) 사용
통계적으로 유의미한 차이 없음
This was not a significant difference(χ² = 0.08, p > 0.05).
!
협업 조건에 따라 같은 특성을 가진 참가자들의 퍼포먼스에서 통계적으로 유의한 차이 있음
!
!
Experienced participants in the Share Multiple condition outperformed experienced participants in the Share
Best(χ² = 3.95, p<0.05) and Share One conditions (χ² = 8.33, p<0.05).
!
- ANOVA 사용
참가자 특성이 캠페인 퍼포먼스에 통계적으로 유의미한 영향을 끼치지 않음
!
An ANOVA showed that experience did not significantly affect total time spent (F(5,202)=0.091, p>0.05) or
number of pages visited from each ad (F(5,202)=0.076, p>0.05).

13. Results
Sharing Multiple이 결과물 퀄리티를 높인다
협업조건(3가지)과 참가자 특성(경험자, 초보자)에 따른 품질평가(Quality ratings) 차이
- 협업조건(3가지)과 참가자 특성(경험자, 초보자)에 따른 품질평가(Quality ratings) 차이가 통계적
으로 유의미한지 검증
- Analysis of variances 사용(n-way ANOVA) 후 Tukey Post-hoc Test를 통한 사후 검증
다른 조건에 비해 Share Multiple이 더 우수한 평가를 받은 점이 통계적으로 유의미하게 드러남
Share multiple((μ=3.89, SD=1.82) outperformed the other conditions (F(2,2519)=5.075, p<0.05).
!
다른 조건 간 차이는 유의미하지 않았음
The difference between the Share Best (μ=3.63, SD=1.78) and Share One (μ=3.71, SD=1.71) conditions was
not significant (p>0.05; Tukey’s test).

14. Results
Sharing Multiple이 더 많은 개인 탐색을 유도했다
협업 조건(3가지)와 참가자 특성(경험자, 초보자)에 따른 유사성 평가점수 차이
- 협업 조건(3가지)와 참가자 특성(경험자, 초보자)에 따른 유사성 평가점수 차이가 통계적으로 유의
미한지 검증
- Analysis of variances 사용(n-way ANOVA)
협업 조건에 따라 유사성 평가점수가 유의미하게 차이남
The similarity rating differed significantly across conditions (F(2,3640)=82.07, p<0.05).
!
- Tukey Post-hoc Test를 통한 사후 검증
Share Multiple 조건이 다른 조건보다 더 다양성이 높은 것으로 나타남
Tukey post- hoc comparisons of the three conditions indicate that Share Multiple ads (μ=3.85, SD=1.93)
were more diverse than Share Best ads (μ=3.99, SD=1.96) (p<0.05) and Share Best ads were more diverse
than Share One ads (μ=5.45, SD=1.86) (p<0.05).

15. Results
Sharing Multiple 조건에서의 파트너들은 그룹 라포를 형성했다
- 협업 조건(3가지)에 따른 그룹 라포의 차이가 통계적으로 유의미한지 검증
- One way ANOVA 사용함
협업 조건에 따라 그룹 라포가 유의미하게 달라짐
A one-way ANOVA showed the group rapport differed significantly across conditions (F(2,83)=4.147, p<0.05)
!
- Tukey Post-hoc Test를 통한 사후 검증
다른 조건과 달리 Share Multiple에서만 그룹라포가 증가함
Tukey post-hoc comparisons of the three conditions indicate that group rapport increased in the Share
Multiple condition (μ = 0.89, SD 3.06) compared to the others (p<0.05).

16. Results
Sharing Multiple은 더 많은 디자인 요소를 공유했다
- 협업 조건(3가지)에 따라 디자인 요소 공유 정도 차이가 통계적으로 유의미한지 검증
- 카이제곱 검정(Chi-squared Analysis) 사용
Share Multiple 참가자들이 파트너에와 더 많은 디자인 요소를 공유함
Participants in the Share Multiple condition borrowed significantly more features overall (χ² =4.05, p<0.05).

17. Results
Sharing Multiple은 더 나은 합의에 이르렀다
- 협업 조건(3가지)에 따른 유사성 변화의 차이가 통계적으로 유의미한지 검증
- Paired T-test 사용
처음 광고와 최종 광고의 유사성 차이가 통계적으로 유의미함
Final ads were more similar (μ=3.40, SD=1.91) than initial ads (μ=2.68, SD=1.64) (t(3078)=8.107, p<0.05).
!
- Tukey Pos-hoc Comparison을 통한 사후검증
Share Multiple이 다른 조건에 비해 더 높은 유사성을 보임
Tukey post-hoc com- parisons of shifts by each pair show that similarity increased more for the Share Multiple
condition (0.91) than the Share Best (0.55) or Share One conditions (0.52) (p<0.05)

18. Contribution
“당연한 것”의 통계적 검증
어려운 통계는 필요없다
실험설계할 때 써먹을 수 있겠다

19. Discussion Point
“당연한 것” 중 통계적으로 검증하면 좋은 건 뭐가있을까?
디자인 프로토타이핑 말고 다른 분야에도 확장 적용이 가능할까?