Delivering Cognitive Behavior Therapy to Young Adults With Symptoms of Depression and Anxiety Using a Fully Automated Conversational Agent (Woebot): A Randomized Controlled Trial

1. Delivering Cognitive Behavior
Therapy to Young Adults With
Symptoms of Depression and
Anxiety Using a Fully Automated
Conversational Agent (Woebot): A
Randomized Controlled Trial
+ JMIR(Journal of Medical Internet
Research) 2017
- Kathleen Kara Fitzpatrick, Alison
Darcy, Molly Vierhile
/김준한
x 2017 Fall

2. Table
of
Contents
01 Why This Paper
02 About the author
03 Background
04 Methodology
05 Findings
06 Discussion
07 Conclusion

3. Why This Paper
‣ Conversational Agent와 Emotional Interaction에 대한 관심의 증가
‣ iConference 논문 제출 도중 발견 및 참고
‣ 사람들은 정말로 Non-human agent에게 자신의 physical / emotional state에 대해
이야기하고 싶어할까?
‣ 이로 인해 감정적인 위로를 받고 감정 상태가 나아질 수 있을까?
‣ Chatbot의 사용
‣ 챗봇을 mental health에 적합하게 활용하기 위해서 어떻게 했는가?
‣ In-situ 챗봇을 적용한다면 어땠을까?
3

4. About the author
Kathleen Kara Fitzpatrick
‣ Stanford University - Clinical Assistant Professor
‣ Psychiatry and Behavioral Sciences - Child and Adolescent Psychiatry
•청소년의 Eating Disorder에 대한 연구
4

5. About Woebot & Woebot Lab
5

6. 6
Background
대학생 정신 건강 문제의 심각성
• 정신 건강 진단의 74%가 24살 이전에 처음 발생한다.
• 특히 우울증과 불안이 가장 비율이 높다.
• 그리고 정신 건강 문제는 심각성과 보급률이 계속 증가하고 있음
대학생들은 정신 건강(mental health) 관련 문제가 심각하지만, 병원에 가지 않는다
치료 거부
• 치료가 필요한 대학생 중 75%가 임상 서비스 받기를 거부한다.
• 하지만 교내 시설은 충분하다
낙인(Stigma)이 건강 관련 서비스를 받지 않는 주된 원인
일 것

7. 7
Background
Digital mental health intervention
• 이러한 stigma를 극복하는 수단으로서 디지털 정신 건강 관리가 각광받고 있다.
• 환자의 70%가 스마트폰 앱을 통해 self-monitor, self-manage하고 싶어함
• 인터넷을 통한 intervention은 연구로서 그 가능성도 증명됐고, 결과도 사람이
하는 치료와 비교가능할 정도
• 그러나, 이들의 문제점은 adherence rate이 낮다는 점
• 한 연구는 completion rate가 56%라는 점을 밝힘
• 이 이유에 대한 가설 : in-person CBT와 달리 앱을 통하는 것은 사람간 인터랙
션이 없다고 여겨지기 때문일까? (증명?)
그래서 디지털 정신 건강 관리가 유망하지만 문제점을 안고 있다

8. 8
Background
Conversational agent가 다수의 연구에서 건강 관리를 위해 활용되고 있다
• 음성 인식 기술이 발전하며 Conversational agent가 많이 생겨나고 있다
• 연구들은 이들이 건강 관리 engagement를 도울 수 있음을 보여주고 있다
• Voice-based CA는 치료 과정 또한 전달한다는 점에서 앱 등보다 효과적이다.
Voice-based conversational agent가 많이 생겨났지만, 실제로 우리 가까이에 있지는 않다
치료 거부
• 하지만 대부분의 우리가 마주하는 CA들은 text-based이기 때문에 CBT를 전달 가
능한지 여부가 검증되어야 한다.
• 여태까지 많은 연구들이 앱을 통해 가능성을 증명했지만, sustainability가 부족했
다.
• 그래서 우리는 commercially developed CA의 가능성을 검증하고자 했다.
자동화된 봇을 통해 conversational agent로 CBT를 전달
하는 것이 가능한지 검증하겠다

9. 9
Participants
참가자 모집 단계
실험 참가 최종 인원

10. 10
Condition
Woebot
• CBT를 일상적인 대화를 통해 전달하기 위해 디자
인된 챗봇
- Context Question “지금 뭐하고 있어요?”
- Mood Question “지금 기분이 어때요?”
- 짧은 영상 시청 링크
- 간단한 단어 게임
• “Onboarding” 과정 : 소개 및 주의 사항 전달
• Decision Tree 구조에 따른 답변
• 대화 스타일은 human clinical decision making
과 CBT의 self-help에 따라 콘텐츠 마련
• Therapeutic process-oriented feature
- Empathic responses
- Tailoring
- Goal setting
- Accountability
- Motivation and engagement
- Reflection
Control
• Information Control Condition
• Free publication : “Depression in College
Students”

11. 11
Onboarding process

12. 12
Measures
실험집단/통제집단의 결과를 보기 위해 사용한 Measure 종류
PHQ-9 (Patient Health Questionnaire - 9)
- 우울증에 대해 자가 기록하는 9-item 설문지
GAD-7(Generalized Anxiety Disorder - 7)
- 지난 2주 간 느낀 불안감의 빈도와 강도를 자가기록하는 7-item 설문지
PANAS (Positive and Negative Schedule )
- 현재의 긍정적/부정적 감정을 자가기록하는 20-item으로 설문
Acceptability and Usability
- 콘텐츠에 대해 만족하는가 (5점 척도)
- Intervention이 감정에 대한 자각을 도왔는가 (5점 척도)
- 배운 것이 있는가 (Y/N)
- 이 과정이 일상 생활과 얼마나 관련이 있는가 (5점)
- Woebot에 대해 가장 좋은 점 / 가장 나쁜 점

13. 13
Results
Attrition
- 중도 포기 정도
- 83%가 일부 혹은 전체 대답을 발송
- Attrition은 통제 집단에서 더 높게 나타남
- 31% vs 9%
- 하지만 중도 탈락자들과 비탈락자들을 요소 별로 비교해 본 결과(나이, 성별, 우울증 점수 등)
통계적으로 유의미한 차이는 없었음
- 중도 탈락자들을 따로 인터뷰 해봤으면 어땠을까? 초기에 잠깐 언급한 가설 검증 가능?

14. 14
Result
Preliminary Efficacy
- Woebot 조건의 참가자들은
우울증 점수가 통제집단보다
유의미하게 낮게 나타남
(상호 작용 효과 발견)
- GAD(불안) 관련하여,
통제집단, 실험집단의 구분
없이 2주 후에 모두 불안증
세가 줄어듬 (주효과 발견)
- PANAS는 둘다 발견 못함

15. 15
Results
Use and Acceptability
- Woebot 조건의 참가자들이 전체 프로그램과 컨텐츠에 대해 높은 만족도를 보였
고, 통계적으로 유의미한 차이를 나타냄
- Woebot 조건의 차마자들은 Emotional awareness 에서도 통계적으로 유의미한
차이를 나타내는 높은 점수를 보임
- 새로운 것을 배웠는지 물어본 질문에서 Woebot 참가자들은 100%가 그렇다고
답변,
통제 집단은 77%가 그렇다고 답변

16. Results
Woebot을 사용하면서 가장 좋았던 점은 무엇인가요?
Process와 Content 두 개의 theme
Sub-theme 중에서는 Accountability, Empathy 관련해서 긍정적 반응이 가장 많음
“Woebot이 나를 자주 챙겨줘서 좋았어요. 내 감정에
더 충실하도록 책임지는 느낌을 받았어요.”
“Woebot은 저를 진심으로 걱정해주는
사람 같았어요.”

17. Results
“Woebot이 좀 반복적이었어요.”
“어떤 영상들은 너무 길었어요.”
“대화가 너무 짧았어요.”
Process violation, Technical problems, Content 3개의 theme으로 나뉘어짐
맑음이 때와 비슷하게, technical problem에 대한 불만이 가장 많았음
대화, 인터랙션에 대한 불만족 내용이 별로 없음 -> 애초에 기대를 안 하기 때문인지?
Woebot을 사용하면서 가장 나빴던 점은 무엇인가요?

18. Discussion
18
‣ Principal Results
‣ Woebot 사용자들은 우울증 증세가 2주 후에 완화된 것을 발견
‣ Woebot은 engaging하고, 사용자들은 거의 매일 사용했으며, information-only 조건보다 선호도
가 높았음
‣ 이전 연구와의 연결성
‣ 참가자들은 Woebot이 봇임을 알고 있음에도, “귀여운 친구” “재밌는 애”라고 지칭함 —> 사람처럼
생각
- 기존 연구들도 Human - Nonhuman agent 간에 치료적 관계(therapeutic relationship)가
나타날 수 있다고 함
- 사람보다 “virtual therapist”에게 더 솔직한 모습을 보인다는 연구
‣ Empathic 반응들은 치료 프로세스를 증진시킬수도, 오히려 해칠 수도 있음
- 다른 연구들은 그래서 훈련된 clinician을 앱 디자인 과정에 포함시키길 권유
- 이 연구는 그렇게 하진 않았지만, 사용자 경험 관점에서 어떤 효과가 있는지 밝혔다고 주장

19. Discussion
19

20. 논의점 혹은 질문..
‣ Trigger / Non-trigger의 차이
‣ 만약 사람이 직접 말을 건다면, 얼마나 자주? 어떤 상황에서?
‣ Text-based / Voice-based의 차이
‣ 사람 목소리를 직접 듣는 것이 더 감정적 위로에 효과적일까?
20
‣ 더 있었으면 하는 내용?
‣ 왜 불안감은 통제/실험 집단 간의 차이가 나타나지 않았을까?
‣ Woebot에 대해서만 물어보는 것이 아니라 실제 감정 변화에 대해서도 인터뷰 등을 통해 물어봤다면
이 부분을 보완할 수 있지 않았을까