![스마트안경 및 음성인식 기술을 활용한
청각장애인의 다자간 대화 지원 시스템 연구
한국장애인재단 - 2017 논문지원사업
장애의 재해석 논문지원사업 발표
[ ]
2017. 11. 15. 수.
연구자: 이상국, 김유정, 박정현
자문위원: 전지혜 교수](https://image.slidesharecdn.com/upload-210905053058/85/-1-320.jpg)
More Related Content
Similar to 스마트안경 및 음성인식 기술을 활용한 청각장애인의 다가잔 대화 지원 시스템 연구
Similar to 스마트안경 및 음성인식 기술을 활용한 청각장애인의 다가잔 대화 지원 시스템 연구 (20)
More from Yoojung Kim
More from Yoojung Kim (20)
스마트안경 및 음성인식 기술을 활용한 청각장애인의 다가잔 대화 지원 시스템 연구
- 1. 스마트안경 및 음성인식 기술을 활용한 청각장애인의 다자간 대화 지원 시스템 연구 한국장애인재단 - 2017 논문지원사업 장애의 재해석 논문지원사업 발표 [ ] 2017. 11. 15. 수. 연구자: 이상국, 김유정, 박정현 자문위원: 전지혜 교수
- 2. Table of Contents 0. 들어가며 1. 서론 2. 선행연구 3. 연구방법 4. 연구결과 5. 논의 및 결론 #. 부록
- 3. 들어가며 0연구의 시작을 되짚어보며 연구를 시작하게 된 이유 • 사용자를 배제한 기술 중심 연구의 한계 자각 - 이전에 시도한 기술 중심 솔루션들의 연이은 실패 - 아무도 쓰지 않는, 수백 개가 넘는 청각장애인용 보조기기 • 인터뷰를 통한 다자간 대화의 어려움 인식 3 문제의식 • 문제를 중심으로 해결책을 모색하는 다학제적 접근이 필요함 • 정책, 이론, 혹은 기술적인 측면에서만 접근하던 기존 방식을 탈피 • 청각장애인을 새롭게 등장하는 기술들에 대한 니즈가 있는 새로운 사용자로 인식 ▶ 장애의 재해석 • 해당 사용자의 문제를 해결하기 위한 실증적 접근 시도 문제 중심의 다학제적 접근, 그리고 장애의 재해석 우리의 접근
- 4. 서론 1연구의 중요성 청각장애인에게는 매우 도전적이고 어려운 상황이 되기도 함 우리가 일상에서 빈번하게 경험하는 다자간 대화 상황은 • 즉각성과 일상성을 바탕으로 다자간에 이뤄지는 비공식적 의사소통에서 제한을 경험하게 됨 • 실제로 청각장애인들은 일대일 대화보다 다자간 대화에 참여가 더 어렵다고 느끼며, 자주 소외됨 • 다양한 대처전략을 모색하지만, 이는 스트레스를 유발하거나 인지적·정서적 부담을 수반하기도 함 4 청각장애인 의사소통 향상 캠페인 영상 中
- 5. 서론 1연구의 도전성 및 창의성 다자간 대화 지원 연구는 이제 시작 단계이므로 현실성·구체성이 떨어짐 청각장애인에게 의사소통의 어려움은 스티그마를 경험하게 할 수 있음에도 불구하고 • 청력보강, 음성인식 향상 등 기술 중심 솔루션은 여전히 장애 ‘극복’ 관점을 견지함 • 스마트폰을 활용한 대화 지원은 부자연스럽고, 디자인 컨셉 연구로 진행되어 현실성이 떨어짐 • HMD 사용하여 화자 위치를 가시화하는 연구는 정보 수준, 방식 등에 대한 구체성이 떨어짐 5 HMD 류의 스마트 안경 보청기 등 청력 보강 도구 스마트폰 자막 지원 도구 진동기 속기사 보조
- 6. 서론 1연구목표 스마트안경 기술의 설계·개발과 평가 과정을 통해 장애를 재해석하고자 함 따라서, 본 연구에서는 실제와 가까운 상황에서 정보 제시 수준과 방식이 달리 나타나는 • 청각 장애인의 다자간 대화를 지원하기 위한 스마트안경은 어떻게 설계되어야 하는가? • 기존 한계점을 보완하여 설계된 스마트안경은 실제 다자간 대화를 어떻게 지원하는가? 6 어떤 정보를 제공해야 할까? 어떻게 정보를 제공해야 할까? 자막 화자 위치 소리 크기 순서 속도 한가지만 순차적으로 모든 자막 자유롭게 교차해서 청각장애인들은 이 기술을 어떻게 받아들일까?
- 7. 선행연구 2이론적 배경 및 기술 동향 청각장애인의 의사소통을 중심으로 그 의미와 지원 기술을 살펴봄으로써, 다자간 대화의 중요성과 영향 요인 일상생활에서 의사소통 제한 경험 청각장애인의 삶에서 다자간 대화의 중요성 다자간 대화 상황에서 개인 편차가 큼 청력, 주의사소통 방법, 착용보장구 등의 요인에 따라 상황에 따라 겪는 어려움이 달라짐 환경, 소음, 속도 등 내·외적 환경적 장애요인으로 인해 인지적 및 정서적 부담을 유발함 문제중심·정서중심 대처전략 을 사용하는 것은 1 2 3 4 7 대화 지원을 위한 기술과 디자인 ‘극복’ 관점에서 음성인식 기술 연구 청력보강, 음장가시화 기술, 음성인식도 향상 등 특정 분야에서의 지원기술에 집중 디자인·시스템 연구들은 주로 청능훈련, 언어교육 등을 위한 청각장애인 중심의 기술 연구가 등장 UCD의 도입으로, 대화 지원을 위해 시각 보조 기술을 활용하는 구체성 결여되거나 비자연스러운 기술임 일상적 삶의 영역에서 다자간 대화를 지원하는 기술은 1 2 3 4 박정현, 2012; kluwin, Blennerhassett, & Sweet, 1990; Hallberg & Carlsson, 1991 * * Southall, Jennings, & Gagne; 2011 ** ** **** *** Ho-Ching et al., 2003, Matthews et al. 2005; Tomitsch & Grechenig, 2007 송지원 & 양승호, 2009, 윤여경 & 깅성훈, 2015, Jain et al., 2015 *** **** 다자간 대화 지원 기술 개발·디자인이 청각장애인 중심으로 이뤄져야 함을 확인
- 8. 선행연구 2이론적 배경 및 기술 동향 청각장애인의 의사소통을 중심으로 그 의미와 지원 기술을 살펴봄으로써, 다자간 대화의 중요성과 영향 요인 일상생활에서 의사소통 제한 경험 청각장애인의 삶에서 다자간 대화의 중요성 다자간 대화 상황에서 개인 편차가 큼 청력, 주의사소통 방법, 착용보장구 등의 요인에 따라 상황에 따라 겪는 어려움이 달라짐 환경, 소음, 속도 등 내·외적 환경적 장애요인으로 인해 인지적 및 정서적 부담을 유발함 문제중심·정서중심 대처전략 을 사용하는 것은 1 2 3 4 8 대화 지원을 위한 기술과 디자인 ‘극복’ 관점에서 음성인식 기술 연구 청력보강, 음장가시화 기술, 음성인식도 향상 등 특정 분야에서의 지원기술에 집중 디자인·시스템 연구들은 주로 청능훈련, 언어교육 등을 위한 청각장애인 중심의 기술 연구가 등장 UCD의 도입으로, 대화 지원을 위해 시각 보조 기술을 활용하는 구체성 결여되거나 비자연스러운 기술임 일상적 삶의 영역에서 다자간 대화를 지원하는 기술은 1 2 3 4 박정현, 2012; kluwin, Blennerhassett, & Sweet, 1990; Hallberg & Carlsson, 1991 * * Southall, Jennings, & Gagne; 2011 ** ** **** *** Ho-Ching et al., 2003, Matthews et al. 2005; Tomitsch & Grechenig, 2007 송지원 & 양승호, 2009, 윤여경 & 깅성훈, 2015, Jain et al., 2015 *** **** 다자간 대화 지원 기술 개발·디자인이 청각장애인 중심으로 이뤄져야 함을 확인 청각장애인이 자기-스티그마를 경험하지 않으면서 자신의 상황에 따라 주도적으로 정보 획득, 대화에 참여할 수 있도록 하는 기술이 필요 청각장애인에게 기술 선택의 폭을 넓혀주는 현실적이면서도 구체적인 기술 개발과 당사자 요구사항을 반영한 디자인 필요
- 9. 연구방법 3세 단계의 연구 절차 9 비청각장애인-청각장애인을 연결하는 스마트 안경 시스템을 구축함 1 시스템 설계 및 구현 2 3 스마트안경 사용 평가 데이터 분석 • 비청각장애인이 개인 스마트폰으로 음성인식을 실시하면 중앙 서버를 통해 스마트안경으로 정보를 노출 • 스마트안경으로는 엡손(Epson) 사의 모베리오 활용 • 음성인식 엔진은 Google 음성인식 API 활용하여 접근성을 높임 세 가지 컨셉으로 전달 청인(hearing people)
- 10. 연구방법 3세 단계의 연구 절차 10 1 시스템 설계 및 구현 2 3 스마트안경 사용 평가 데이터 분석 1 3 2 1 3 2 어제 삼겹살 먹었는데 진짜 맛있더라 사당에 있는데 다음에 같이 가보자 1 3 2 지난번에 우리 갔던데 어디야 방향 제시 컨셉 방향+일부자막 컨셉 방향+전체자막 컨셉 어제 삼겹살 먹었는데 진짜 나는 어제 여자친구랑
- 11. 연구방법 3세 단계의 연구 절차 11 1 시스템 설계 및 구현 2 3 스마트안경 사용 평가 데이터 분석 1 3 2 1 3 2 어제 삼겹살 먹었는데 진짜 맛있더라 사당에 있는데 다음에 같이 가보자 1 3 2 지난번에 우리 갔던데 어디야 방향 제시 컨셉 방향+일부자막 컨셉 방향+전체자막 컨셉 어제 삼겹살 먹었는데 진짜 나는 어제 여자친구랑 실제 사용자에게 보이는 화면 *시야각에 대고 촬영하여 선명하지 않지만 실제로 착용하면 선명하게 보임 방향 제시 컨셉 방향+일부자막 컨셉 방향+전체자막 컨셉
- 12. 연구방법 3세 단계의 연구 절차 12 9명의 청각장애인을 대상으로 10분간 사용, 사후설문, 인터뷰를 진행함 1 시스템 설계 및 구현 2 3 스마트안경 사용 평가 데이터 분석 9명의 참가자 • 눈덩이 표집 방식 • 남: 9, 여: 3 • 연령대: 21~35 • 대부분 음성언어 사용 스마트 안경 착용하고 3명이 함께 대화 나누기 대화 내용은 최신영화, 식사메뉴, 여행담 등의 일상적 토픽 20~30분 소요(10분 x 3세션) 스마트 안경 사용하여 다자간 대화하기 SUS(System Usability Scale)과 UBS(User Burden Scale) 총 30문항으로 이뤄진 설문 평가를 완료함 10분 소요 스마트 안경 사용에 대한 설문 평가하기 스마트 안경 착용 소감, 선호 인터페이스 등에 대한 반응 조사 다양한 인식을 조사하기 위해 MS Desirability Toolkit 사용 20~30분 소요 스마트 안경 기술에 대한 인터뷰 하기 Benedek & Miner, 2002 ** Brooke, 1996; Suh et al., 2016 * ** *
- 13. 연구방법 3세 단계의 연구 절차 13 설문 평가는 선행연구 기준 에 맞춰, 인터뷰 데이터는 테마적 분석 을 통해 분석함 1 시스템 설계 및 구현 2 3 스마트안경 사용 평가 데이터 분석 Brooke, 1996; Bangor et al., 2008; Suh et al., 2016 * * ** Braun & Clarke, 2006 ** 질적 분석을 돕는 Reframer를 활용, code affinity, theme building 등을 진행함
- 14. 연구결과 4(1) 다자간 대화 지원을 위한 스마트안경 시스템에 대한 인식과 반응 14 SUS 평가 결과: OK~Good 사이 UBS 평가 결과: 신체적 부담이 크다 MS Toolkit: 접근하기 쉬운, 확실한, 유용한 MS Toolkit: 느린, 시간이 걸리는, 성가신 “그대로 안경을 쓰고 자기 마음대로 자유자재로 조절 할 수 있잖아요. 뭐 글씨크기나 화면도 다 자기 편한대로 바 꿀 수 있잖아요.” (P02) “(다른 사람들이) 대화를 나눌 때 제가 뭔가 좀 끼어드는 그런 느낌이 있어서 조금 편안했어요. 전에는 끼어들 수 없는 그런 소외감 같은 게 있었는데 아까는 편안한 느낌 이 있어서 좋았어요.” (P09) “말하다가 ‘으으음’ 이런 소리가 나면은 또 늦게 깜빡깜빡 거리는데, 그러면 그쪽을 보는데 (그쪽에 앉은 사람이) 말 을 안 하고 있는거죠.” (P01) “제 얼굴에도 맞지 않고 안경 재질 자체도 무거운 재질이 라 성가셔요.” (P07)
- 15. 연구결과 4(2) 스마트안경 인터페이스 컨셉에 대한 선호 15 > > 패턴1 방향+전체자막 > 방향+일부자막 > 방향제시 선호참가자: P02, P04, P06, P08, P09 “(방향+전체자막 컨셉) 사실 한 번에 여러 사람 말이 나오 는 게 많은 내용은 아닌 게, 원래 여러 사람이 말하면 서 로 말이 섞이는 게 당연하잖아요. 그러면 사람들이 각자 그 속에서 판단하고 적당히 넘어가는 건데요. 이 컨셉 같 은 경우에도 어떤 사람이 말하다 말면 그 내용까지 남아 있고, 다른 말하는 사람 이야기가 나오잖아요.” (P04) > > 패턴2 방향+일부자막 > 방향+전체자막 > 방향제시 선호참가자: P01, P03 “그냥 자막이 있는 게 나은 게, 저는 누가 말하는지 알 수 있으니까 방향보다는 내용이 나오는 게 더 나을 것 같아 요.” (P01) > > 패턴3 방향+일부자막 > 방향제시 > 방향+전체자막 선호참가자: P05, P07 “저는 3~4명과 대화할 때는 크게 문제가 없다보니 굉장 히 복잡한 수준의 도움은 필요가 없을 것 같고요. 그러다 보니까 방향+일부자막이 좋을 것 같고, 아니면 종종 가끔 씩 누가 이야기하고 있는지 소리가 들려오는 부분이 헷갈 릴 수가 있으니 자막이 없어도 소리나는 곳을 알려주는 것도 괜찮을 것 같아요.” (P05)
- 16. 연구결과 4(3) 실제 생활에서의 사용 가능성 16 상대방에게 노력을 ‘부탁’해야 한다는 부담 독특한 외관 때문에 불필요한 정보 노출 불완전한 기술과 대화 전략 사이에서의 판단 필요 선호와 취향의 차이 “눈치를 보고 쓴다는 건요. 제가 스마트안경을 쓰고 사람 들한테 부탁을 해야 하잖아요. (사람들한테) 이걸 (스마트 폰을 대고 이야기를) 해주면 제가 더 잘 들을 수 있다는 얘기를 해야 하니까요.” (P04) “이미 안경을 쓰고 있는데 또 쓰면 아무래도 조금 눈치도 많이 보이고 하지 않을까 하는 거죠. 저한테 꼭 필요하고 당연한 일이지만 되게 눈치가 보이거든요. 그리고 굳이 제가 다른 사람들한테 청각장애인이라고 말을 해야 하는 건 아니잖아요. 그래서 눈치가 보여요.” (P02) “대화를 할 때에 있어서 저는 상대방의 얼굴, 표정에 신경 을 써요. 지금 감정이 웃고 있다거나... 근데 이런 걸(스마 트안경) 쓰면 그런 게(감정 파악) 다 차단되는 느낌을 들 어서 일상 대화에서는 크게 쓰고 싶지는 않아요. 겉으로 는 자연스러워 보일 수도 있지만 사실 저 혼자만 바쁜 거 잖아요. 그래서 아마 쓸 수도 있고 안 쓸 수도 있을 것 같 아요.” (P07) “이 안경을 쓰게 되면 이 안경 하나에만 집중해야 돼요. 그래서 선택해야 돼요. 안경의 자막을 볼 것이냐, 사람 입 모양을 볼 것이냐. 둘 다 보는 거는 아무래도 어려워요. 입 모양과 안경을 번갈아가면서 보면 오히려 헷갈리고 따라 가기가 어려울 수도 있어요.” (P02)
- 17. 논의 및 결론 5논의 17 HMD 류의 스마트 안경 청각장애인들도 상황에 따라 적절한 기술을 자유롭게 선택할 수 있도록 해야 함 많은 현대인들이 상황에 따라 기술(technology)을 취사선택하여 자기 자신의 능력을 연장(extension)하는 것처럼 • 비장애인도 주어진 상황에 따라 상황적 장애(situational impairment)를 경험, 정보 기술의 보철을 통해 일상 생활을 보다 편리하게 영위함(Saulynas et al., 2017). ex) 엘리베이터 • 장애인들도 자신의 상황, 필요, 요구에 따라 자유롭게 기술을 선택할 수 있도록 장애인의 일상생활을 지원하는 기술을 개발하고 이를 전달하는 체계를 재편할 필요가 있음 보청기 등 청력 보강 도구 스마트폰 자막 지원 도구 진동기 속기사 보조 인공와우
- 18. 논의 및 결론 5결론 궁극적으로 장애의 재해석을 돕는 기술의 역할을 고찰하고자 했음 청각장애인의 일상적 어려움에서 출발하여, 기술이 청각장애인의 삶에 어떻게 포섭될 수 있는지 파악함으로써 18 새로운 관점 발굴 연구의의 누구나 겪는 ‘상황적 장애’는 기술에 대한 선택으로써 보철됨 현실에 적용된 기술 디자인-기술-니즈 괴리를 좁히고 향후 기술 개발 방향을 설정함 실질적 어려움에 대한 이해 대화 전략을 파악하고 기술 필요성을 도출함
- 19. Summary 이상국(서울대 융합과학부) 김유정(서울대 융합과학부) 박정현(뉴욕대 사회복지학) • 목표: 청각장애인의 다자간 대화 상황을 보조하는 스마트안경 시스템의 개발 및 평가를 통해, 장애인의 삶에서 기술의 역할을 고찰함으로써 장애 의 재해석에 기여하고자 함 • 방법: (1) 스마트안경 시스템 설계·개발 (2) 스마트안경 실제 사용, 설문, 인터뷰를 통한 종합적 평가 • 결과: (1) 전반적으로는 신기하고 유용하지만, 속도, 하드웨어 특성 등에 서 제한적임 (2) 장애의 정도가 아닌 취향과 가치관에 따른 선호 차이 (3) 현실 사용을 위한 다양한 이슈가 여전히 존재함 • 의의: 청각장애인의 일상적 어려움에서 출발하여, 기술이 청각장애인의 삶에 어떻게 포섭될 수 있는지 파악함으로써 궁극적으로 장애의 재해석을 돕는 기술의 역할을 고찰하였음