HCI분야에서 기호학을 적용한 기호공학 - 사용성 평가방법 중심으로

1. Semiotics Engineering in HCI
2016. 2. 19
사용자경험연구실
정혜란

2. HCI에서의 기호학 적용 사례
기호학을 응용한 평가방법을 소개
여러 개의 논문을 리뷰해서 공유
1. De Souza, Clarisse Sieckenius, Simone Diniz Junqueira Barbosa, and Raquel Oliveira Prates. "A semiotic engineering approach to HCI." CHI'01 Extended Abstracts on Human Factors in
Computing Systems. ACM, 2001.
2. de Souza, Clarisse Sieckenius, et al. "The semiotic inspection method." Proceedings of VII Brazilian symposium on Human factors in computing systems. ACM, 2006.
3. de Souza, Clarisse Sieckenius, et al. "Can inspection methods generate valid new knowledge in HCI? The case of semiotic inspection." International Journal of Human-Computer Studies
68.1 (2010): 22-40.
4. 이혜진, 이윤화, 류한영 (2006). 커뮤니커빌리티 평가방법(Communicability Evaluation Method)을 이용한 사용성 평가에 관한 연구. 디지털디자인학연구, 6(2), 351-360.
5. 이혜진, 류한영 (2007). 행위를 바탕으로 한 커뮤니커빌리티 평가방법(Communicability Evaluation Method)에 관한 연구. 한국HCI학회 학술대회, 1210-1215.
6. 이혜진, 김주현, 류한영 (2009). 웹사이트를 활용한 커뮤니커빌리티 평가방법(Communicability Evaluation Method) 개발 및 미디어 차이에 따른 비교. 디지털디자인학연구, 9(1), 403-412.

3. 1. 기호공학
2. SIM(Semiotic Inspection Method)
3. CEM(Communicability Evaluation Method)
4. CEM 로컬화
CONTENTS

4. 기호공학 Semiotics Engineering
https://en.wikipedia.org/wiki/Semiotic_engineering
이혜진, 류한영 (2007). 행위를 바탕으로 한 커뮤니커빌리티 평가방법(Communicability Evaluation Method)에 관한 연구. 한국HCI학회 학술대회, 1210-1215.
‣ 사용자 인터페이스 언어 설계에 대한 기호학적 접근방식으로 Clarisse De Souza에 의해 제안된 개념
‣ 리오데자네이루의 카톨릭 대학교 정보학과에서 진행된 수년간의 연구를 통해 HCI 분야의 기호학적 이론으로 발전함
‣ 기호공학의 기본 관점은 HCI를 디자이너와 사용자간에 이루어지는 상호작용이 컴퓨터를 매개로 한 커뮤니케이션으
로 보는 것
‣ 기호학의 기본개념인 기표와 기의, 그 과정에서 일어나는 의미전달을 해석하는 것이 주목적임
‣ 사용자는 어떤 사람인지, 무엇을 원하고 어떤 방식을 왜 선호하는지 등에 대해 디자이너가 어떻게 이해하고 있는가에
대해 시스템은 다양한 종류의 대화를 통해 디자이너의 생각을 보여줌
‣ 디자이너의 의도가 반영된 시스템의 매개로 사용자와 상호작용하는 모든 과정을 메타커뮤니케이션으로 보고 이에 대
한 퀄리티 평가방법을 제시

5. 기호공학 Semiotics Engineering
http://www.slideshare.net/Tzec/the-semiotic-inspection-method-overview-analysis-and-critique

6. 기호공학 Semiotics Engineering
http://www.slideshare.net/Tzec/the-semiotic-inspection-method-overview-analysis-and-critique

7. 사용성 평가 Usability Evaluation
이혜진, 류한영 (2007). 행위를 바탕으로 한 커뮤니커빌리티 평가방법(Communicability Evaluation Method)에 관한 연구. 한국HCI학회 학술대회, 1210-1215.
‣ 사용자중심디자인에서는 ‘평가’의 중요성이 강조
‣ 사용성은 1971년 밀러(Miler)에 의해 시도, 1979년 베네트(Bennett)에 의해 좀 더 발전되고 이후 샤켈(Shackel)이 사
용성에 대한 구체적이고 정형적인 정의를 내림
‣ 샤켈은 사용성이 1)유효성 2)학습성 3)유연성 4)사용자태도에 의해 측정되고 명세화되어야 한다고 주장
‣ 특히 인터페이스에 대한 사용성 평가의 이론연구는 닐슨(Nielsen), 헤드(Head), 크룩(Krug)등에 의해 이루어졌으며
아직까지 영향을 미치고 있음
‣ 기호공학에서는 디자인을 커뮤니케이션 문제로서 접근하여 디자이너의 의도와 사용자의 이해의 갭을 평가

8. 기호공학의 사용성 평가 Usability Evaluation In Semiotics Engineering
1. Semiotic Inspection Method (SIM)
2. Communicability Evaluation Method (CEM)

9. 기호학적 검사 방법 Semiotic Inspection Method (SIM)
‣ 기호학적 검사 방법은 사용자가 시스템과 상호작용하는 과정에서 노출되는 기호들의 다양성을 검사하는 것임
‣ 여기서 ‘기호’의 개념이 이 검사 방법의 핵심으로, 디자이너가 사용자에게 보내는 메세지는 하나 또는 그 이상의 의미
체계의 기호를 통해 표현됨
‣ 즉, 디자이너가 본래 전달하려고 하는 메세지가 기호를 통해 잘 전달되고 있는가를 평가
‣ 컴퓨터 시스템의 인터페이스에서 가장 많이 쓰이는 기호는 widgets, images, words, colors, dialog structures 등
‣ 크게 다섯개의 스텝으로 진행
Step 1- the analysis of metalinguistic signs(on/offline documentation, help contents);
Step 2-the analysis of static signs;
Step 3-the analysis of dynamic signs;
Step 4-a comparison of the designers’ metacommunication message generated in the previous steps;
Step 5-a final evaluation of the inspected system’s communicability.
de Souza, Clarisse Sieckenius, et al. "The semiotic inspection method." Proceedings of VII Brazilian symposium on Human factors in computing systems. ACM, 2006.

10. 기호학적 검사 방법 Semiotic Inspection Method (SIM)
de Souza, Clarisse Sieckenius, et al. "The semiotic inspection method." Proceedings of VII Brazilian symposium on Human factors in computing systems. ACM, 2006.

11. 기호학적 검사 방법 예시 Example of Semiotic Inspection Method (SIM)
Step 1- the analysis of metalinguistic signs
Step 2-the analysis of static signs
- 마이크로소프트의 설명에 의하면 “Word offers great new ways to polish the formatting in your document.”. 그중에서도 collaborative
reviewing activities에 대해 평가(2006)
- 도움말 문서에서 파생된 메타커뮤니케이션을 살펴보면 공동 검토 작업은 사용자로 하여금 리뷰를 위해 파일을 보내고, 코멘트를 달거나 그 변화
과정 추적, 코멘트를 확인하거나 문서의 버전 정보를 확인할 수 있다고 설명함
- 하지만 이러한 공동 검토 작업과 관련된 static sign들을 분석해보면 관련된 사인들이 여러
가지 다른 파트의 인터페이스로 확산, 분산되어 있음을 알 수 있음
- ‘변경 내용 추적(track changes)’ 기능으로 전환하면 검토 도구모음에서 변경 내용 추적, 검
토 내용의 수락 및 거절, 코멘트 달기, 편집, 삭제 등이 가능한데 이러한 구조의 일부가 다른
기호의 클래스에서도 나타남
- 예를 들어 코멘트 생성은 ‘변경 내용 추적’이라는 피쳐를 on/off 하면 가능한데 ‘track
changes’는 ‘tools’메뉴에 있는 반면, ‘comments’는 ‘insert’ 메뉴에 나타남
- 또한 이전 혹은 다음 코멘트/변경사항으로 이동하는 기능은 ‘tools’에도 ‘insert’에도 없고
‘edit’ 메뉴에서 확인할 수 있음, 뿐만 아니라 공동 작업을 하는 파일을 보내는 기능은 ‘file’ 메
뉴에 있으며 마크업을 보기 위해서는 ‘view’메뉴로 가야함
de Souza, Clarisse Sieckenius, et al. "The semiotic inspection method." Proceedings of VII Brazilian symposium on Human factors in computing systems. ACM, 2006.

12. 기호학적 검사 방법 예시 Example of Semiotic Inspection Method (SIM)
Step 3-the analysis of dynamic signs
Step 4-a comparison of the designers’ metacommunication message generated in the previous steps
- 검토 도구 모음(reviewing toolbar)의 기능들이 시스템과 커뮤니케이션하는데 있어서 해석
에 용이하고 효율적인 사용이 가능하다고 하더라도 다른 기능들은 시스템 충돌 및 커뮤니케
이션 실패가 있어나고 있음
- 공동 검토한 파일을 보내기 위해서 “Send to > Routing recipient …”를 ‘file’ 메뉴에서 활
성화하면 시스템 충돌이 일어나는 것을 확인할 수 있음
Step 5-a final evaluation of the inspected system’s communicability
- 공동 검토 작업과 관련된 가능한 모든 기능의 일부를 선택해서 툴바의 형태로 제공하는 것은 좋은 대안이 될 수 있음, 1) 하나의 기호로 핵심 검
토 작업 기능을 묶어서 보여주는 것, 2) 복잡한 공동 검토 작업 과정을 작업 플로우에 따라 나누어서 제공하는 것
- 하지만 이렇게 몇 가지 기능을 선택하는 과정에서 커뮤니케이션 문제가 생길 수 있음, 각기 다른 메뉴 옵션에 기능을 나누어 놓는 것은 접근성 장
애를 가져올 수 있음, 2) 아마도 사용자는 툴바 외에 공동 검토 기능이 있다는 것을 전혀 모를 수 있음
de Souza, Clarisse Sieckenius, et al. "The semiotic inspection method." Proceedings of VII Brazilian symposium on Human factors in computing systems. ACM, 2006.

13. 커뮤니카빌리티 평가 방법 Communicability Evaluation Method (CEM)
‣ 기호공학의 목적은 디자인 결과물과 사용자 사이의 커뮤니케이션 과정을 이해하고 보다 나은 디자인을 구현하기위한
모델 방법 도구와 기술들을 제시하는 것
‣ 즉 디자이너의 의도와 태스크 수행 시에 나타나는 사용자 이해도의 상관관계를 평가하여 디자이너가 사용자에게 자
신의 의도를 얼마나 잘 전달하고 있는가를 측정할 수 있는 평가 방법
‣ 일반적으로 디자이너는 주제는 은유적으로 표현하려는 경향이 있어서 디자이너의 의도가 사용자에게 성공적으로 전
달되었는가의 여부 평가
이혜진, 이윤화, 류한영 (2006). 커뮤니커빌리티 평가방법(Communicability Evaluation Method)을 이용한 사용성 평가에 관한 연구. 디지털디자인학연구, 6(2), 351-360.
‣ 기존 방법들과의 차별점은 기존의 평가 방법들은 사용자와 시스템
사이의 인터랙션에 초점을 맞추고 있는 반면 이 방법은 사용자와
디자이너의 커뮤니케이션에 초점을 맞추고 있음

14. 커뮤니카빌리티 평가 방법 Communicability Evaluation Method (CEM)
‣ 커뮤니커빌리티 평가방법은 디자이너와 사용자간의 메타커뮤니케이션의 성공여부를 알아보기 위한 하나의 방법으
로 “태그(Communicability Tag)” 라고 명명된 언어들을 도구로 사용
‣ 커뮤니커빌리티 평가방법(CEM)의 개발과정에는 태깅(Tagging) → 해석(Interpretation) → 기호학적 분석
(Semiotic Profiling) 의 3가지 중요한 프로세스를 거침
‣ ‘태깅’과 ‘해석’은 평가 기준을 개발하기 위한 과정이고, ‘기호학적 분석’은 개발된 평가 기준을 이용하여 평가를 진행
하는 과정
‣ 태깅(Tagging) : 사용자가 디자인 결과물과 인터렉션 하는 (Tagging) 과정에서 나타난 사용자의 언어를 추출하는
과정
‣ 해석(Interpretation) : 평가자의 기호학적 지식을 바탕으로 태깅(Tagging) 의 과정에서 추출된 태그를 분석하는
과정, 이렇게 다양한 언어들을 항목에 .따라 분류하는 것은 디자인 결과물에서 어떤 것이 잘못되고 어떤 것이 잘되
었는지를 분석할 수 있는 기본적인 틀을 만들기 위함
‣ 기호학적 분석 (Semiotic Profiling) : 분류한 언어들이 사용자가 디자인 결과물을 사용할 때 얼마나 자주 나타나는
가를 측정, 디자이너와 사용자 사이의 커뮤니케이션 상에서 나타나는 문제점을 평가하는 과정
이혜진, 이윤화, 류한영 (2006). 커뮤니커빌리티 평가방법(Communicability Evaluation Method)을 이용한 사용성 평가에 관한 연구. 디지털디자인학연구, 6(2), 351-360.

15. 커뮤니카빌리티 평가 방법 Communicability Evaluation Method (CEM)
이혜진, 이윤화, 류한영 (2006). 커뮤니커빌리티 평가방법(Communicability Evaluation Method)을 이용한 사용성 평가에 관한 연구. 디지털디자인학연구, 6(2), 351-360.
1. Where is?, What now?
사용자가 자신이 사용하고자 하는 특정 기능을 찾고 있으
나 그것이 어디 있는지를 찾는데 어려움을 겪고 있을 때를
의미하는 태그
2. What’s this?, Object or action?
사용자가 특정 기능을 이해하고 잘 사용하기 위하여 어떻
게 기능을 사용할 것인가에 관하여 탐색하는 경우를 의미
하는 태그
3. Oops!, I can't do it this way., Where am I?
사용자가 자기가 하려고 했던 목적을 이루기 위해 어떤 행
동을 취하였으나 예상하지 않았던 결과가 일어났을 경우와
관련된 태그
4. Why doesn't it? What happened?
'Why doesn't it?'은 사용자가 어떤 방식의 결과를 예상하
였으나 태스크의 결과가 예상했던 것이 아니었을 경우를 ,
의미하는 태그이다 이 경우 사용자는 이전과 동일한 행동 .
방법을 계속 고집
'What happened?'
대상물로부터 피드백을 받지 못했을 때와 태스크 수행의
결과에 관한 의미를 정확하게 이해하지 못하고 행동을 멈
추는 경우

16. 커뮤니카빌리티 평가 방법 Communicability Evaluation Method (CEM)
이혜진, 이윤화, 류한영 (2006). 커뮤니커빌리티 평가방법(Communicability Evaluation Method)을 이용한 사용성 평가에 관한 연구. 디지털디자인학연구, 6(2), 351-360.
5. Looks fine to me
사용자는 자신이 태스크를 완료하였다고 생각하나 실제로
태스크가 끝나지 않은 경우를 의미하는 태그
6. I can’t do it
사용자가 제시된 태스크의 목표를 완성하는 것이 결과적으
로 불가능한 상황에 빠지게 되는 경우
7. Thanks, but no, thanks. I can do otherwise
사용자가 제품의 인터페이스에서 표현된 디자이너의 의도
를 충분히 이해하고는 있으나 이를 거부하고 자신만의 독자
적인 시도를 하는 경우와 의도를 충분히 이해하지 못하
여 다른 방법을 모색하는 경우
8. Help!
도움 시스템을 이용

17. CEM의 로컬화 Localization of Communicability Evaluation Method (CEM)
‣ 커뮤니커빌리티 평가방법은 언어를 기반으로 하는 평가 방법임
‣ 언어는 문화적 맥락에 따라 다르게 인코딩될 수 있기 때문에 단순히 한/영 번역만으로 이루어질 경우 표현의 적절성
에 문제가 생길 수 있다고 보고 로컬화를 시도
이혜진, 이윤화, 류한영 (2006). 커뮤니커빌리티 평가방법(Communicability Evaluation Method)을 이용한 사용성 평가에 관한 연구. 디지털디자인학연구, 6(2), 351-360.
- 서울, 경기 지역 거주자 20명
- 20-30대
- 4개 그룹에 5명씩 무작위로 배치
- 동일한 순서로 태스크 수행
- 모든과정은 녹화
한글 기반으로 로컬라이제이션

18. CEM의 로컬화 Localization of Communicability Evaluation Method (CEM)
이혜진, 이윤화, 류한영 (2006). 커뮤니커빌리티 평가방법(Communicability Evaluation Method)을 이용한 사용성 평가에 관한 연구. 디지털디자인학연구, 6(2), 351-360.
한글 기반으로 로컬라이제이션 : 결과

19. CEM의 로컬화 2 Localization of Communicability Evaluation Method (CEM)
‣ 사용자의 다양한 의사 표현을 언어뿐만 아니라 포괄적으로 분석할 필요가 있음
‣ 사용자의 문화적, 사회적 배경에 따라 차이를 보일 수 있는 의사 표현들의 정확한 평가를 위해 행위를 바탕으로 평가
하는 것의 가능성 탐색
‣ 태깅한 행위들을 같은 의미로 해석될 수 있는 카테고리로 그룹화
이혜진, 류한영 (2007). 행위를 바탕으로 한 커뮤니커빌리티 평가방법(Communicability Evaluation Method)에 관한 연구. 한국HCI학회 학술대회, 1210-1215
행위 기반의 평가방법 검증

20. CEM의 로컬화 2 Localization of Communicability Evaluation Method (CEM)
이혜진, 류한영 (2007). 행위를 바탕으로 한 커뮤니커빌리티 평가방법(Communicability Evaluation Method)에 관한 연구. 한국HCI학회 학술대회, 1210-1215

21. CEM의 로컬화 2 Localization of Communicability Evaluation Method (CEM)
‣ 행위는 언어를 기반으로 하는 것보다 빈도수가 다소 적게 나타남
‣ 다른 의미 지시라도 실험 참여자의 행위 방식이 비슷한 경우에는 필수적으로 여러 가지 맥락적 측면을 함께 고려해서
분류해야만 함
‣ 하지만 기존의 언어로만 평가하는 것의 단점을 보완하고 더욱 정확한 사용성 평가할 수 있다는 가능성을 확인
‣ 태그가 두 개 이상의 사용성 이슈에 해당하는 경우에 대한 추후 연구 필요
이혜진, 류한영 (2007). 행위를 바탕으로 한 커뮤니커빌리티 평가방법(Communicability Evaluation Method)에 관한 연구. 한국HCI학회 학술대회, 1210-1215
행위 기반의 평가방법 검증 : 결론

22. CEM의 로컬화 3 Localization of Communicability Evaluation Method (CEM)
‣ 미디어나 평가 대상에 따라 사용목적과 환경이 다르기 때문에 평가 방식(태그)에도 차이가 있을 것임
‣ 모바일폰과 데스크탑의 웹의 특성
‣ 사용 목적 : 모바일폰은 통화 목적, 정보 매체의 역할보다 대인 커뮤니케이션 목적, 웹은 정보 탐색과 업무/과제 수
행이 주요 목적
‣ 화면 크기 : 모바일폰은 웹에 비해 화면이 작아 정보의 양이 제한적이고 사용가능한 색상도 한계가 있음, 이에 비해
웹은 긴 텍스트나 이미지, 동영상 제공에 유리
‣ 입력 장치 : 모바일폰은 손가락으로 하드웨어 키를 누름, 방향키로 직접 조작하기도 어려움, 웹은 마우스와 키보드
로 입력
이혜진, 김주현, 류한영 (2009). 웹사이트를 활용한 커뮤니커빌리티 평가방법(Communicability Evaluation Method) 개발 및 미디어 차이에 따른 비교. 디지털디자인학연구, 9(1), 403-412
웹사이트를 활용한 CEM 개발 및 미디어 차이 비교

23. CEM의 로컬화 3 Localization of Communicability Evaluation Method (CEM)
이혜진, 김주현, 류한영 (2009). 웹사이트를 활용한 커뮤니커빌리티 평가방법(Communicability Evaluation Method) 개발 및 미디어 차이에 따른 비교. 디지털디자인학연구, 9(1), 403-412
웹사이트를 활용한 CEM 개발 및 미디어 차이 비교
- 서울, 경기 지역 거주자 10명
- 20-30대
- 컴퓨터 사용능력 중급의 학생 및 일반인
- 2대의 캠코더와 1대의 녹음기
- 실험대상 웹사이트 6개중 익숙하지 않은 것 3개 선택
- 태스크를 수행하며 Think Aloud

24. CEM의 로컬화 3 Localization of Communicability Evaluation Method (CEM)
이혜진, 김주현, 류한영 (2009). 웹사이트를 활용한 커뮤니커빌리티 평가방법(Communicability Evaluation Method) 개발 및 미디어 차이에 따른 비교. 디지털디자인학연구, 9(1), 403-412
웹사이트를 활용한 CEM 개발 및 미디어 차이 비교

25. CEM의 로컬화 3 Localization of Communicability Evaluation Method (CEM)
이혜진, 김주현, 류한영 (2009). 웹사이트를 활용한 커뮤니커빌리티 평가방법(Communicability Evaluation Method) 개발 및 미디어 차이에 따른 비교. 디지털디자인학연구, 9(1), 403-412
웹사이트를 활용한 CEM 개발 및 미디어 차이 비교 : 결과

26. CEM의 로컬화 3 Localization of Communicability Evaluation Method (CEM)
이혜진, 김주현, 류한영 (2009). 웹사이트를 활용한 커뮤니커빌리티 평가방법(Communicability Evaluation Method) 개발 및 미디어 차이에 따른 비교. 디지털디자인학연구, 9(1), 403-412
웹사이트를 활용한 CEM 개발 및 미디어 차이 비교
‣ 두 가지 미디어 모두 동일한 사용성 이슈를 포함하는 태그들이 많이 나옴, 따라서 CEM은 다양한 미디어에 적용 가능
할 것으로 보임
‣ 하지만 미디어의 특성에 따른 특성화 연구는 지속적으로 해야할 필요가 있음

27. 감사합니다.