2023.6
최병호(ILOVEHCI@korea.ac.kr)
Copyright 2023. 최병호 all rights reserved.
강의 미션
학습 목차
1
Copyright 2023. 최병호 all rights reserved.
1) OpenAI ChatGPT API + Upstage OCR?
3
Copyright 2023. 최병호 all rights reserved.
1/29
이미지 출처: Upstage, AskUp https://en.upstage.ai/askup/
1) 휴대폰 환경에서 문제 해결 수준을 확인하자!
4
Copyright 2023. 최병호 all rights reserved.
2/29
헬리콥터맘(Helicopterparent)A는초등학생4학년아
이에게수학,영어,국어를전담하여가르치고있다.
수학은오답노트로,영어는독후감지도,국어는자
유주제글쓰기컨설팅서비스로접근하고있으나
여전히만족하지못하고있다.AskUp으로해결할수
있을까?수학은오답노트문제풀이와비슷한유형
의문제생성,영어와국어는문법지도와글쓰기예
시생성을희망한다.과연가능할까?
이미지 출처: 마이크로소프트
1) 수학 문제를 찍어서 업로드 했더니?(1/3)
6
Copyright 2023. 최병호 all rights reserved.
3/29
SystemFeedback?
▪ :“이미지에서55
글자를읽었습니다.”는OCR
프로그램이제대로동작하고
있다라는메시지.그러나사용자가
원하는것이정확한동작
여부일까요? "지금시각은오전
7시입니다.지금부터285분후의
시각은오전몇시 몇분인지
설명하시오.”로읽었습니다.
▪ :(띄어쓰기) “이미지
에서”→“이미지에서”
이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡
1) 수학 문제를 찍어서 업로드 했더니?(2/3)
7
Copyright 2023. 최병호 all rights reserved.
4/29
LLMUX Guidelines(1)
▪
:위지위그(WYSIWYGWhatYou
See Is What You Get) 시즌2:OCR-
WYSIWYG
▪ OCR목적은이미지에포함된
텍스트추출이목적이므로,
텍스트를포함한이미지를
업로드하면자동으로텍스트를
추출하여사용자에게보여준다.
▪ 수치정보처럼추상성이높은
정보방식으로모호성을양산하지
말아야한다.
이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡
1) 수학 문제를 찍어서 업로드 했더니?(3/3)
8
Copyright 2023. 최병호 all rights reserved.
5/29
LLMUX Guidelines(2-1)
▪ :
행동유도성(perceived
affordance)시즌2:Flowing-
affordance
▪ 텍스트 특성(수학문제)과
텍스트길이(짧음) 조건이입력되면,
사용자에게적합한솔루션(수학
문제답과 풀이)을제시한다.
▪ 텍스트 특성(수학문제)과
텍스트길이(짧음)조건에부합하지
않는‘요약’등을추천하지않는다.
이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡
2) 수학 문제를 풀어 달라고 했더니?(1/6)
9
Copyright 2023. 최병호 all rights reserved.
6/29
User-AIConversation?
▪ :맥락을무시한대화?화를
돋구는대화? 이미지+텍스트= 맥락 고려한
접근필요;사용자의귀중한시간을보호하고
지지하는철학필요
▪ :“위에서업로드한
이미지”라고반드시입력해야하는가?
사용자에게정확한 입력을 요구하지 말아야한다.
이미지 출처: AskUP 카카오톡
2) 수학 문제를 풀어 달라고 했더니?(2/6)
10
Copyright 2023. 최병호 all rights reserved.
7/29
LLM UX Guidelines(3)
▪ :“Learningwithzero
effort시즌2:Promptengineering&Promptde-
engineering;AutoPrompting”
▪ 프롬프트를순차적인맥락(시간흐름)기반으로
판단해야한다(이미지→ 텍스트).
▪ 사용자가프롬프트를제대로입력하지못하여
동작이제대로되지않는다고생각한후에,공부를
시작한다면이것은 전형적인badUX의증거!
사용자가프롬프트를어떻게입력하든시스템은
사용자의의도와니즈를정확하게파악하여실행필요
▪ 사용자의니즈를 해결하기위해서필요시sub-
task를자체정의해서수행.단,윤리이슈 유발금지.
이미지 출처: AskUP 카카오톡
11
Copyright 2023. 최병호 all rights reserved.
8/29
User-AIConversation?
▪ :동작실패(수학
문제아니다?)화를돋구는대화?
황당한메시지(불분명?생각을
긍정적으로바꾸기?영화 추천해
줘?) Fact체크정확하게판단
필요+불필요한메시지 제거필요
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
2) 수학 문제를 풀어 달라고 했더니?(3/6)
12
Copyright 2023. 최병호 all rights reserved.
9/29
LLM UX Guidelines(4-1)
▪
: 마이동풍
(馬耳東風동풍이말의 귀를 그냥 스쳐 지나간다;
타인의 말에 주의를 기울이지 않고 무시한다) +
벽하고대화한다 TEDACTurnerror
detection and correction
▪ 사용자에게답변을제시하기전에
맥락에부합한답변여부를자체
판별한다.
▪ 부적합한판별결과를받은답변은
시스템에서자동으로제거하고,
맥락에적합한답변을생성하여
사용자에게제시한다.
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
2) 수학 문제를 풀어 달라고 했더니?(4/6)
13
Copyright 2023. 최병호 all rights reserved.
10/29
LLMUX Guidelines(2-2)
▪ :
행동유도성(perceived
affordance)시즌2:Flowing-
affordance
▪ 텍스트특성(수학문제 답과
풀이)조건이입력되면,사용자에게
적합한솔루션(상세풀이,유사
문제출제등)을제시한다.
▪ 텍스트특성(수학문제 답과
풀이)조건에부합하지 않는
‘생각을긍정적으로바꾸기’,‘영화
추천해줘’등을추천하지 않는다.
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
2) 수학 문제를 풀어 달라고 했더니?(5/6)
14
Copyright 2023. 최병호 all rights reserved.
11/29
LLMUX Guidelines(5)
▪ :두괄식(頭括式)&
미괄식(尾括式):TDTOTop-down and
Top out
▪ 디지털미디어환경에서Z패턴이
아닌F패턴을적용한다.
▪ 두괄식으로사용자가원하는
답부터제공한다.
▪ 수학문제답➔ 수학문제➔
수학문제풀이내용 순서로제시한다.
▪ 불필요한문장은제거한다;
“죄송합니다.(중략)
풀어드리겠습니다.”
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
2) 수학 문제를 풀어 달라고 했더니?(6/6)
3) 수학 문제를 출제해 달라고 했더니?(1/2)
15
Copyright 2023. 최병호 all rights reserved.
12/29
Trust?
▪ :동작실패(오전과오후?) 맥락고려생성
필요
▪ :화를 내면서동작도제대로못 하는프로그램을굳이
활용해야하는이유가무엇일까요?+ 정확한수학문제풀이
과정과답!+초개인화된오답노트서비스?!
이미지 출처: AskUP 카카오톡
3) 수학 문제를 출제해 달라고 했더니?(2/2)
16
Copyright 2023. 최병호 all rights reserved.
13/29
이미지 출처: AskUP 카카오톡
LLM UX Guidelines(4-2)
▪ :
이가란지(以假亂真가짜가진짜를 어지럽힌다) TEDACTurn error detection and
correction
▪ 사용자에게문제를출제하기전에문제와정답의매칭비율을
자체판별한다.
▪  부적합한 판별 결과를 받은문제는시스템에서 자동으로제거하고,
매칭비율이정확한문제를생성하여사용자에게제시한다.
4) 수학 문제 하나 더 풀어보라고 했더니?(1/3)
17
Copyright 2023. 최병호 all rights reserved.
14/29
Trust?
▪ :동작실패(3,
5,8,2중 3,5,8만 인식)+답변
지체OCR프로그램인식률
강화필요+사용자가대기해야
하는시간이길어진다면 이에
대한설명을해야한다.
▪ :사용자가프롬프트
엔지니어링을열심히했지만,
OCR에서실패?사용자가틀린
것도코치하면서해야하는가?
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
4) 수학 문제 하나 더 풀어보라고 했더니?(2/3)
18
Copyright 2023. 최병호 all rights reserved.
15/29
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
LLM UX Guidelines(4-3)
▪
:
이편개전(以偏概全일부만보고 전체를
판단한다)  TEDACTurnerror detection and
correction
▪ OCR목적은이미지에포함된
텍스트추출이목적이므로,텍스트를
포함한이미지를업로드하면
자동으로텍스트를 추출한다.
▪ 텍스트추출후정확한인식률을
확인하는절차를 자동으로진행하여
사용자에게답변을 제시한다.
4) 수학 문제 하나 더 풀어보라고 했더니?(3/3)
19
Copyright 2023. 최병호 all rights reserved.
16/29
이미지 출처: Bing Chat
LLM UX Guidelines(6)
▪ :
망매지갈(望梅止渴매실나무를보고 매실이
신맛이 나기 때문에 보기만 하여도 갈증이 멈출 거라고
상상한다)
▪ 시스템이답변을1초이내로
생성할수있는지판별한다.
▪ 1초이내에답변생성이가능하면
즉시제시하고,그렇지않으면
생성하는과정을 보여준다.
이미지 출처: 마이크로소프트
1) 영어 독후감을 찍어서 업로드 했다. 과연?
21
Copyright 2023. 최병호 all rights reserved.
17/29
이미지 출처: 최병호, 2023
이미지 출처: AskUP 카카오톡
2) 교정을 하긴 했는데-,-(1/4)
22
Copyright 2023. 최병호 all rights reserved.
18/29
User-AIConversation?
▪ :동작
성공(원문서식고려X,문법
교정)+동작실패(틀린영어
문법지적 X)
▪ :원본독후감에나오지
않는 내용으로변경해서교정?
 내용변경은하지않아야
하며,영어 문법만교정해야
한다.
이미지 출처: AskUP 카카오톡
이미지 출처: 최병호, 2023
2) 교정을 하긴 했는데-,-(2/4)
23
Copyright 2023. 최병호 all rights reserved.
19/29
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
LLM UX Guidelines(4-4)
▪
:
마이동풍(馬耳東風동풍이말의 귀를
그냥 스쳐 지나간다; 타인의 말에 주의를
기울이지 않고 무시한다) +벽하고
대화한다 TEDACTurn error
detection and correction
▪ 사용자의요구사항이답변에
모두포함되어있는지체크한다.
▪ 체크결과,포함되어있지
않으면포함하여답변을
생성한다.
2) 교정을 하긴 했는데-,-(3/4)
24
Copyright 2023. 최병호 all rights reserved.
20/29
영어 원문을 한글로 번역/이미지 출처: DeepL
영어 원문/이미지 출처: AskUP 카카오톡 Askup에서 교정한 영문을 한글로 번역/이미지 출처: DeepL
2) 교정을 하긴 했는데-,-(4/4)
25
Copyright 2023. 최병호 all rights reserved.
21/29
LLM UX Guidelines(7-1)
▪
▪ 사용자의요구가잘못된문법
의수정인지,잘못된표현의
정정인지,새로운내용으로
창작하는지판별해야한다.
▪ 특별한요청을하지않았다면
잘못된문법의수정으로
진행하고,나머지옵션은
추천으로제공한다.
이미지 출처: AskUP 카카오톡
이미지 출처: 최병호, 2023
3) 어떻게 교정했는지 알고 싶었는데-,-(1/2)
26
Copyright 2023. 최병호 all rights reserved.
22/29
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
Trust?
▪ : 동작 실패(남탓?
+교정내용?)+강제초기화?+
무의미한반복행동유발?
무책임한서비스태도개선절실+
사용자데이터와대화맥락연계
방안도입 필요
▪ :UX마인드부재로,문제
책임을사용자에게모두전가
문제의총량대부분을시스템이
가져가야함
3) 어떻게 교정했는지 알고 싶었는데-,-(2/2)
27
Copyright 2023. 최병호 all rights reserved.
23/29
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
LLM UX Guidelines(7-2)
▪
▪ 시스템 이슈로사용자의데이터를
무단으로삭제해서는안 된다.
▪ 시스템 이슈로동일한행동을
하도록사용자에게강요해서는안
된다.
▪ 시스템 이슈가있다고하더라도
사용자는기존태스크를연속해서
진행하도록서비스를제공해야 한다.
4) 독후감 알아보기 힘들어 한글 번역-,-(1/2)
28
Copyright 2023. 최병호 all rights reserved.
24/29
Trust?
▪ :동작
실패(한글번역실패?)+
갑자기 코멘트를?(번역과
코멘트를구별해야지?)
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
4) 독후감 알아보기 힘들어 한글 번역-,-(2/2)
29
Copyright 2023. 최병호 all rights reserved.
25/29
영어 원문을 한글로 번역/이미지 출처: AskUP 카카오톡
영어 원문을 한글로 번역/이미지 출처: DeepL
영어 원문/이미지 출처: AskUP 카카오톡
5) 영어 문법 교정이라도…
30
Copyright 2023. 최병호 all rights reserved.
26/29
이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡
Trust?
▪ :너무힘든과정을
여러번반복해서겨우겨우영어
문법교정을받았다?
▪ :영어 문법교정이라는목적을
달성하기위해서툴자체에엄청난
투자를해야한다면,이것은
정상인가?
6) 앞에 있던 대화 내용을 활용하려 했는데-,-
31
Copyright 2023. 최병호 all rights reserved.
27/29
이미지 출처: AskUP 카카오톡
User-AIConversation?
▪ :카카오톡에서늘활용하던‘답변‘기능부재로,기존
대화내용과연계한접근불가능?
▪ :카카오톡에서익숙한사용자습관배려필요
이미지 출처: 마이크로소프트
1) 비나이다 비나이다 글쓰기를 잘하게 하소서!
33
Copyright 2023. 최병호 all rights reserved.
28/29
이미지 출처: 최병호, 2023
이미지 출처: AskUP 카카오톡
2) 교정 품질은 어떨까?-,-
34
Copyright 2023. 최병호 all rights reserved.
29/29
이미지 출처: 최병호, 2023
이미지 출처: AskUP 카카오톡
UX 품질?
▪ :오타교정,단어대체,
띄어쓰기수정,접속사추가;
능동형을피동형으로?
불필요한복수?
▪ :사족제거
실패,불필요한반복으로글의
생동감저하
▪ :작가의도
왜곡:Why를How로?,
Teaching을Solving으로?,
Me을Our로?
▪ :부정확하고어색한
표현
메시지훼손
불필요한반복
표현력이슈
맞춤법
이슈
이미지 출처: 마이크로소프트
1) 건강/시술의 모든 궁금증 알려준다? 정말?
37
Copyright 2023. 최병호 all rights reserved.
1/7
이미지 출처: 굿닥 앱
서비스안내?
▪ :건강과시술 관련한
모든궁금증을
알려주겠다면서의학적
판단은아니다?건강과
시술관련한모든궁금증은
개인정보와관련이 없다?
‘건강과시술관련한모든
궁금증을알려주겠다’는
메시지는거짓말,
개인정보를입력해도
비식별처리필요
1) 휴대폰 환경에서 문제 해결 수준을 확인하자!
38
Copyright 2023. 최병호 all rights reserved.
2/7
50대아저씨B는며칠전부터이가아프기시작
했다.예전에도그러다가사그라졌기때문에이
번에도조금만참으면그렇게지나갈거로생각
했다.그런데저녁부터참기힘들정도로고통이
엄습하더니급기야아무것도할수없었다.굿닥
건강AI챗봇이이문제를해결할수있을까?
1) 고통 공감 없이 더 고통스럽게 한다?
39
Copyright 2023. 최병호 all rights reserved.
3/7
SystemFeedback?
▪ :환자의고통호소에어떤공감도없이다시고통을
호소하라는답변은직무유기 사용자의메시지는기억해야하고,
사용자에게는이미사용자의메시지를숙지하고있으며,곧답변을
드리겠다고안내해야함
이미지 출처: 굿닥 앱
2) 고통에 최저가 답변이라-,-
40
Copyright 2023. 최병호 all rights reserved.
4/7
SystemFeedback?
▪ :모바일
환경에서는짧은답변이
필수.두괄식전개필요
검색결과방식이아니라
대화방식추구필요
▪ :
고통맥락과무관한최저가
안내는최악의서비스
고통해결할수있는솔루션
제시필요
이미지 출처: 굿닥 앱
3) 이제 말귀도 못 알아듣는다? 벽이랑 대화하냐-,-
41
Copyright 2023. 최병호 all rights reserved.
5/7
SystemFeedback?
▪ :환자의
메시지를이해하지 못함;
환자는당장해결할수있는
솔루션을요구하나 전혀
대응하지못하고 있음
이미지 출처: 굿닥 앱
4) 당장 해결하라고 했더니 예약에 초기화까지-,-
42
Copyright 2023. 최병호 all rights reserved.
6/7
SystemFeedback?
▪ :
결론부터제공하자!
▪ :지금당장
갈수있는병원을제공해야
함.불가피하게예약
서비스를제공하려면
예약할수있는서비스부터
제공해야함
▪ :사용자가 입력한
데이터를함부로제거하지
마라.사용자를 기억하라.
이미지 출처: 굿닥 앱
5) 고통에 진료 종료와 휴진으로 대응하는구나-,-
43
Copyright 2023. 최병호 all rights reserved.
7/7
SystemFeedback?
▪ :그냥 목록만
제공하지말고,사용자관점에서
실효성있는목록을제공해야
한다.
이미지 출처: 굿닥 앱
이미지 출처: 마이크로소프트
경청해 주셔서 고맙습니다!!
서체 출처: 나눔체(네이버), 서울남산체(서울시), G마켓산스(주식회사 지마켓), 에스코어드림(에스코어 주식회사), 한겨레결체(한겨레신문사)

현재 출시된 생성형 AI 모델 기반 서비스 UX 쪼개기

  • 1.
  • 2.
    강의 미션 학습 목차 1 Copyright2023. 최병호 all rights reserved.
  • 4.
    1) OpenAI ChatGPTAPI + Upstage OCR? 3 Copyright 2023. 최병호 all rights reserved. 1/29 이미지 출처: Upstage, AskUp https://en.upstage.ai/askup/
  • 5.
    1) 휴대폰 환경에서문제 해결 수준을 확인하자! 4 Copyright 2023. 최병호 all rights reserved. 2/29 헬리콥터맘(Helicopterparent)A는초등학생4학년아 이에게수학,영어,국어를전담하여가르치고있다. 수학은오답노트로,영어는독후감지도,국어는자 유주제글쓰기컨설팅서비스로접근하고있으나 여전히만족하지못하고있다.AskUp으로해결할수 있을까?수학은오답노트문제풀이와비슷한유형 의문제생성,영어와국어는문법지도와글쓰기예 시생성을희망한다.과연가능할까?
  • 6.
  • 7.
    1) 수학 문제를찍어서 업로드 했더니?(1/3) 6 Copyright 2023. 최병호 all rights reserved. 3/29 SystemFeedback? ▪ :“이미지에서55 글자를읽었습니다.”는OCR 프로그램이제대로동작하고 있다라는메시지.그러나사용자가 원하는것이정확한동작 여부일까요? "지금시각은오전 7시입니다.지금부터285분후의 시각은오전몇시 몇분인지 설명하시오.”로읽었습니다. ▪ :(띄어쓰기) “이미지 에서”→“이미지에서” 이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡
  • 8.
    1) 수학 문제를찍어서 업로드 했더니?(2/3) 7 Copyright 2023. 최병호 all rights reserved. 4/29 LLMUX Guidelines(1) ▪ :위지위그(WYSIWYGWhatYou See Is What You Get) 시즌2:OCR- WYSIWYG ▪ OCR목적은이미지에포함된 텍스트추출이목적이므로, 텍스트를포함한이미지를 업로드하면자동으로텍스트를 추출하여사용자에게보여준다. ▪ 수치정보처럼추상성이높은 정보방식으로모호성을양산하지 말아야한다. 이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡
  • 9.
    1) 수학 문제를찍어서 업로드 했더니?(3/3) 8 Copyright 2023. 최병호 all rights reserved. 5/29 LLMUX Guidelines(2-1) ▪ : 행동유도성(perceived affordance)시즌2:Flowing- affordance ▪ 텍스트 특성(수학문제)과 텍스트길이(짧음) 조건이입력되면, 사용자에게적합한솔루션(수학 문제답과 풀이)을제시한다. ▪ 텍스트 특성(수학문제)과 텍스트길이(짧음)조건에부합하지 않는‘요약’등을추천하지않는다. 이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡
  • 10.
    2) 수학 문제를풀어 달라고 했더니?(1/6) 9 Copyright 2023. 최병호 all rights reserved. 6/29 User-AIConversation? ▪ :맥락을무시한대화?화를 돋구는대화? 이미지+텍스트= 맥락 고려한 접근필요;사용자의귀중한시간을보호하고 지지하는철학필요 ▪ :“위에서업로드한 이미지”라고반드시입력해야하는가? 사용자에게정확한 입력을 요구하지 말아야한다. 이미지 출처: AskUP 카카오톡
  • 11.
    2) 수학 문제를풀어 달라고 했더니?(2/6) 10 Copyright 2023. 최병호 all rights reserved. 7/29 LLM UX Guidelines(3) ▪ :“Learningwithzero effort시즌2:Promptengineering&Promptde- engineering;AutoPrompting” ▪ 프롬프트를순차적인맥락(시간흐름)기반으로 판단해야한다(이미지→ 텍스트). ▪ 사용자가프롬프트를제대로입력하지못하여 동작이제대로되지않는다고생각한후에,공부를 시작한다면이것은 전형적인badUX의증거! 사용자가프롬프트를어떻게입력하든시스템은 사용자의의도와니즈를정확하게파악하여실행필요 ▪ 사용자의니즈를 해결하기위해서필요시sub- task를자체정의해서수행.단,윤리이슈 유발금지. 이미지 출처: AskUP 카카오톡
  • 12.
    11 Copyright 2023. 최병호all rights reserved. 8/29 User-AIConversation? ▪ :동작실패(수학 문제아니다?)화를돋구는대화? 황당한메시지(불분명?생각을 긍정적으로바꾸기?영화 추천해 줘?) Fact체크정확하게판단 필요+불필요한메시지 제거필요 이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡 2) 수학 문제를 풀어 달라고 했더니?(3/6)
  • 13.
    12 Copyright 2023. 최병호all rights reserved. 9/29 LLM UX Guidelines(4-1) ▪ : 마이동풍 (馬耳東風동풍이말의 귀를 그냥 스쳐 지나간다; 타인의 말에 주의를 기울이지 않고 무시한다) + 벽하고대화한다 TEDACTurnerror detection and correction ▪ 사용자에게답변을제시하기전에 맥락에부합한답변여부를자체 판별한다. ▪ 부적합한판별결과를받은답변은 시스템에서자동으로제거하고, 맥락에적합한답변을생성하여 사용자에게제시한다. 이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡 2) 수학 문제를 풀어 달라고 했더니?(4/6)
  • 14.
    13 Copyright 2023. 최병호all rights reserved. 10/29 LLMUX Guidelines(2-2) ▪ : 행동유도성(perceived affordance)시즌2:Flowing- affordance ▪ 텍스트특성(수학문제 답과 풀이)조건이입력되면,사용자에게 적합한솔루션(상세풀이,유사 문제출제등)을제시한다. ▪ 텍스트특성(수학문제 답과 풀이)조건에부합하지 않는 ‘생각을긍정적으로바꾸기’,‘영화 추천해줘’등을추천하지 않는다. 이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡 2) 수학 문제를 풀어 달라고 했더니?(5/6)
  • 15.
    14 Copyright 2023. 최병호all rights reserved. 11/29 LLMUX Guidelines(5) ▪ :두괄식(頭括式)& 미괄식(尾括式):TDTOTop-down and Top out ▪ 디지털미디어환경에서Z패턴이 아닌F패턴을적용한다. ▪ 두괄식으로사용자가원하는 답부터제공한다. ▪ 수학문제답➔ 수학문제➔ 수학문제풀이내용 순서로제시한다. ▪ 불필요한문장은제거한다; “죄송합니다.(중략) 풀어드리겠습니다.” 이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡 2) 수학 문제를 풀어 달라고 했더니?(6/6)
  • 16.
    3) 수학 문제를출제해 달라고 했더니?(1/2) 15 Copyright 2023. 최병호 all rights reserved. 12/29 Trust? ▪ :동작실패(오전과오후?) 맥락고려생성 필요 ▪ :화를 내면서동작도제대로못 하는프로그램을굳이 활용해야하는이유가무엇일까요?+ 정확한수학문제풀이 과정과답!+초개인화된오답노트서비스?! 이미지 출처: AskUP 카카오톡
  • 17.
    3) 수학 문제를출제해 달라고 했더니?(2/2) 16 Copyright 2023. 최병호 all rights reserved. 13/29 이미지 출처: AskUP 카카오톡 LLM UX Guidelines(4-2) ▪ : 이가란지(以假亂真가짜가진짜를 어지럽힌다) TEDACTurn error detection and correction ▪ 사용자에게문제를출제하기전에문제와정답의매칭비율을 자체판별한다. ▪  부적합한 판별 결과를 받은문제는시스템에서 자동으로제거하고, 매칭비율이정확한문제를생성하여사용자에게제시한다.
  • 18.
    4) 수학 문제하나 더 풀어보라고 했더니?(1/3) 17 Copyright 2023. 최병호 all rights reserved. 14/29 Trust? ▪ :동작실패(3, 5,8,2중 3,5,8만 인식)+답변 지체OCR프로그램인식률 강화필요+사용자가대기해야 하는시간이길어진다면 이에 대한설명을해야한다. ▪ :사용자가프롬프트 엔지니어링을열심히했지만, OCR에서실패?사용자가틀린 것도코치하면서해야하는가? 이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡
  • 19.
    4) 수학 문제하나 더 풀어보라고 했더니?(2/3) 18 Copyright 2023. 최병호 all rights reserved. 15/29 이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡 LLM UX Guidelines(4-3) ▪ : 이편개전(以偏概全일부만보고 전체를 판단한다)  TEDACTurnerror detection and correction ▪ OCR목적은이미지에포함된 텍스트추출이목적이므로,텍스트를 포함한이미지를업로드하면 자동으로텍스트를 추출한다. ▪ 텍스트추출후정확한인식률을 확인하는절차를 자동으로진행하여 사용자에게답변을 제시한다.
  • 20.
    4) 수학 문제하나 더 풀어보라고 했더니?(3/3) 19 Copyright 2023. 최병호 all rights reserved. 16/29 이미지 출처: Bing Chat LLM UX Guidelines(6) ▪ : 망매지갈(望梅止渴매실나무를보고 매실이 신맛이 나기 때문에 보기만 하여도 갈증이 멈출 거라고 상상한다) ▪ 시스템이답변을1초이내로 생성할수있는지판별한다. ▪ 1초이내에답변생성이가능하면 즉시제시하고,그렇지않으면 생성하는과정을 보여준다.
  • 21.
  • 22.
    1) 영어 독후감을찍어서 업로드 했다. 과연? 21 Copyright 2023. 최병호 all rights reserved. 17/29 이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡
  • 23.
    2) 교정을 하긴했는데-,-(1/4) 22 Copyright 2023. 최병호 all rights reserved. 18/29 User-AIConversation? ▪ :동작 성공(원문서식고려X,문법 교정)+동작실패(틀린영어 문법지적 X) ▪ :원본독후감에나오지 않는 내용으로변경해서교정?  내용변경은하지않아야 하며,영어 문법만교정해야 한다. 이미지 출처: AskUP 카카오톡 이미지 출처: 최병호, 2023
  • 24.
    2) 교정을 하긴했는데-,-(2/4) 23 Copyright 2023. 최병호 all rights reserved. 19/29 이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡 LLM UX Guidelines(4-4) ▪ : 마이동풍(馬耳東風동풍이말의 귀를 그냥 스쳐 지나간다; 타인의 말에 주의를 기울이지 않고 무시한다) +벽하고 대화한다 TEDACTurn error detection and correction ▪ 사용자의요구사항이답변에 모두포함되어있는지체크한다. ▪ 체크결과,포함되어있지 않으면포함하여답변을 생성한다.
  • 25.
    2) 교정을 하긴했는데-,-(3/4) 24 Copyright 2023. 최병호 all rights reserved. 20/29 영어 원문을 한글로 번역/이미지 출처: DeepL 영어 원문/이미지 출처: AskUP 카카오톡 Askup에서 교정한 영문을 한글로 번역/이미지 출처: DeepL
  • 26.
    2) 교정을 하긴했는데-,-(4/4) 25 Copyright 2023. 최병호 all rights reserved. 21/29 LLM UX Guidelines(7-1) ▪ ▪ 사용자의요구가잘못된문법 의수정인지,잘못된표현의 정정인지,새로운내용으로 창작하는지판별해야한다. ▪ 특별한요청을하지않았다면 잘못된문법의수정으로 진행하고,나머지옵션은 추천으로제공한다. 이미지 출처: AskUP 카카오톡 이미지 출처: 최병호, 2023
  • 27.
    3) 어떻게 교정했는지알고 싶었는데-,-(1/2) 26 Copyright 2023. 최병호 all rights reserved. 22/29 이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡 Trust? ▪ : 동작 실패(남탓? +교정내용?)+강제초기화?+ 무의미한반복행동유발? 무책임한서비스태도개선절실+ 사용자데이터와대화맥락연계 방안도입 필요 ▪ :UX마인드부재로,문제 책임을사용자에게모두전가 문제의총량대부분을시스템이 가져가야함
  • 28.
    3) 어떻게 교정했는지알고 싶었는데-,-(2/2) 27 Copyright 2023. 최병호 all rights reserved. 23/29 이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡 LLM UX Guidelines(7-2) ▪ ▪ 시스템 이슈로사용자의데이터를 무단으로삭제해서는안 된다. ▪ 시스템 이슈로동일한행동을 하도록사용자에게강요해서는안 된다. ▪ 시스템 이슈가있다고하더라도 사용자는기존태스크를연속해서 진행하도록서비스를제공해야 한다.
  • 29.
    4) 독후감 알아보기힘들어 한글 번역-,-(1/2) 28 Copyright 2023. 최병호 all rights reserved. 24/29 Trust? ▪ :동작 실패(한글번역실패?)+ 갑자기 코멘트를?(번역과 코멘트를구별해야지?) 이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡
  • 30.
    4) 독후감 알아보기힘들어 한글 번역-,-(2/2) 29 Copyright 2023. 최병호 all rights reserved. 25/29 영어 원문을 한글로 번역/이미지 출처: AskUP 카카오톡 영어 원문을 한글로 번역/이미지 출처: DeepL 영어 원문/이미지 출처: AskUP 카카오톡
  • 31.
    5) 영어 문법교정이라도… 30 Copyright 2023. 최병호 all rights reserved. 26/29 이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡 Trust? ▪ :너무힘든과정을 여러번반복해서겨우겨우영어 문법교정을받았다? ▪ :영어 문법교정이라는목적을 달성하기위해서툴자체에엄청난 투자를해야한다면,이것은 정상인가?
  • 32.
    6) 앞에 있던대화 내용을 활용하려 했는데-,- 31 Copyright 2023. 최병호 all rights reserved. 27/29 이미지 출처: AskUP 카카오톡 User-AIConversation? ▪ :카카오톡에서늘활용하던‘답변‘기능부재로,기존 대화내용과연계한접근불가능? ▪ :카카오톡에서익숙한사용자습관배려필요
  • 33.
  • 34.
    1) 비나이다 비나이다글쓰기를 잘하게 하소서! 33 Copyright 2023. 최병호 all rights reserved. 28/29 이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡
  • 35.
    2) 교정 품질은어떨까?-,- 34 Copyright 2023. 최병호 all rights reserved. 29/29 이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡 UX 품질? ▪ :오타교정,단어대체, 띄어쓰기수정,접속사추가; 능동형을피동형으로? 불필요한복수? ▪ :사족제거 실패,불필요한반복으로글의 생동감저하 ▪ :작가의도 왜곡:Why를How로?, Teaching을Solving으로?, Me을Our로? ▪ :부정확하고어색한 표현 메시지훼손 불필요한반복 표현력이슈 맞춤법 이슈
  • 36.
  • 38.
    1) 건강/시술의 모든궁금증 알려준다? 정말? 37 Copyright 2023. 최병호 all rights reserved. 1/7 이미지 출처: 굿닥 앱 서비스안내? ▪ :건강과시술 관련한 모든궁금증을 알려주겠다면서의학적 판단은아니다?건강과 시술관련한모든궁금증은 개인정보와관련이 없다? ‘건강과시술관련한모든 궁금증을알려주겠다’는 메시지는거짓말, 개인정보를입력해도 비식별처리필요
  • 39.
    1) 휴대폰 환경에서문제 해결 수준을 확인하자! 38 Copyright 2023. 최병호 all rights reserved. 2/7 50대아저씨B는며칠전부터이가아프기시작 했다.예전에도그러다가사그라졌기때문에이 번에도조금만참으면그렇게지나갈거로생각 했다.그런데저녁부터참기힘들정도로고통이 엄습하더니급기야아무것도할수없었다.굿닥 건강AI챗봇이이문제를해결할수있을까?
  • 40.
    1) 고통 공감없이 더 고통스럽게 한다? 39 Copyright 2023. 최병호 all rights reserved. 3/7 SystemFeedback? ▪ :환자의고통호소에어떤공감도없이다시고통을 호소하라는답변은직무유기 사용자의메시지는기억해야하고, 사용자에게는이미사용자의메시지를숙지하고있으며,곧답변을 드리겠다고안내해야함 이미지 출처: 굿닥 앱
  • 41.
    2) 고통에 최저가답변이라-,- 40 Copyright 2023. 최병호 all rights reserved. 4/7 SystemFeedback? ▪ :모바일 환경에서는짧은답변이 필수.두괄식전개필요 검색결과방식이아니라 대화방식추구필요 ▪ : 고통맥락과무관한최저가 안내는최악의서비스 고통해결할수있는솔루션 제시필요 이미지 출처: 굿닥 앱
  • 42.
    3) 이제 말귀도못 알아듣는다? 벽이랑 대화하냐-,- 41 Copyright 2023. 최병호 all rights reserved. 5/7 SystemFeedback? ▪ :환자의 메시지를이해하지 못함; 환자는당장해결할수있는 솔루션을요구하나 전혀 대응하지못하고 있음 이미지 출처: 굿닥 앱
  • 43.
    4) 당장 해결하라고했더니 예약에 초기화까지-,- 42 Copyright 2023. 최병호 all rights reserved. 6/7 SystemFeedback? ▪ : 결론부터제공하자! ▪ :지금당장 갈수있는병원을제공해야 함.불가피하게예약 서비스를제공하려면 예약할수있는서비스부터 제공해야함 ▪ :사용자가 입력한 데이터를함부로제거하지 마라.사용자를 기억하라. 이미지 출처: 굿닥 앱
  • 44.
    5) 고통에 진료종료와 휴진으로 대응하는구나-,- 43 Copyright 2023. 최병호 all rights reserved. 7/7 SystemFeedback? ▪ :그냥 목록만 제공하지말고,사용자관점에서 실효성있는목록을제공해야 한다. 이미지 출처: 굿닥 앱
  • 45.
  • 46.
    경청해 주셔서 고맙습니다!! 서체출처: 나눔체(네이버), 서울남산체(서울시), G마켓산스(주식회사 지마켓), 에스코어드림(에스코어 주식회사), 한겨레결체(한겨레신문사)