4. 1) OpenAI ChatGPT API + Upstage OCR?
3
Copyright 2023. 최병호 all rights reserved.
1/29
이미지 출처: Upstage, AskUp https://en.upstage.ai/askup/
5. 1) 휴대폰 환경에서 문제 해결 수준을 확인하자!
4
Copyright 2023. 최병호 all rights reserved.
2/29
헬리콥터맘(Helicopterparent)A는초등학생4학년아
이에게수학,영어,국어를전담하여가르치고있다.
수학은오답노트로,영어는독후감지도,국어는자
유주제글쓰기컨설팅서비스로접근하고있으나
여전히만족하지못하고있다.AskUp으로해결할수
있을까?수학은오답노트문제풀이와비슷한유형
의문제생성,영어와국어는문법지도와글쓰기예
시생성을희망한다.과연가능할까?
7. 1) 수학 문제를 찍어서 업로드 했더니?(1/3)
6
Copyright 2023. 최병호 all rights reserved.
3/29
SystemFeedback?
▪ :“이미지에서55
글자를읽었습니다.”는OCR
프로그램이제대로동작하고
있다라는메시지.그러나사용자가
원하는것이정확한동작
여부일까요? "지금시각은오전
7시입니다.지금부터285분후의
시각은오전몇시 몇분인지
설명하시오.”로읽었습니다.
▪ :(띄어쓰기) “이미지
에서”→“이미지에서”
이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡
8. 1) 수학 문제를 찍어서 업로드 했더니?(2/3)
7
Copyright 2023. 최병호 all rights reserved.
4/29
LLMUX Guidelines(1)
▪
:위지위그(WYSIWYGWhatYou
See Is What You Get) 시즌2:OCR-
WYSIWYG
▪ OCR목적은이미지에포함된
텍스트추출이목적이므로,
텍스트를포함한이미지를
업로드하면자동으로텍스트를
추출하여사용자에게보여준다.
▪ 수치정보처럼추상성이높은
정보방식으로모호성을양산하지
말아야한다.
이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡
9. 1) 수학 문제를 찍어서 업로드 했더니?(3/3)
8
Copyright 2023. 최병호 all rights reserved.
5/29
LLMUX Guidelines(2-1)
▪ :
행동유도성(perceived
affordance)시즌2:Flowing-
affordance
▪ 텍스트 특성(수학문제)과
텍스트길이(짧음) 조건이입력되면,
사용자에게적합한솔루션(수학
문제답과 풀이)을제시한다.
▪ 텍스트 특성(수학문제)과
텍스트길이(짧음)조건에부합하지
않는‘요약’등을추천하지않는다.
이미지 출처: 최병호, 2023 이미지 출처: AskUP 카카오톡
10. 2) 수학 문제를 풀어 달라고 했더니?(1/6)
9
Copyright 2023. 최병호 all rights reserved.
6/29
User-AIConversation?
▪ :맥락을무시한대화?화를
돋구는대화? 이미지+텍스트= 맥락 고려한
접근필요;사용자의귀중한시간을보호하고
지지하는철학필요
▪ :“위에서업로드한
이미지”라고반드시입력해야하는가?
사용자에게정확한 입력을 요구하지 말아야한다.
이미지 출처: AskUP 카카오톡
11. 2) 수학 문제를 풀어 달라고 했더니?(2/6)
10
Copyright 2023. 최병호 all rights reserved.
7/29
LLM UX Guidelines(3)
▪ :“Learningwithzero
effort시즌2:Promptengineering&Promptde-
engineering;AutoPrompting”
▪ 프롬프트를순차적인맥락(시간흐름)기반으로
판단해야한다(이미지→ 텍스트).
▪ 사용자가프롬프트를제대로입력하지못하여
동작이제대로되지않는다고생각한후에,공부를
시작한다면이것은 전형적인badUX의증거!
사용자가프롬프트를어떻게입력하든시스템은
사용자의의도와니즈를정확하게파악하여실행필요
▪ 사용자의니즈를 해결하기위해서필요시sub-
task를자체정의해서수행.단,윤리이슈 유발금지.
이미지 출처: AskUP 카카오톡
12. 11
Copyright 2023. 최병호 all rights reserved.
8/29
User-AIConversation?
▪ :동작실패(수학
문제아니다?)화를돋구는대화?
황당한메시지(불분명?생각을
긍정적으로바꾸기?영화 추천해
줘?) Fact체크정확하게판단
필요+불필요한메시지 제거필요
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
2) 수학 문제를 풀어 달라고 했더니?(3/6)
13. 12
Copyright 2023. 최병호 all rights reserved.
9/29
LLM UX Guidelines(4-1)
▪
: 마이동풍
(馬耳東風동풍이말의 귀를 그냥 스쳐 지나간다;
타인의 말에 주의를 기울이지 않고 무시한다) +
벽하고대화한다 TEDACTurnerror
detection and correction
▪ 사용자에게답변을제시하기전에
맥락에부합한답변여부를자체
판별한다.
▪ 부적합한판별결과를받은답변은
시스템에서자동으로제거하고,
맥락에적합한답변을생성하여
사용자에게제시한다.
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
2) 수학 문제를 풀어 달라고 했더니?(4/6)
14. 13
Copyright 2023. 최병호 all rights reserved.
10/29
LLMUX Guidelines(2-2)
▪ :
행동유도성(perceived
affordance)시즌2:Flowing-
affordance
▪ 텍스트특성(수학문제 답과
풀이)조건이입력되면,사용자에게
적합한솔루션(상세풀이,유사
문제출제등)을제시한다.
▪ 텍스트특성(수학문제 답과
풀이)조건에부합하지 않는
‘생각을긍정적으로바꾸기’,‘영화
추천해줘’등을추천하지 않는다.
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
2) 수학 문제를 풀어 달라고 했더니?(5/6)
15. 14
Copyright 2023. 최병호 all rights reserved.
11/29
LLMUX Guidelines(5)
▪ :두괄식(頭括式)&
미괄식(尾括式):TDTOTop-down and
Top out
▪ 디지털미디어환경에서Z패턴이
아닌F패턴을적용한다.
▪ 두괄식으로사용자가원하는
답부터제공한다.
▪ 수학문제답➔ 수학문제➔
수학문제풀이내용 순서로제시한다.
▪ 불필요한문장은제거한다;
“죄송합니다.(중략)
풀어드리겠습니다.”
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
2) 수학 문제를 풀어 달라고 했더니?(6/6)
16. 3) 수학 문제를 출제해 달라고 했더니?(1/2)
15
Copyright 2023. 최병호 all rights reserved.
12/29
Trust?
▪ :동작실패(오전과오후?) 맥락고려생성
필요
▪ :화를 내면서동작도제대로못 하는프로그램을굳이
활용해야하는이유가무엇일까요?+ 정확한수학문제풀이
과정과답!+초개인화된오답노트서비스?!
이미지 출처: AskUP 카카오톡
17. 3) 수학 문제를 출제해 달라고 했더니?(2/2)
16
Copyright 2023. 최병호 all rights reserved.
13/29
이미지 출처: AskUP 카카오톡
LLM UX Guidelines(4-2)
▪ :
이가란지(以假亂真가짜가진짜를 어지럽힌다) TEDACTurn error detection and
correction
▪ 사용자에게문제를출제하기전에문제와정답의매칭비율을
자체판별한다.
▪ 부적합한 판별 결과를 받은문제는시스템에서 자동으로제거하고,
매칭비율이정확한문제를생성하여사용자에게제시한다.
18. 4) 수학 문제 하나 더 풀어보라고 했더니?(1/3)
17
Copyright 2023. 최병호 all rights reserved.
14/29
Trust?
▪ :동작실패(3,
5,8,2중 3,5,8만 인식)+답변
지체OCR프로그램인식률
강화필요+사용자가대기해야
하는시간이길어진다면 이에
대한설명을해야한다.
▪ :사용자가프롬프트
엔지니어링을열심히했지만,
OCR에서실패?사용자가틀린
것도코치하면서해야하는가?
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
19. 4) 수학 문제 하나 더 풀어보라고 했더니?(2/3)
18
Copyright 2023. 최병호 all rights reserved.
15/29
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
LLM UX Guidelines(4-3)
▪
:
이편개전(以偏概全일부만보고 전체를
판단한다) TEDACTurnerror detection and
correction
▪ OCR목적은이미지에포함된
텍스트추출이목적이므로,텍스트를
포함한이미지를업로드하면
자동으로텍스트를 추출한다.
▪ 텍스트추출후정확한인식률을
확인하는절차를 자동으로진행하여
사용자에게답변을 제시한다.
20. 4) 수학 문제 하나 더 풀어보라고 했더니?(3/3)
19
Copyright 2023. 최병호 all rights reserved.
16/29
이미지 출처: Bing Chat
LLM UX Guidelines(6)
▪ :
망매지갈(望梅止渴매실나무를보고 매실이
신맛이 나기 때문에 보기만 하여도 갈증이 멈출 거라고
상상한다)
▪ 시스템이답변을1초이내로
생성할수있는지판별한다.
▪ 1초이내에답변생성이가능하면
즉시제시하고,그렇지않으면
생성하는과정을 보여준다.
22. 1) 영어 독후감을 찍어서 업로드 했다. 과연?
21
Copyright 2023. 최병호 all rights reserved.
17/29
이미지 출처: 최병호, 2023
이미지 출처: AskUP 카카오톡
23. 2) 교정을 하긴 했는데-,-(1/4)
22
Copyright 2023. 최병호 all rights reserved.
18/29
User-AIConversation?
▪ :동작
성공(원문서식고려X,문법
교정)+동작실패(틀린영어
문법지적 X)
▪ :원본독후감에나오지
않는 내용으로변경해서교정?
내용변경은하지않아야
하며,영어 문법만교정해야
한다.
이미지 출처: AskUP 카카오톡
이미지 출처: 최병호, 2023
24. 2) 교정을 하긴 했는데-,-(2/4)
23
Copyright 2023. 최병호 all rights reserved.
19/29
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
LLM UX Guidelines(4-4)
▪
:
마이동풍(馬耳東風동풍이말의 귀를
그냥 스쳐 지나간다; 타인의 말에 주의를
기울이지 않고 무시한다) +벽하고
대화한다 TEDACTurn error
detection and correction
▪ 사용자의요구사항이답변에
모두포함되어있는지체크한다.
▪ 체크결과,포함되어있지
않으면포함하여답변을
생성한다.
25. 2) 교정을 하긴 했는데-,-(3/4)
24
Copyright 2023. 최병호 all rights reserved.
20/29
영어 원문을 한글로 번역/이미지 출처: DeepL
영어 원문/이미지 출처: AskUP 카카오톡 Askup에서 교정한 영문을 한글로 번역/이미지 출처: DeepL
26. 2) 교정을 하긴 했는데-,-(4/4)
25
Copyright 2023. 최병호 all rights reserved.
21/29
LLM UX Guidelines(7-1)
▪
▪ 사용자의요구가잘못된문법
의수정인지,잘못된표현의
정정인지,새로운내용으로
창작하는지판별해야한다.
▪ 특별한요청을하지않았다면
잘못된문법의수정으로
진행하고,나머지옵션은
추천으로제공한다.
이미지 출처: AskUP 카카오톡
이미지 출처: 최병호, 2023
27. 3) 어떻게 교정했는지 알고 싶었는데-,-(1/2)
26
Copyright 2023. 최병호 all rights reserved.
22/29
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
Trust?
▪ : 동작 실패(남탓?
+교정내용?)+강제초기화?+
무의미한반복행동유발?
무책임한서비스태도개선절실+
사용자데이터와대화맥락연계
방안도입 필요
▪ :UX마인드부재로,문제
책임을사용자에게모두전가
문제의총량대부분을시스템이
가져가야함
28. 3) 어떻게 교정했는지 알고 싶었는데-,-(2/2)
27
Copyright 2023. 최병호 all rights reserved.
23/29
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
LLM UX Guidelines(7-2)
▪
▪ 시스템 이슈로사용자의데이터를
무단으로삭제해서는안 된다.
▪ 시스템 이슈로동일한행동을
하도록사용자에게강요해서는안
된다.
▪ 시스템 이슈가있다고하더라도
사용자는기존태스크를연속해서
진행하도록서비스를제공해야 한다.
29. 4) 독후감 알아보기 힘들어 한글 번역-,-(1/2)
28
Copyright 2023. 최병호 all rights reserved.
24/29
Trust?
▪ :동작
실패(한글번역실패?)+
갑자기 코멘트를?(번역과
코멘트를구별해야지?)
이미지 출처: AskUP 카카오톡
이미지 출처: AskUP 카카오톡
30. 4) 독후감 알아보기 힘들어 한글 번역-,-(2/2)
29
Copyright 2023. 최병호 all rights reserved.
25/29
영어 원문을 한글로 번역/이미지 출처: AskUP 카카오톡
영어 원문을 한글로 번역/이미지 출처: DeepL
영어 원문/이미지 출처: AskUP 카카오톡
31. 5) 영어 문법 교정이라도…
30
Copyright 2023. 최병호 all rights reserved.
26/29
이미지 출처: AskUP 카카오톡 이미지 출처: AskUP 카카오톡
Trust?
▪ :너무힘든과정을
여러번반복해서겨우겨우영어
문법교정을받았다?
▪ :영어 문법교정이라는목적을
달성하기위해서툴자체에엄청난
투자를해야한다면,이것은
정상인가?
32. 6) 앞에 있던 대화 내용을 활용하려 했는데-,-
31
Copyright 2023. 최병호 all rights reserved.
27/29
이미지 출처: AskUP 카카오톡
User-AIConversation?
▪ :카카오톡에서늘활용하던‘답변‘기능부재로,기존
대화내용과연계한접근불가능?
▪ :카카오톡에서익숙한사용자습관배려필요
38. 1) 건강/시술의 모든 궁금증 알려준다? 정말?
37
Copyright 2023. 최병호 all rights reserved.
1/7
이미지 출처: 굿닥 앱
서비스안내?
▪ :건강과시술 관련한
모든궁금증을
알려주겠다면서의학적
판단은아니다?건강과
시술관련한모든궁금증은
개인정보와관련이 없다?
‘건강과시술관련한모든
궁금증을알려주겠다’는
메시지는거짓말,
개인정보를입력해도
비식별처리필요
39. 1) 휴대폰 환경에서 문제 해결 수준을 확인하자!
38
Copyright 2023. 최병호 all rights reserved.
2/7
50대아저씨B는며칠전부터이가아프기시작
했다.예전에도그러다가사그라졌기때문에이
번에도조금만참으면그렇게지나갈거로생각
했다.그런데저녁부터참기힘들정도로고통이
엄습하더니급기야아무것도할수없었다.굿닥
건강AI챗봇이이문제를해결할수있을까?
40. 1) 고통 공감 없이 더 고통스럽게 한다?
39
Copyright 2023. 최병호 all rights reserved.
3/7
SystemFeedback?
▪ :환자의고통호소에어떤공감도없이다시고통을
호소하라는답변은직무유기 사용자의메시지는기억해야하고,
사용자에게는이미사용자의메시지를숙지하고있으며,곧답변을
드리겠다고안내해야함
이미지 출처: 굿닥 앱
41. 2) 고통에 최저가 답변이라-,-
40
Copyright 2023. 최병호 all rights reserved.
4/7
SystemFeedback?
▪ :모바일
환경에서는짧은답변이
필수.두괄식전개필요
검색결과방식이아니라
대화방식추구필요
▪ :
고통맥락과무관한최저가
안내는최악의서비스
고통해결할수있는솔루션
제시필요
이미지 출처: 굿닥 앱
42. 3) 이제 말귀도 못 알아듣는다? 벽이랑 대화하냐-,-
41
Copyright 2023. 최병호 all rights reserved.
5/7
SystemFeedback?
▪ :환자의
메시지를이해하지 못함;
환자는당장해결할수있는
솔루션을요구하나 전혀
대응하지못하고 있음
이미지 출처: 굿닥 앱