Redone seminar on Korean speech act

1. Human Interface Laboratory
한국어 로봇 음성 대화 화행 및 의도 파악
2021. 02. 22
조원익

2. Contents
• 화행과 의도
• 로봇 음성대화에서의 의도 파악
• 음성 의도 파악의 활용 방법
• Summary
1

3. 연사 소개
• 조원익
 B.S. in EE/Mathematics (SNU, ’10~’14)
 Ph.D. student (SNU INMC, ‘14~)
• Academic background
 Interested in mathematics >> EE!
 Early years in Speech processing lab
• Source separation
• Voice activity & endpoint detection
• Automatic music composition
 Currently studying computational ling.
• Mainly on corpus/resource
• Some spoken language understanding
2
https://github.com/warnikchow

4. 화행과 의도
• Speech act
 “…almost any speech act is really the performance of several acts at once,
distinguished by different aspects of the speaker's intention: there is the
act of saying something, what one does in saying it, such as requesting or
promising, and how one is trying to affect one's audience…” (Wiki)
 “…A speech act is an intentional action that has as parameters a speaker
(i.e., the agent), a hearer, and a propositional content, and whose
execution leads to the production of an utterance…”
3
“The speech acts at the other level
are defined by intentions of the
speaker and correspond to the
illocutionary acts”
Allen and Perrault (1980)

5. 화행과 의도
• Searle
 대언 행위 Representatives: 화자의 믿음을 전달하고 진리치를 갖는 명제를
표현. 결론, 보고, 진술 등을 포함
 지시 행위 Directives: 화자가 청자로 하여금 어떤 일을 하도록 의도하는 행위
로, 충고, 명령, 질문, 금지 등을 포함
 위임 행위 Commissives: 화자 스스로 어떤 일을 하겠다고 다짐하는 것으로,
제안, 맹세, 약속, 거부 등을 포함
 표출 행위 Expressives: 화자의 심리적인 태도나 상태를 표현하는 것으로, 비
난, 축하, 감사, 찬양 등을 포함
 선언 행위 Declaration: 일종의 제도화된 수행문(institutionalized
performatives)으로, 입찰, 선전포고, 제명, 임명 등을 포함
4

6. 화행과 의도
• 일반적으로 문장 형식이 위의 행위를 결정하는 경우 직접화행 (direct
speech act) 이라 하지만, 그렇지 않은 경우 (indirect speech act) 도 있
다
 직접 화행
• 평서문 – 단언, 진술
• 의문문 – 질문
• 명령문 – 명령, 청유
 문자적 힘 가설?
• 화행에 따라 특정 문장 형식이 결정된다?
• 화행과 문장 형식은 다르다! – 공손성의 문제? (politeness)
 전화 좀 부탁해 내일 아침에 잊지마 여덟시야
 내일 아침 여덟시에 나 좀 전화로 깨워주라
 나 내일 아침 여덟시쯤 모닝콜 해줄 수 있어?
5

7. 로봇 음성대화에서의 의도 파악
• 단발성 발화의 화행도 ‘대화 화행’으로 볼 수 있을까?
 대화란 뭘까?
• Conversation between two or more people?
 People이어야 하는가?
• 인공지능 스피커와의…?
 지속되는 Conversation이어야 하는가?
• 첫 마디라면? 한 마디로 끝난다면…?
 Two or more이어야 하는가?
• Monologue의 해석
6

8. 로봇 음성대화에서의 의도 파악
• Intention vs. Intent
 Engineering 측면에서는 오른쪽의 활용이 더 많다
7

9. 로봇 음성대화에서의 의도 파악
• Intention과 Intent의 미묘한 차이
 Intent understanding and slot-filling
• More used in a domain-specific tasks
– e.g.) Liu and Lane, 2016
8

10. 로봇 음성대화에서의 의도 파악
• Intention과 Intent의 미묘한 차이
 Intention understanding – more related to sentence semantics
• e.g.) Speech intention understanding (in Gu et al., 2017)
9

11. 로봇 음성대화에서의 의도 파악
• Intention understanding – how?
 At a glance: by sentence types
• The way many systems for Korean are still built in (and many people use!)
• -하다 declarative
• -하니 interrogative
• -해(줘)라 imperative
10

12. 로봇 음성대화에서의 의도 파악
• Intention understanding – how?
 What is KEY in understanding sentence forms?
• Discourse component (Sadock and Zwicky, 1985; Portner, 2004)
11

13. 로봇 음성대화에서의 의도 파악
• Intonation-dependent utterances
 How to figure out if the utterances is intonation-dependent?
12
천천히 가고 있어! (utterance)
천천 히 가 고 있 어 (transcript)
question
statement
command
?

14. 로봇 음성대화에서의 의도 파악
• 음성이 필요 없는 경우와 필요한 경우를 구별한다면?
13
Cho and Kim (2019)
일번부터 오번까지는 듣기 평가입니다
뭐가 잘못됐는지 모르겠냐
창문에 있는 먼지 좀 닦아 주지 않겠니
일번부터 오번까지 풀어야 돼
뭐가 잘못됐는지 모르겠어
창문에 먼지 묻었어

15. 로봇 음성대화에서의 의도 파악
• Intention understanding – how?
 Our approach (for Korean) (English version is under journal review)
14
단일 문장인가?
Intonation 정보로
결정 가능한가?
Question set이 있고
청자의 답을 필요로 하는가?
Effective한 To-do list가
청자에게 부여되는가?
No
Yes
No
Yes
요구 (Commands)
수사명령문 (RC)
Full clause를
포함하는가?
No
No
Compound sentence: 힘이 강한 화행에 중점
(서로 다른 문장도 같은 토픽일 때 한 문장으로 간주)
Fragments (FR)
질문 (Questions)
No
Context-dependent (CD)
Yes
Yes
Yes
Intonation 정보가
필요한가?
Yes
Intonation-dependent (ID)
No Questions /
Embedded form
Requirements /
Prohibitions
수사의문문 (RQ)
Target: single sentence
without context
nor punctuation
Otherwise
서술 (Statements)

16. 음성 의도 파악의 활용 방법
• Fragments
 Single or compound noun
• ex) 페이스북, 국어사전, 발효 음식
• Utilized if the topic is relevant to the user
 Single noun phrase (possibly with drops of josa)
• ex) 상쾌한 아침, 청담동 가게
• Ones that be meaningful as greeting, but not for question/command
 Phrases without specific intention
• ex) 우리나라도, 무료로 열리는
 Unfinished sentences
• Mostly under 2 eojeols were counted
• Ones with underspecified sentence enders that might have a clear intention
were considered NOT as fragments
– 우리회사 저번 회식일이 언제인데
– 너희 은행 강도 들었다며
15

17. 음성 의도 파악의 활용 방법
• Questions
 Assume sentences with non-rhetorical QS
 Basic concepts include yes/no question, the ones with wh- particles, and
the embedded form within structure of declaratives
• 이후 audio 처리를 하게 된다면 yes/no 및 wh-question으로 나뉠 수 있음
• Alternative questions도 있으나 그 portion이 크지 않음
– ex) 왼쪽으로 갈까 오른쪽으로 갈까
• ex) 수술 후유증으로 입원하셨던 거 잘 치료 되셨나요, 어떤 종류의 카메라를 샀는
데요, 이 편지는 저한테 온 건가요, 경부 고속도로 지체구간은 어디지
16

18. 음성 의도 파악의 활용 방법
• Commands
 Assume sentences with non-rhetorical TDL
 Include orders (-해라, -해줘), requests (-해줄래), exhortatives (-하자, -해보
자)
• ‘너가 공부해야 된다고 생각해’, 혹은 ‘너보고 공부하라고 했다’처럼 화자가 청자에
게 직접적으로 의무를 부여할 경우?
• ‘엄마가 너보고 공부하라고 했다’처럼 agent와 청자의 권력관계가 파악될 수 있는
경우?
 Requests that are relevant to questions were classified as commands
• ex) 세탁기 잘 돌아가는지 알려줘
 Negative commands (prohibitions) are also taken into account
 Exhortatives which are relevant to statements were not considered as
commands
• ex) 나도 일등 좀 해보자
17

19. 음성 의도 파악의 활용 방법
• Commands (cont’d)
 Imperatives in conditional conjunction are included regarding the content
• ex) 당장 그 손을 떼지 않으면 죽음을 면치 못할 것이다
• 조건절을 수반한 명령문 (Conditionalized imperatives) 의 경우, 조건절이 To-do-
list를 무효화시키는 경우 (‘쏠 테면 쏴봐’ = ‘넌 날 쏘지 못할 것이다’) 가 아닌 경우
(‘두시 되면 나 좀 깨워줘’ 등) 를 요구에 포함.
– 이 경우, permission으로 해석될 여지가 있음. 예컨대, ‘피곤하면 집에 가’
– permission으로 해석되는 경우는 rhetorical command에 분류
 Fragment의 형태이나 통상적으로 명령으로 쓰일 수 있는 것들도 포함
• ex) 확인하시고 공구 할인에 즉시 참가해 보세요, 좀 조용히 좀 하지 전화하는데,
오늘 온 메일 모두 지워줄 수 있니, 엘루이 호텔 특실 예약 부탁해, 입출금이 자유
로운 통장도 하나 있으면 좋아, 다음 신호등 받고 유턴
 질문의 의도를 가지지만 명령문인 것 (~알려줘, 찾아줘, 검색해줘, 말해줘 등)
은 질문에 포함
18

20. 음성 의도 파악의 활용 방법
• Rhetorical questions
 Sentences representing the user’s point (astonishment, refusal,
disappointment, etc.) by suggesting a QS that does not require an answer
• 놀람, 화남, 질책 등을 주로 표현함
• ex) 하루가 멀다 하고 왜 이러니, 뭐 하다가 이제야 연락하니
 Possibly including tag questions
• ex) 정말 아름답지 그렇지 않니
 Considered to be semantically similar to statements
 애매한 부분들
• -겠지: 스스로 확신이 있는 종류의 자문 (RQ)
• -다며/-겠죠: 상대에게 확인을 구함 (Q)
• -지요/-건데: 자문보다 서술/계획에 가까움 (S)
19

21. 음성 의도 파악의 활용 방법
• Rhetorical commands
 Sentences with idiomatic expressions such as wish or regret, including the
ones that draw attention or show exclamation, by suggesting a non-
mandatory TDL
• ex) 더운데 건강 조심하세요, 그러던지 말던지 네 마음대로 해, 내 정신 좀 봐
 Considered to be semantically similar to statements
 예의상 하는 말과 요구의 경계가 애매한 경우가 있음
• 명백히 무엇을 조심할지, 언제 만날지 나와 있는 경우 요구로 판단
• ex) 빙판길 조심하세요, 있다가 여섯 시에 뵙겠습니다
20

22. 음성 의도 파악의 활용 방법
• Statements
 질문, 요구의 의도가 없고,
 수사의문/수사명령이 아니며,
 Intonation에 좌우되지 않고,
 Fragment이거나 ambiguous하지 않은 문장들
• 상당히 많은 부분을 차지
• Compound sentence에서 질문/요구 등과 함께 올 경우 force를 갖지 않는 것으로
처리 (둘 중 어떤 것과 같이 오는지, 어떤 순서로 오는지에 따라 의미 차이가 생김)
– ex) 너무 추운데 문좀 열어줘
21

23. 음성 의도 파악의 활용 방법
• Intonation-dependent utterances
 Underspecified sentence enders
• -어, -지, -대, -해, -라고, -다며, etc.
• Sentence type is determined based upon the sentence-final intonations that are
assigned considering the speech act
 Conversation maxim (Levinson, 2000)
• 정보성-원리 Informativeness-principle (단순화 버전)
– 화자: 필요한 것 이상으로 말하지 말라.
» Do not say more than is required (bearing the Q-principle in mind)
– 청자: 화자가 일반적으로 말한 것은 전형적으로 그리고 특칭적으로 해석하라.
» What is generally said is stereotypically and specifically exemplified.
 Wh-intervention
• 뭐 먹고 싶어
– What or something?
22

24. 음성 의도 파악의 활용 방법
• FCI module as a text classifier
23

25. 음성 의도 파악의 활용 방법
24
• 음성 발화 (spoken language) 를 어떤 화행으로 분류하고 싶다면?
 화행의 분류: {S}
 음성이 필요한 경우 {id}를 추가 {S} + {id}
 전체 음성 S에서 음성이 필요없는 경우 S’를 골라낸 후
{S}의 기준으로 화행 분류
• 기존에 비해 모호성 감소
 S – S’는 어떻게? {id}
• NLU to SLU?

26. 음성 의도 파악의 활용 방법
• As a real-time intention identifier of the utterances
• As a corpus auto-labeler (semi-supervised learning?)
• As a new annotating scheme
25

27. Summary
• ‘의도 파악’ task라고 할 때, 문제의 정의가 중요
• 로봇 음성 대화에서 ‘음성’ 자체도 의도 파악에 중요할 수 있음
• 의도 파악을 한 후 무엇을 할지가 중요함
• 의도 파악은 실제 동작뿐 아니라 동작을 할지 결정하는 과정에서도 중요
할 수 있음
26

28. Thank you!
End_of_presentation