SlideShare a Scribd company logo
1 of 12
Download to read offline
Eliciting Conversation in
Robot Vehicle Interactions
+ Proceedings of the
Association for the
Advancement of Artificial
Intelligence. 2016
- David Sirkin, Kerstin
Fischer, Lars Jesen, Wendy Ju
/안아주
x 2017 Spring
Authors
Human-Robot Interaction 관련 연구.
요즘 특히 Vehicle 분야 다양한 인터랙션 연구를 활발하게 진행.
2
Why This Paper
인간과 자동차 사이의 대화가 가능해진다면,
어떤 주제의 대화를 하게 될까?
‣ 차 안에서 Tmap 에게 말을 한다… Tmap이 자동차 내의 SIri가 된다?! 과연 무슨 말을 할까?
‣ 차 안에서 사람들의 보이스를 수집하는 방법은 뭐가 있을까?
3
Human - Robot Vehicle Voice Interaction
기대되는, 적절한
대화 주제
부적절한
대화 주제
‣ users’s trust into the system
‣ make users more ease
‣ system as a communication partner
배경
인간과 자동차 사이의 대화를 보는 것.
‣ Speech Interface 를 만드는 과정일 뿐만 아니라, (관련 대화 수집)
‣ 운전 중 운전자가 차에대해 생각하고, 궁금해하는 것을 알 수 있는 기회. (니즈 수집)
4
Think aloud 가 아닌, 다른 좋은 방법은 없을까?
‣ 운전중 사용자의 발화는 대부분 Think aloud 기법을 통해 수집된다.
‣ 사용자가 계속 생각하면서 말하게 하는 것은 좋은 방법이지만, 만병 통치약은 아니다.
‣ 자연스럽지 않고, 필터 된 반응이고, 생각-말의 과정에서 행동이 바뀔 수 있고
Wizard of Oz
‣ 차 내에서 사용 되는 다양한 기능/서비스를 디자인 하는 과정에서 사용되는 방법 (Green 1990, Lathrop 2004, Schüler 2006)
‣ 차량 내 대화에 적용된다면, 사용자의 생각을 잘 이해하는 데에 도움이 될 것이라 믿고!!!
‣ 자율주행 상황에서 차에대한 사람들의 생각을 이해하는 데에, Think aloud + Wizard of Oz 방법을 쓰겠다.
실험 방법
좋은 시뮬레이터와 똑똑한 사람, 미래에 가능할 법한 상황을 만든다.
‣ 참가자에게 interact with the car 라는 테스크를 주고,
‣ 사람이 차에 타면, 차가 사람에게 테스크를 설명한다.
- “30분 운전을 해서 공항으로 가세요.”
‣ topic : trip progress, navigation, driving characteristics, driver’s wellbeing, preference, daily activity
5
엄청 좋은 시뮬레이터에 탑승한 실험 참가자 뒤에서 열심히 인공지능인 척 하는 연구자
‣ 사용자와 대화 (TTS)
‣ 자율주행 자동차처럼 차를 컨트롤
‣ creative verbal, physical expression 경험자 (6)
‣ 즉흥극 연기자, 극작가 등
분석 방법
자연스러운 대화 안에서, 시스템이 시작한 대화 종류에 대한 참가자의 반응을 확인
‣ Ethnomethodological conversation analysis : 자연어 대화의 일정한 질서, 규칙을 도출하기 위해 사용
- 대화 자체의 의미보다는, 그 의미에대한 선호/비선호 여부를 파악하여 분석.
- implicit ways : well-timed feedback, complying (Clark 1989, Heritage 2012)
‣ 대화 종류 : 질문, 정보전달, 지시
‣ 분석 방법 : Adjacency pairs, Preference organization, delivery time
6
‣ Question : 동의 / 부동의
‣ Informing : 수용 / 거부
‣ Instruction : 이행 / 불이행
‣ preferred : 0.3초 이내, 명료한
‣ dispreferred : 0.3초 넘어서, 고민하는
발화쌍 분석
응답까지 시간(0.3s)
응답의 성격 (preferred / dispreferred)
분석 결과
초반과 후반의 사용자의 반응/인식에 차이가 있다.
: extended navigation system -> conversational partner
‣ 초반 : 참가자의 발화를 보면, 시스템을 extended navigation system 으로 여긴다.
‣ Appropriate : driving & control / feedback on the simulation / navigation / information about places, speed limit …
‣ Unacceptable : perceptual informing, requests for feedback, personal topics
7
A) 시스템이 정보를 제공했을 때,
응답하지 않는다.
B) 네비게이션 관련 질문만 한다.
C-1) 기존 자동차 관련 기능에 대한
긍정적 반응
C-2) 시스템이 스스로 지각 후 정보를
주는 것에 대한 부정적 반응
분석 결과
초반과 후반의 사용자의 반응/인식에 차이가 있다.
: extended navigation system -> conversational partner
‣ 후반 : 시스템과의 social dialog가 많아진다. relaxed, playful 인터랙션이 증가
‣ Appropriate : driving & control(60 -> 24 %), Personal( -> 1.2%), interpersonal( -> 40%)
8
A) 차의 기능 외적인 부분에 대해
적극적으로 질문한다.
B) 시스템을 car가 아닌 you라고 지칭한다.
C) 떠오르는 생각을 시스템과 공유한다.
분석 결과
변화의 원인: Perceptual Informing
‣ 여러 원인이 존재 - 실험 환경에 익숙해진다. 초반에 느끼는 어지럼증
‣ 부정적 영향 (운행 시스템 오류, TTS 과정에서 반응이 느려짐)에도 불구하고, 사용자는 시스템이 편안하다고 느낌
‣ Because something the car said or did
- 사람에 대해 시스템이 판단하고 제공하는 정보(초반에는 부정적)가 신뢰 향상에 도움이 되었을 것이다.
- 인터뷰 결과 시스템에 신뢰를 갖게 되는 순간이 있다. (의심 -> 맹신?)
9
A) 사람이 인지하지 못하는 부분을
인식할 때, 신뢰가 증가
B) 시스템에게 인지 정보를 추가적으로 요청
논의 및 결론
시스템에 대한 사용자의 멘탈 모델이 변한다.
‣ 기대하지 않았던 주제의 대화를 통해, 시스템의 capacity에 대한 멘탈 모델이 변한다.
- 비록 초반에는 그 주제에 대해 부정적으로 느꼈어도!
‣ 특히, 시스템이 사용 환경 내 사람에 대해 제대로 인지하는 경우, 기대가 높아진다.
10
대화 분석을 통해 사용자의 수용정도가 어떻게 변화하는지를 확인하고,
그 변화를 만드는 요소가 무엇인지?
사용자가 시스템에게 기대하는 것(변화의 방향)이 무엇인지 먼저 파악하는 것이,
대화 디자인 과정에서 고려 사항에 도움을 준다.
(사용자가 원하는게 단순히 기능적인 도움이 아닐 수 있다는 가정 하에)
11
Tmap.V
인공지능 시대에, T map에서 제공할 인공지능 기능에 대한
사용자 needs 및 적용 방안
Navi
현재 기능 외에, 인공지능/음성지시 상황에서 발생할 수 있는
사용자의 새로운 니즈/명령을 어떻게 찾을 수 있을까??
Voice Recog - 명령 call
Intent - 복합명령
Data Mined - 추천/선제
현재 없는, 근미래의 기술이 어느 정도인지 알아야,
사람들도 상상을 하거나 필요함을 말할텐데…
End	of	the	Document

More Related Content

Similar to Eliciting Conversation in Robot Vehicle Interactions

Response Quality & BlahBlahbot
Response Quality  &  BlahBlahbotResponse Quality  &  BlahBlahbot
Response Quality & BlahBlahbot
박 상아
 
Agile meeting and_human
Agile meeting and_humanAgile meeting and_human
Agile meeting and_human
효원 강
 
Using Behavioral Data to Identify Interviewer Fabrication in Surveys + CHI 20...
Using Behavioral Data to Identify Interviewer Fabrication in Surveys + CHI 20...Using Behavioral Data to Identify Interviewer Fabrication in Surveys + CHI 20...
Using Behavioral Data to Identify Interviewer Fabrication in Surveys + CHI 20...
Hyunjin Ahn
 
Ass 10.10 ideo hcd h
Ass 10.10 ideo hcd hAss 10.10 ideo hcd h
Ass 10.10 ideo hcd h
Young Choi
 

Similar to Eliciting Conversation in Robot Vehicle Interactions (20)

A Question of Trust: An Ethnographic Study of Automated Cars on Real Roads
A Question of Trust: An Ethnographic Study of Automated Cars on Real RoadsA Question of Trust: An Ethnographic Study of Automated Cars on Real Roads
A Question of Trust: An Ethnographic Study of Automated Cars on Real Roads
 
Response Quality & BlahBlahbot
Response Quality  &  BlahBlahbotResponse Quality  &  BlahBlahbot
Response Quality & BlahBlahbot
 
Things Data Scientists Should Keep in Mind
Things Data Scientists Should Keep in MindThings Data Scientists Should Keep in Mind
Things Data Scientists Should Keep in Mind
 
사업계획서
사업계획서사업계획서
사업계획서
 
Summary : Understanding the long term use of smart speaker assistants
Summary : Understanding the long term use of smart speaker assistantsSummary : Understanding the long term use of smart speaker assistants
Summary : Understanding the long term use of smart speaker assistants
 
Agile meeting and_human
Agile meeting and_humanAgile meeting and_human
Agile meeting and_human
 
9th.lecture.step3.analysis.20180504
9th.lecture.step3.analysis.201805049th.lecture.step3.analysis.20180504
9th.lecture.step3.analysis.20180504
 
창발 세미나 - Bing에서의 머신러닝
창발 세미나 - Bing에서의 머신러닝창발 세미나 - Bing에서의 머신러닝
창발 세미나 - Bing에서의 머신러닝
 
Hook model
Hook modelHook model
Hook model
 
Expanding explainability : towards social transparency in ai systems
Expanding explainability : towards social transparency in ai systemsExpanding explainability : towards social transparency in ai systems
Expanding explainability : towards social transparency in ai systems
 
Does a conversational robot need to have its own values
Does a conversational robot need to have its own values Does a conversational robot need to have its own values
Does a conversational robot need to have its own values
 
8th.Lecture.Step3.Analysis.pdf
8th.Lecture.Step3.Analysis.pdf8th.Lecture.Step3.Analysis.pdf
8th.Lecture.Step3.Analysis.pdf
 
Using Behavioral Data to Identify Interviewer Fabrication in Surveys + CHI 20...
Using Behavioral Data to Identify Interviewer Fabrication in Surveys + CHI 20...Using Behavioral Data to Identify Interviewer Fabrication in Surveys + CHI 20...
Using Behavioral Data to Identify Interviewer Fabrication in Surveys + CHI 20...
 
The Ethnobot: 
Gathering Ethnographies in the Age of IoT
The Ethnobot: 
Gathering Ethnographies in the Age of IoT The Ethnobot: 
Gathering Ethnographies in the Age of IoT
The Ethnobot: 
Gathering Ethnographies in the Age of IoT
 
전혀 새로운 방법의 데이터 탐색 - 김민수 (Tableau)
전혀 새로운 방법의 데이터 탐색 - 김민수 (Tableau)전혀 새로운 방법의 데이터 탐색 - 김민수 (Tableau)
전혀 새로운 방법의 데이터 탐색 - 김민수 (Tableau)
 
The Ethnobot: 
Gathering Ethnographies in the Age of IoT
The Ethnobot: 
Gathering Ethnographies in the Age of IoT The Ethnobot: 
Gathering Ethnographies in the Age of IoT
The Ethnobot: 
Gathering Ethnographies in the Age of IoT
 
[222]대화 시스템 서비스 동향 및 개발 방법
[222]대화 시스템 서비스 동향 및 개발 방법[222]대화 시스템 서비스 동향 및 개발 방법
[222]대화 시스템 서비스 동향 및 개발 방법
 
hcik 2017 튜토리얼; 인공지능으로 사용자 리서치
hcik 2017 튜토리얼; 인공지능으로 사용자 리서치hcik 2017 튜토리얼; 인공지능으로 사용자 리서치
hcik 2017 튜토리얼; 인공지능으로 사용자 리서치
 
What do you think about machines that think
What do you think about machines that thinkWhat do you think about machines that think
What do you think about machines that think
 
Ass 10.10 ideo hcd h
Ass 10.10 ideo hcd hAss 10.10 ideo hcd h
Ass 10.10 ideo hcd h
 

More from A-juAn

Assessing Global Pain Severity by Self-Report in Clinical and Health Services...
Assessing Global Pain Severity by Self-Report in Clinical and Health Services...Assessing Global Pain Severity by Self-Report in Clinical and Health Services...
Assessing Global Pain Severity by Self-Report in Clinical and Health Services...
A-juAn
 
Developing a Mobile Application for Elderly People: Human-Centered Design App...
Developing a Mobile Application for Elderly People: Human-Centered Design App...Developing a Mobile Application for Elderly People: Human-Centered Design App...
Developing a Mobile Application for Elderly People: Human-Centered Design App...
A-juAn
 

More from A-juAn (8)

1012 UXlab labmeeting material_Ajuan
1012 UXlab labmeeting material_Ajuan1012 UXlab labmeeting material_Ajuan
1012 UXlab labmeeting material_Ajuan
 
Shifting the design philosophy of spoken natural language dialogue from invis...
Shifting the design philosophy of spoken natural language dialogue from invis...Shifting the design philosophy of spoken natural language dialogue from invis...
Shifting the design philosophy of spoken natural language dialogue from invis...
 
Attracting User’s Attention in Spherical Image by Angular Shift of Virtual Ca...
Attracting User’s Attention in Spherical Image by Angular Shift of Virtual Ca...Attracting User’s Attention in Spherical Image by Angular Shift of Virtual Ca...
Attracting User’s Attention in Spherical Image by Angular Shift of Virtual Ca...
 
Wedge: Clutter-Free Visualization of Off-Screen Locations
Wedge: Clutter-Free Visualization of Off-Screen LocationsWedge: Clutter-Free Visualization of Off-Screen Locations
Wedge: Clutter-Free Visualization of Off-Screen Locations
 
Sharing and Navigating 360 Videos and Maps in Sight Surfers
Sharing and Navigating 360 Videos and Maps in Sight SurfersSharing and Navigating 360 Videos and Maps in Sight Surfers
Sharing and Navigating 360 Videos and Maps in Sight Surfers
 
The Augmented Climbing Wall: High-Exertion Proximity Interaction on a Wall-Si...
The Augmented Climbing Wall: High-Exertion Proximity Interaction on a Wall-Si...The Augmented Climbing Wall: High-Exertion Proximity Interaction on a Wall-Si...
The Augmented Climbing Wall: High-Exertion Proximity Interaction on a Wall-Si...
 
Assessing Global Pain Severity by Self-Report in Clinical and Health Services...
Assessing Global Pain Severity by Self-Report in Clinical and Health Services...Assessing Global Pain Severity by Self-Report in Clinical and Health Services...
Assessing Global Pain Severity by Self-Report in Clinical and Health Services...
 
Developing a Mobile Application for Elderly People: Human-Centered Design App...
Developing a Mobile Application for Elderly People: Human-Centered Design App...Developing a Mobile Application for Elderly People: Human-Centered Design App...
Developing a Mobile Application for Elderly People: Human-Centered Design App...
 

Recently uploaded

Recently uploaded (6)

친환경, 그린, 탄소저감 미래 교육 공간 디자인의 이해와 사례들에 대한 강의 자료
친환경, 그린, 탄소저감  미래 교육 공간 디자인의 이해와 사례들에 대한 강의 자료친환경, 그린, 탄소저감  미래 교육 공간 디자인의 이해와 사례들에 대한 강의 자료
친환경, 그린, 탄소저감 미래 교육 공간 디자인의 이해와 사례들에 대한 강의 자료
 
코딩 테스트 합격자 되기 C++ 00장~ 01장을 정리한 강의자료 입니다.
코딩 테스트 합격자 되기 C++ 00장~ 01장을 정리한 강의자료 입니다.코딩 테스트 합격자 되기 C++ 00장~ 01장을 정리한 강의자료 입니다.
코딩 테스트 합격자 되기 C++ 00장~ 01장을 정리한 강의자료 입니다.
 
TDM(Text Data Mining) Studio manual(2024)
TDM(Text Data Mining) Studio manual(2024)TDM(Text Data Mining) Studio manual(2024)
TDM(Text Data Mining) Studio manual(2024)
 
코딩테스트 합격자 되기 C++ 03장(시간 복잡도)를 설명한 ppt입니다
코딩테스트 합격자 되기 C++ 03장(시간 복잡도)를 설명한 ppt입니다코딩테스트 합격자 되기 C++ 03장(시간 복잡도)를 설명한 ppt입니다
코딩테스트 합격자 되기 C++ 03장(시간 복잡도)를 설명한 ppt입니다
 
이번에 새로 나온 코딩 테스트 합격자 되기 C++편 책을 소개하는 PPT 입니다.
이번에 새로 나온 코딩 테스트 합격자 되기 C++편 책을 소개하는 PPT 입니다.이번에 새로 나온 코딩 테스트 합격자 되기 C++편 책을 소개하는 PPT 입니다.
이번에 새로 나온 코딩 테스트 합격자 되기 C++편 책을 소개하는 PPT 입니다.
 
바리스타이론기초-1 수정 후 111111111111111111111111
바리스타이론기초-1 수정 후 111111111111111111111111바리스타이론기초-1 수정 후 111111111111111111111111
바리스타이론기초-1 수정 후 111111111111111111111111
 

Eliciting Conversation in Robot Vehicle Interactions

  • 1. Eliciting Conversation in Robot Vehicle Interactions + Proceedings of the Association for the Advancement of Artificial Intelligence. 2016 - David Sirkin, Kerstin Fischer, Lars Jesen, Wendy Ju /안아주 x 2017 Spring
  • 2. Authors Human-Robot Interaction 관련 연구. 요즘 특히 Vehicle 분야 다양한 인터랙션 연구를 활발하게 진행. 2
  • 3. Why This Paper 인간과 자동차 사이의 대화가 가능해진다면, 어떤 주제의 대화를 하게 될까? ‣ 차 안에서 Tmap 에게 말을 한다… Tmap이 자동차 내의 SIri가 된다?! 과연 무슨 말을 할까? ‣ 차 안에서 사람들의 보이스를 수집하는 방법은 뭐가 있을까? 3 Human - Robot Vehicle Voice Interaction 기대되는, 적절한 대화 주제 부적절한 대화 주제 ‣ users’s trust into the system ‣ make users more ease ‣ system as a communication partner
  • 4. 배경 인간과 자동차 사이의 대화를 보는 것. ‣ Speech Interface 를 만드는 과정일 뿐만 아니라, (관련 대화 수집) ‣ 운전 중 운전자가 차에대해 생각하고, 궁금해하는 것을 알 수 있는 기회. (니즈 수집) 4 Think aloud 가 아닌, 다른 좋은 방법은 없을까? ‣ 운전중 사용자의 발화는 대부분 Think aloud 기법을 통해 수집된다. ‣ 사용자가 계속 생각하면서 말하게 하는 것은 좋은 방법이지만, 만병 통치약은 아니다. ‣ 자연스럽지 않고, 필터 된 반응이고, 생각-말의 과정에서 행동이 바뀔 수 있고 Wizard of Oz ‣ 차 내에서 사용 되는 다양한 기능/서비스를 디자인 하는 과정에서 사용되는 방법 (Green 1990, Lathrop 2004, Schüler 2006) ‣ 차량 내 대화에 적용된다면, 사용자의 생각을 잘 이해하는 데에 도움이 될 것이라 믿고!!! ‣ 자율주행 상황에서 차에대한 사람들의 생각을 이해하는 데에, Think aloud + Wizard of Oz 방법을 쓰겠다.
  • 5. 실험 방법 좋은 시뮬레이터와 똑똑한 사람, 미래에 가능할 법한 상황을 만든다. ‣ 참가자에게 interact with the car 라는 테스크를 주고, ‣ 사람이 차에 타면, 차가 사람에게 테스크를 설명한다. - “30분 운전을 해서 공항으로 가세요.” ‣ topic : trip progress, navigation, driving characteristics, driver’s wellbeing, preference, daily activity 5 엄청 좋은 시뮬레이터에 탑승한 실험 참가자 뒤에서 열심히 인공지능인 척 하는 연구자 ‣ 사용자와 대화 (TTS) ‣ 자율주행 자동차처럼 차를 컨트롤 ‣ creative verbal, physical expression 경험자 (6) ‣ 즉흥극 연기자, 극작가 등
  • 6. 분석 방법 자연스러운 대화 안에서, 시스템이 시작한 대화 종류에 대한 참가자의 반응을 확인 ‣ Ethnomethodological conversation analysis : 자연어 대화의 일정한 질서, 규칙을 도출하기 위해 사용 - 대화 자체의 의미보다는, 그 의미에대한 선호/비선호 여부를 파악하여 분석. - implicit ways : well-timed feedback, complying (Clark 1989, Heritage 2012) ‣ 대화 종류 : 질문, 정보전달, 지시 ‣ 분석 방법 : Adjacency pairs, Preference organization, delivery time 6 ‣ Question : 동의 / 부동의 ‣ Informing : 수용 / 거부 ‣ Instruction : 이행 / 불이행 ‣ preferred : 0.3초 이내, 명료한 ‣ dispreferred : 0.3초 넘어서, 고민하는 발화쌍 분석 응답까지 시간(0.3s) 응답의 성격 (preferred / dispreferred)
  • 7. 분석 결과 초반과 후반의 사용자의 반응/인식에 차이가 있다. : extended navigation system -> conversational partner ‣ 초반 : 참가자의 발화를 보면, 시스템을 extended navigation system 으로 여긴다. ‣ Appropriate : driving & control / feedback on the simulation / navigation / information about places, speed limit … ‣ Unacceptable : perceptual informing, requests for feedback, personal topics 7 A) 시스템이 정보를 제공했을 때, 응답하지 않는다. B) 네비게이션 관련 질문만 한다. C-1) 기존 자동차 관련 기능에 대한 긍정적 반응 C-2) 시스템이 스스로 지각 후 정보를 주는 것에 대한 부정적 반응
  • 8. 분석 결과 초반과 후반의 사용자의 반응/인식에 차이가 있다. : extended navigation system -> conversational partner ‣ 후반 : 시스템과의 social dialog가 많아진다. relaxed, playful 인터랙션이 증가 ‣ Appropriate : driving & control(60 -> 24 %), Personal( -> 1.2%), interpersonal( -> 40%) 8 A) 차의 기능 외적인 부분에 대해 적극적으로 질문한다. B) 시스템을 car가 아닌 you라고 지칭한다. C) 떠오르는 생각을 시스템과 공유한다.
  • 9. 분석 결과 변화의 원인: Perceptual Informing ‣ 여러 원인이 존재 - 실험 환경에 익숙해진다. 초반에 느끼는 어지럼증 ‣ 부정적 영향 (운행 시스템 오류, TTS 과정에서 반응이 느려짐)에도 불구하고, 사용자는 시스템이 편안하다고 느낌 ‣ Because something the car said or did - 사람에 대해 시스템이 판단하고 제공하는 정보(초반에는 부정적)가 신뢰 향상에 도움이 되었을 것이다. - 인터뷰 결과 시스템에 신뢰를 갖게 되는 순간이 있다. (의심 -> 맹신?) 9 A) 사람이 인지하지 못하는 부분을 인식할 때, 신뢰가 증가 B) 시스템에게 인지 정보를 추가적으로 요청
  • 10. 논의 및 결론 시스템에 대한 사용자의 멘탈 모델이 변한다. ‣ 기대하지 않았던 주제의 대화를 통해, 시스템의 capacity에 대한 멘탈 모델이 변한다. - 비록 초반에는 그 주제에 대해 부정적으로 느꼈어도! ‣ 특히, 시스템이 사용 환경 내 사람에 대해 제대로 인지하는 경우, 기대가 높아진다. 10 대화 분석을 통해 사용자의 수용정도가 어떻게 변화하는지를 확인하고, 그 변화를 만드는 요소가 무엇인지? 사용자가 시스템에게 기대하는 것(변화의 방향)이 무엇인지 먼저 파악하는 것이, 대화 디자인 과정에서 고려 사항에 도움을 준다. (사용자가 원하는게 단순히 기능적인 도움이 아닐 수 있다는 가정 하에)
  • 11. 11 Tmap.V 인공지능 시대에, T map에서 제공할 인공지능 기능에 대한 사용자 needs 및 적용 방안 Navi 현재 기능 외에, 인공지능/음성지시 상황에서 발생할 수 있는 사용자의 새로운 니즈/명령을 어떻게 찾을 수 있을까?? Voice Recog - 명령 call Intent - 복합명령 Data Mined - 추천/선제 현재 없는, 근미래의 기술이 어느 정도인지 알아야, 사람들도 상상을 하거나 필요함을 말할텐데…