SlideShare a Scribd company logo
背景・目的
提案手法
実験内容
実験結果・考察
実験概要
LLM エージェントの人間との対話における
反芻的返答の親近感向上効果
The Effect of Ruminative Replies in Human-LLM Agent
Interactions on Increasing Familiarity
芹澤 龍生 (株式会社ARISE analytics)
評価方法
対話エージェントが社会に広く受け入れられるためには,ユーザがエージェントを信頼できることが不可欠である.先行研究[1]
では,信頼を生むための要素として”Reliability”,”Openness”,”Tangibility”,”Immediacy behavior”,”Task
characteristics”の5つが挙げられている.本研究では”Immediacy behavior” に着目し,信頼獲得のために必要となる
親近感を生む方法について検証を行った.
親近感を生むための会話テクニックとして,相手の話したことをオウム返しのよ
うな形で反芻しながら会話を行うという方法がある.本研究では,LLMエー
ジェントがユーザと対話を行う際,反芻的返答を行わせることでユーザに話を
しっかり聞いていると感じさせ,親近感を覚えられるかについて検証する.
沖縄旅行は海が綺麗
で楽しかったです。
海が綺麗だったんです
ね。それは素敵ですね。
【LLMエージェント】
OpenAIが提供するChatGPTのGPTsを活用し,下記2つの
エージェントを構築.被験者に対して以下両方のエージェントと
会話を実施.
• 反芻的返答を行うLLMエージェント (エージェントA)
• 反芻的返答を行わないLLMエージェント (エージェントB)
【会話テーマ】
以下のいずれかを選択して会話
• 一番印象に残っている旅行はなんですか?
• 昨年で最も印象に残っていることはなんですか?
【被験者】
A社で実験参加を希望した20~30代の男女11名
【評価方法】
下記2種類の評価項目に対し,7段階のリッカート尺度で評
価を行い,結果に対してウィルコクソンの符号付順位検定を
用いて検定.
【既存評価項目】
[2]で提案された改修版Technology Acceptance Model
(TAM) を使用.TAMの中でも親近感評価に関連する評価
項目12個を抜粋し,Q1~12として使用.
【新規評価項目】
信頼,親しみ,共感に関する3つの評価項目をQ13~15とし
て使用.
[1] Antonia Tolzin and Andreas Janson: Mechanisms of Common Ground in Human-Agent Interaction: A Systematic Review of
Conversational Agent Research, Hawaii International Conference on System Sciences (HICSS), 2023.
[2] Marcel Heerink, Ben Kröse, Vanessa Evers and Bob Wielinga: Assessing Acceptance of Assistive Social Agent Technology by Older
Adults: the Almere Model, International Journal of Social Robotics, Vol. 2, pages 361–375, 2010.
4.27
4.36
3.18
4.00
4.27
3.82
4.36
3.45
3.55
2.82
4.09
3.91
3.91
4.64
4.82
3.73
3.82
3.55
3.91
4.45
4.18
3.73
3.09
4.64
2.45
3.82
3.64
3.73
3.18
3.73
0.00 1.00 2.00 3.00 4.00 5.00 6.00 7.00
Q1. エージェントを楽しいと感じる。
Q2. エージェントを魅力的だと感じる。
Q3. エージェントを退屈だと感じる。
Q4. エージェントは自分にとって有用だと思う。
Q5. エージェントがあると便利だと思う。
Q6. エージェントは多くのことで助けてくれると思う。
Q7. エージェントとの対話中、実際の人と話しているように感じることがある。
Q8. エージェントを生きている生き物だと想像できる。
Q9. しばしばエージェントが実際の人ではないと思う。
Q10. 時々、エージェントに実際の感情があるように思える。
Q11. エージェントがアドバイスをくれたら、そのアドバイスを信頼するだろう。
Q12. エージェントが与えるアドバイスに従うだろう。
Q13. エージェントを信頼できると感じた。
Q14. エージェントに親しみを感じた。
Q15. エージェントは共感してくれていると感じた。
エージェントA平均値 エージェントB平均値
*
*
*
【実験結果】
• Q5,6以外の全項目でエージェントAの方が良い結果
• Q9,14,15はエージェントAが有意に良い結果
• 被験者で見られたコメント「エージェントAの方が話を深掘りし
てくれ,Bは同じ会話のループになることがあった」
【考察】
• 反芻的返答によって共感が生まれることで人間性が発生,
有意に親近感向上効果が見られたと思われる
• Q13で信頼性向上まで見れなかったのは,信頼獲得にお
いてImmediacy behaviorとTangibilityの両方が必要と
なるが,本実験ではTangibility向上が出来ていないためと
推察
• 反芻的返答を行わせることで,Step by stepのような
LLMに文章を構造化させる効果が生じていると思われる
エージェントA/B印象評価結果

More Related Content

More from ARISE analytics

ブラックボックス大規模言語モデルにおけるHallucination検知手法の検討.pdf
ブラックボックス大規模言語モデルにおけるHallucination検知手法の検討.pdfブラックボックス大規模言語モデルにおけるHallucination検知手法の検討.pdf
ブラックボックス大規模言語モデルにおけるHallucination検知手法の検討.pdf
ARISE analytics
 
【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx
【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx
【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx
ARISE analytics
 
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx
ARISE analytics
 
めんどうな環境構築とはおさらば!Dockerの概要と使い方
めんどうな環境構築とはおさらば!Dockerの概要と使い方めんどうな環境構築とはおさらば!Dockerの概要と使い方
めんどうな環境構築とはおさらば!Dockerの概要と使い方
ARISE analytics
 
【論文レベルで理解しよう!】​ 欠測値処理編​
【論文レベルで理解しよう!】​ 欠測値処理編​【論文レベルで理解しよう!】​ 欠測値処理編​
【論文レベルで理解しよう!】​ 欠測値処理編​
ARISE analytics
 
【論文レベルで理解しよう!】​ 大規模言語モデル(LLM)編​
【論文レベルで理解しよう!】​ 大規模言語モデル(LLM)編​【論文レベルで理解しよう!】​ 大規模言語モデル(LLM)編​
【論文レベルで理解しよう!】​ 大規模言語モデル(LLM)編​
ARISE analytics
 
【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...
【論文読み会】Signing at Scale: Learning to Co-Articulate  Signs for Large-Scale Pho...【論文読み会】Signing at Scale: Learning to Co-Articulate  Signs for Large-Scale Pho...
【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...
ARISE analytics
 
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...
ARISE analytics
 
教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討
ARISE analytics
 
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...
ARISE analytics
 
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...
ARISE analytics
 
【論文読み会】Autoregressive Diffusion Models.pptx
【論文読み会】Autoregressive Diffusion Models.pptx【論文読み会】Autoregressive Diffusion Models.pptx
【論文読み会】Autoregressive Diffusion Models.pptx
ARISE analytics
 
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx
ARISE analytics
 
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx
ARISE analytics
 
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice
ARISE analytics
 
【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)
【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)
【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)
ARISE analytics
 
【論文読み会】On the Expressivity of Markov Reward
【論文読み会】On the Expressivity of Markov Reward【論文読み会】On the Expressivity of Markov Reward
【論文読み会】On the Expressivity of Markov Reward
ARISE analytics
 
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...
ARISE analytics
 
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
ARISE analytics
 
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイCounterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
ARISE analytics
 

More from ARISE analytics (20)

ブラックボックス大規模言語モデルにおけるHallucination検知手法の検討.pdf
ブラックボックス大規模言語モデルにおけるHallucination検知手法の検討.pdfブラックボックス大規模言語モデルにおけるHallucination検知手法の検討.pdf
ブラックボックス大規模言語モデルにおけるHallucination検知手法の検討.pdf
 
【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx
【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx
【第3回生成AIなんでもLT会資料】_動画生成AIと物理法則_v0.2.pptx
 
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx
【第3回】生成AIなんでもLT会 2024_0304なんでも生成AI_sergicalsix.pptx
 
めんどうな環境構築とはおさらば!Dockerの概要と使い方
めんどうな環境構築とはおさらば!Dockerの概要と使い方めんどうな環境構築とはおさらば!Dockerの概要と使い方
めんどうな環境構築とはおさらば!Dockerの概要と使い方
 
【論文レベルで理解しよう!】​ 欠測値処理編​
【論文レベルで理解しよう!】​ 欠測値処理編​【論文レベルで理解しよう!】​ 欠測値処理編​
【論文レベルで理解しよう!】​ 欠測値処理編​
 
【論文レベルで理解しよう!】​ 大規模言語モデル(LLM)編​
【論文レベルで理解しよう!】​ 大規模言語モデル(LLM)編​【論文レベルで理解しよう!】​ 大規模言語モデル(LLM)編​
【論文レベルで理解しよう!】​ 大規模言語モデル(LLM)編​
 
【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...
【論文読み会】Signing at Scale: Learning to Co-Articulate  Signs for Large-Scale Pho...【論文読み会】Signing at Scale: Learning to Co-Articulate  Signs for Large-Scale Pho...
【論文読み会】Signing at Scale: Learning to Co-Articulate Signs for Large-Scale Pho...
 
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...
Hierarchical Metadata-Aware Document Categorization under Weak Supervision​ (...
 
教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討教師なしGNNによるIoTデバイスの異常通信検知の検討
教師なしGNNによるIoTデバイスの異常通信検知の検討
 
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...
【論文読み会】Pyraformer_Low-Complexity Pyramidal Attention for Long-Range Time Seri...
 
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...
【論文読み会】Analytic-DPM_an Analytic Estimate of the Optimal Reverse Variance in D...
 
【論文読み会】Autoregressive Diffusion Models.pptx
【論文読み会】Autoregressive Diffusion Models.pptx【論文読み会】Autoregressive Diffusion Models.pptx
【論文読み会】Autoregressive Diffusion Models.pptx
 
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx
【論文読み会】BEiT_BERT Pre-Training of Image Transformers.pptx
 
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx
【論文読み会】PiCO_Contrastive Label Disambiguation for Partial Label Learning.pptx
 
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice
【論文読み会】Deep Reinforcement Learning at the Edge of the Statistical Precipice
 
【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)
【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)
【論文読み会】Alias-Free Generative Adversarial Networks(StyleGAN3)
 
【論文読み会】On the Expressivity of Markov Reward
【論文読み会】On the Expressivity of Markov Reward【論文読み会】On the Expressivity of Markov Reward
【論文読み会】On the Expressivity of Markov Reward
 
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...
【論文読み会】MAUVE: Measuring the Gap Between Neural Text and Human Text using Dive...
 
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
【論文読み会】Moser Flow: Divergence-based Generative Modeling on Manifolds
 
Counterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイCounterfaual Machine Learning(CFML)のサーベイ
Counterfaual Machine Learning(CFML)のサーベイ
 

Recently uploaded

Kyndryl Developer Services のご紹介 2024年7月
Kyndryl Developer Services のご紹介  2024年7月Kyndryl Developer Services のご紹介  2024年7月
Kyndryl Developer Services のご紹介 2024年7月
Takayuki Nakayama
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
TsuyoshiSaito7
 
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit IntroductionMatsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo Lab
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
Hironori Washizaki
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
iPride Co., Ltd.
 
Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit IntroductionMatsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo Lab
 
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ..."ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
たけおか しょうぞう
 
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
Sony - Neural Network Libraries
 
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
shogotaguchi
 
論文紹介:Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part ...
論文紹介:Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part ...論文紹介:Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part ...
論文紹介:Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part ...
Toru Tamaki
 
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
TsuyoshiSaito7
 
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
Takuya Minagawa
 
Imitation learning for robotics 勉強会資料(20240701)
Imitation learning for robotics 勉強会資料(20240701)Imitation learning for robotics 勉強会資料(20240701)
Imitation learning for robotics 勉強会資料(20240701)
Natsutani Minoru
 
Matsuo-Iwasawa Lab. | Research unit Introduction
Matsuo-Iwasawa Lab. | Research unit IntroductionMatsuo-Iwasawa Lab. | Research unit Introduction
Matsuo-Iwasawa Lab. | Research unit Introduction
Matsuo Lab
 

Recently uploaded (14)

Kyndryl Developer Services のご紹介 2024年7月
Kyndryl Developer Services のご紹介  2024年7月Kyndryl Developer Services のご紹介  2024年7月
Kyndryl Developer Services のご紹介 2024年7月
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
 
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit IntroductionMatsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit Introduction
 
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
 
Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit IntroductionMatsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit Introduction
 
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ..."ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
"ros2rapper", Hardware implimentation of ROS2 communication Protocol without ...
 
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
 
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
 
論文紹介:Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part ...
論文紹介:Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part ...論文紹介:Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part ...
論文紹介:Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part ...
 
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
 
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
 
Imitation learning for robotics 勉強会資料(20240701)
Imitation learning for robotics 勉強会資料(20240701)Imitation learning for robotics 勉強会資料(20240701)
Imitation learning for robotics 勉強会資料(20240701)
 
Matsuo-Iwasawa Lab. | Research unit Introduction
Matsuo-Iwasawa Lab. | Research unit IntroductionMatsuo-Iwasawa Lab. | Research unit Introduction
Matsuo-Iwasawa Lab. | Research unit Introduction
 

【JSAI2024】LLMエージェントの人間との対話における反芻的返答の親近感向上効果_v1.1.pdf

  • 1. 背景・目的 提案手法 実験内容 実験結果・考察 実験概要 LLM エージェントの人間との対話における 反芻的返答の親近感向上効果 The Effect of Ruminative Replies in Human-LLM Agent Interactions on Increasing Familiarity 芹澤 龍生 (株式会社ARISE analytics) 評価方法 対話エージェントが社会に広く受け入れられるためには,ユーザがエージェントを信頼できることが不可欠である.先行研究[1] では,信頼を生むための要素として”Reliability”,”Openness”,”Tangibility”,”Immediacy behavior”,”Task characteristics”の5つが挙げられている.本研究では”Immediacy behavior” に着目し,信頼獲得のために必要となる 親近感を生む方法について検証を行った. 親近感を生むための会話テクニックとして,相手の話したことをオウム返しのよ うな形で反芻しながら会話を行うという方法がある.本研究では,LLMエー ジェントがユーザと対話を行う際,反芻的返答を行わせることでユーザに話を しっかり聞いていると感じさせ,親近感を覚えられるかについて検証する. 沖縄旅行は海が綺麗 で楽しかったです。 海が綺麗だったんです ね。それは素敵ですね。 【LLMエージェント】 OpenAIが提供するChatGPTのGPTsを活用し,下記2つの エージェントを構築.被験者に対して以下両方のエージェントと 会話を実施. • 反芻的返答を行うLLMエージェント (エージェントA) • 反芻的返答を行わないLLMエージェント (エージェントB) 【会話テーマ】 以下のいずれかを選択して会話 • 一番印象に残っている旅行はなんですか? • 昨年で最も印象に残っていることはなんですか? 【被験者】 A社で実験参加を希望した20~30代の男女11名 【評価方法】 下記2種類の評価項目に対し,7段階のリッカート尺度で評 価を行い,結果に対してウィルコクソンの符号付順位検定を 用いて検定. 【既存評価項目】 [2]で提案された改修版Technology Acceptance Model (TAM) を使用.TAMの中でも親近感評価に関連する評価 項目12個を抜粋し,Q1~12として使用. 【新規評価項目】 信頼,親しみ,共感に関する3つの評価項目をQ13~15とし て使用. [1] Antonia Tolzin and Andreas Janson: Mechanisms of Common Ground in Human-Agent Interaction: A Systematic Review of Conversational Agent Research, Hawaii International Conference on System Sciences (HICSS), 2023. [2] Marcel Heerink, Ben Kröse, Vanessa Evers and Bob Wielinga: Assessing Acceptance of Assistive Social Agent Technology by Older Adults: the Almere Model, International Journal of Social Robotics, Vol. 2, pages 361–375, 2010. 4.27 4.36 3.18 4.00 4.27 3.82 4.36 3.45 3.55 2.82 4.09 3.91 3.91 4.64 4.82 3.73 3.82 3.55 3.91 4.45 4.18 3.73 3.09 4.64 2.45 3.82 3.64 3.73 3.18 3.73 0.00 1.00 2.00 3.00 4.00 5.00 6.00 7.00 Q1. エージェントを楽しいと感じる。 Q2. エージェントを魅力的だと感じる。 Q3. エージェントを退屈だと感じる。 Q4. エージェントは自分にとって有用だと思う。 Q5. エージェントがあると便利だと思う。 Q6. エージェントは多くのことで助けてくれると思う。 Q7. エージェントとの対話中、実際の人と話しているように感じることがある。 Q8. エージェントを生きている生き物だと想像できる。 Q9. しばしばエージェントが実際の人ではないと思う。 Q10. 時々、エージェントに実際の感情があるように思える。 Q11. エージェントがアドバイスをくれたら、そのアドバイスを信頼するだろう。 Q12. エージェントが与えるアドバイスに従うだろう。 Q13. エージェントを信頼できると感じた。 Q14. エージェントに親しみを感じた。 Q15. エージェントは共感してくれていると感じた。 エージェントA平均値 エージェントB平均値 * * * 【実験結果】 • Q5,6以外の全項目でエージェントAの方が良い結果 • Q9,14,15はエージェントAが有意に良い結果 • 被験者で見られたコメント「エージェントAの方が話を深掘りし てくれ,Bは同じ会話のループになることがあった」 【考察】 • 反芻的返答によって共感が生まれることで人間性が発生, 有意に親近感向上効果が見られたと思われる • Q13で信頼性向上まで見れなかったのは,信頼獲得にお いてImmediacy behaviorとTangibilityの両方が必要と なるが,本実験ではTangibility向上が出来ていないためと 推察 • 反芻的返答を行わせることで,Step by stepのような LLMに文章を構造化させる効果が生じていると思われる エージェントA/B印象評価結果