研究内容発表

1. 日常会話におけるジェスチャが会話記憶にあたえる影響
14JK201 林 拓弥
情報認知科学研究室 指導教員 日根 恭子助教
1 はじめに
人は外部から様々な情報を得て，それを記憶し
ている．例えば，手で物を触ることにより触感を
記憶したり，物を見ることで形状や色を記憶した
りする．こうした感覚の中で，視覚や聴覚が重要
であることは既に知られており[1],それらの相互
作用に関する研究は多岐に渡る．
2 目的
そういった研究[2]がある中で人と人とが会話
する場面で，視覚と聴覚の相互作用が会話内容の
記憶にどういった影響を及ぼすのかは判明してい
ない部分が多い．そこで，会話場面での視覚情報
としてジェスチャを取り上げジェスチャとジェス
チャを伴った発話とでどちらの伝え方の方が会話
相手に記憶されるか調査する
3 先行研究
先行研究の中に，実験者からディスプレイ越し
で読話を見ながら音声を聞いた協力者と，音声の
みを聞いた協力者に対して記憶テストを行ったも
のがある．その先行研究では，読話+音声グループ
の方が記憶テストの成績が向上した．先行研究に
おける聴覚情報と視覚応報はそれぞれ単独に取り
出しても同一の情報を持つものである．しかし，
本研究で取り上げるのは，ジェスチャの中でも単
独で取り上げただけでは意味の伝わらないジェス
チャである．本研究ではジェスチャの中でも単独
で意味を伝えることが難しく会話中に発話内容を
強調したり補強したりする動作である例示的動作
に着目する．
4 仮説
本研究の目的である，会話の聞き手の会話記憶
における記憶とジェスチャの関係の調査において，
先行研究から聴覚のみを与えた場合よりも聴覚と
視覚あわせて与えた場合の方が記憶されやすいこ
と[2]が分かっているため,先行研究と同様に発話
のみの会話よりジェスチャを併用した会話の方が，
併用しなかったものと比べて会話内容や会話中に
発話した名称を記憶しやすいのではないかという
仮説を立てた．
5 実験
5.1 概要
実験は東京電機大学の学生男女合わせて 14 名に
実施した（18~24 歳）
実験は対話部，記憶テスト部の二部続けて行われ
た．
5.2 対話実験
対話は実験操作者（以下操作者）と実験協力者
（以下協力者）が机の角を挟んで椅子に着座して
行うジェスチャの表出や観測を妨害しないように
両者が１メートルほどの距離を持つように設定す
る．対話テーマは後の記憶テストの効果に影響を
与えないため，誰もが知っていて，多くの種類が
存在するということでミスタードーナツのドーナ
ツをチョイスした．会話は 15 分間行い，この 15
分間で操作者はドーナツの形状や特徴等の説明を
対話形式で行う．操作者は協力者に対して 6 個の
ドーナツの正確な名前や形状を説明する．その 6
個を 2 個ずつの動作グループに分類し，A.B.C の
合計 3 グループ作成した．以下の図に示す
図 1 ドーナツの種類と動作の種類
これは可能なかぎり，名称や形状が記憶へと与え
る影響を考慮したものである．
分けたグループごとに一つのジェスチャを対応
させる．対話部では同じ動作グループのなかで，

2. ジェスチャの有無を被らせないようにする．
これによりジェスチャの有無による記憶の差が出
てくると思われる．ドーナツの発話の順番は順番
による記憶への影響を考慮し各動作グループが連
続しないように決定し実験ごとに発話順は変えた
5.3 記憶テスト
記憶テストは回答用紙を用いて 3 種類のテストを
行った．一つ目のテストは記憶再生テストで会話
部の中で操作者が発話した６つのドーナツの名前
を回答用紙に記入してもらい完答できたものの個
数を数えるテストである．2 つ目のテストは記憶
再認テストで，一つ目のテストで完答できなかっ
たドーナツの名称を操作者が口頭で提示し名称に
聞き覚えがあれば「はい」なければ「いいえ」と
回答用紙に記入してもらい，「はい」と記入され
た個数だけ数えるというテストである．3 つ目の
テストとして実験部で操作者が行ったジェスチャ
を再度，協力者の前で提示しそのジェスチャを覚
えているか，そのジェスチャが会話部のどんな場
面で使われていたか覚えているか口頭で質問し操
作者が覚えているものと覚えていないものに振り
分けた．
6 分析
6.1 ① 再生＋再認テスト分析
一つ目と二つ目のテストである記憶再生テストと
記憶再認テストの合計平均点数をジェスチャ有，
ジェスチャ無で分類した時の図を以下に示す
図 2 再生＋再認テスト結果平均正答率
ジェスチャ有の平均点数は 0.86(SD=0.851)
ジェスチャ無の平均点数は 0.67(SD=0.960)
ジェスチャ有，ジェスチャ無で t 検定を行ったと
ころに条件間で有意な差が見られた
(t(14)=0.04,p<0.05)
6.２ ②ジェスチャ再認テスト分析
テスト３のジェスチャに関する記憶があるジェ
スチャの個数と記憶がないジェスチャの個数を計
上するとそれぞれ 0.5(SD=5.1),0.43(SD=4.4)
図 3 ジェスチャ再認テスト
両条件で t 検定を行ったところ，条件間で有意
差は認められなかった（t(14)=0.60,n.s.）
7 考察
本実験を通してジェスチャを伴った発話の方が，
ジェスチャを伴わない発話よりも会話相手にその
発話内容を記憶してもらえるということ①の分析
結果より判明した．また，②の分析結果よりジェ
スチャ自体の記憶はされていないことからジェス
チャはそれを伴った発話の記憶定着を助けるがジ
ェスチャ自体の記憶定着は行われずあくまで記憶
定着の補佐のような役割をしているのでないかと
二つの分析の結果から考察する．これが，視覚情
報全体が持つ特有の作用なのかそれともジェスチ
ャが特有に持つ性質なのか調査することも今後の
課題としたい
８ 参考文献
1]日科技連出版社,”産業教育機器システム便覧 教育
機器 集委員会編”,1972
[2] 福田友美子,四日市章 “聴覚障害者の視覚と聴覚
による音声知覚の評価,'' 音声言語医学, ３３， 177-
185， 1992