1. Analytics of Ambient
-ブーバキキ効果を用いた音と印象との紐付けによる雰囲気解析への応用-
Mutsushi Asai from Metalium llc.

2. 研究背景と目標

3. 研究背景
観察スケッチなどに代表される視覚的なアプローチによる発明や発見が多く事例として散見されるが,
聴覚情報から得られる発見の機会が視覚情報に対して少ないことから,聴覚情報内には感情を発生させるたり
直感的な知覚要素があることから,発見されていない情報が存在するのではないかと考え,本研究を開始した.
※http://lleedd.com/blog/category/sketches/page/6/ / 山中俊治の「デザインの骨格」
図１.スケッチによる情報取得の例

4. ブーバキキ効果と呼ばれる,二つの平面形状を聴覚情報から形を特定し殆どの人間が同じ形を想像する
という研究が心理学の分野において先行研究されている.
本研究事例においては,この効果について母国語による偏りのある結果は出ないことを報告していること
から言語的な制約を受けず,聴覚情報による印象は人類間においては一致ということを示している.
つまり聴覚情報によって視覚的な情報の連想と選択が可能であるということから聴覚情報からなんらかの
形状情報を抜き出すことへの可能性を示唆している.
先行研究
図2.ブーバキキ効果で使用される図
※https://www.researchgate.net/publication/10800030_Hearing_Colors_Tasting_Shapes / Vilayanur Subramanian Ramachandran

5. 川のせせらぎで心が落ち着いたり,猛獣の咆哮で恐れを抱いたり聴覚情報から得られる情報伝達の結果と
して,感情の起伏を促す情報が含まれていることから,聴覚情報から感情の起伏を促す形状のモデリング
メソッドの開発及び直感を通じたデザインプロセスの確立を目標としている.
感情を発生させる複雑な要因を,誰もが感じることのできる聴覚情報からの単純な印象から発生させるこ
とでよりプロダクト表現の幅が広がり,今後複雑化していく様々なニーズに合わせたプロダクト開発の一
助になることが期待される.
研究目標
図3.感情を発生させる様々な要因

6. 研究内容と実験
実験１：聴覚には他の感覚情報へ変換することが可能なのか？
実験2：聴覚情報における心理音響観点による特徴とは？

7. 聴覚情報が持つ形状的な情報であるブーバキキ効果に着目し,
聴覚情報が視覚情報へと変換される事象が認められることによる感覚情報には相関性があると言える.
感覚情報には,様々な感覚情報との相互性を確認することによって,無意識状態において直感的に捉えて
いる情報群の中に存在する形状的情報や機能性を抽出できることが期待される.
感覚情報が持つ形状的情報は視覚情報だけではなく、その他の感覚情報に対しても同様に相関性が持つ
こと実験を行い検証を行った.
実験１：聴覚には他の感覚情報へ変換することが可能なのか？

8. 聴覚情報と視覚以外の感覚情報への相関性を検証するために,ブーバキキ効果で行われる比較試験を踏襲し,同
様の試験を視覚情報を遮断した状態で口内及び手の触覚それぞれで捉え判別する方法で試験を行った.
試験には,口内触覚情報を検証するために食すことのできるテストピース（あられ製）を用意し実験を行った.
印象調査のための実験造形
図4.ブーバキキ効果の図形を模した実験用あられ

9. 印象調査のための実験手順１
図5.実験手順1(目を閉じ口だけであられに触れる
)

10. 印象調査のための実験手順２
図6.実験手順2(目を閉じ手だけであられに触れる)

11. 印象調査のための実験手順3
図7.実験手順3(目を開け見た目で判別を行う)

12. 実験結果1
図8.判別テスト結果一覧

13. 60名への試験を実施し,下記の結果を得た.
・口内でのみ比較した場合には,形状的情報の判別は無意識的にはできない
・手で触る事によって得られる情報は,7割強の確立で同様の解答を得た
・目で見ることによる判別についても,手で触る判別と同様に７割強で判別ができている。
これらの結果から,目で見る情報は手で触る情報と非常に密接な相関関係にあり,視覚情報と触覚情報には相関性があると言える.
実験結果2

14. 実験1の結果から,各種感覚情報には強い相関性が認められているが,これらの相関性を見出す上で欠かす
ことの出来なかったブーバキキ効果の聴覚情報に焦点を当て,印象の違いを分ける要因について心理音響
の観点を取り入れ,特徴量の解析を行った.
実験2：聴覚情報における心理音響観点による特徴とは？

15. ・男女一名ずつそれぞれに対して、「ブーバ」・「キキ」と発声させ、録音を行う。
（ブーバっぽくキキと言わせたもの、キキっぽくブーバと言わせたものも同時に収録した。）
・録音は「ブーバ」・「キキ」とそれぞれ一つずつ行い、データは分割する。
・分割したデータをpython心理音響評価モジュール「MoSQITo」を使用し解析を行った。
・解析評価指数としては、心理音響の代表的な「Loudness 」「Shapeness」「 Roughness 」の3つの評価軸にて評価を行った。
実験方法
図8.心理音響評価量
出典:小野測器技術レポート(https://www.onosokki.co.jp/HP-
WK/c_support/newreport/soundquality/soundquality_1.htm?fbclid=IwAR3QER05tM6he7lpHdd5Zk8LaeApH3zWKvkNdfx
or1GE46ihZwSiWyzrVrc)

16. 実験結果1
図9.判別テスト結果一覧

17. 「Loudness -Shapeness」の評価において、Shapeness値が男女ともに「kiki」の発声が高い結果が出た。
Shapenessは、高音成分が高い状態で発生することから、高い音がなっている状態においては尖った印象を持ちやすいとい
う可能性が表層化した。
また、対象的に「Bouba」のようなShapenessが低い状態においては、ブーバキキ効果になぞらえて丸い印象を共に与える可
能性があると言える。
実験結果2
図10.ブーバキキ効果で使用される図
※https://www.researchgate.net/publication/10800030_Hearing_Colors_Tasting_Shapes / Vilayanur Subramanian Ramachandran

18. 実験１及び実験２で、得られた聴覚情報の持つ形状的特性と知覚する要因の２点の特性の活用事例とし
て、雰囲気解析ツール「Analytics of Ambient」の適応事例についてご紹介致します。
実験結果のへ実用転用検討
図1１.Analytics of Ambient

19. 携帯電話で動画撮影
touchdesignerにて
解析及び動画への
フィードバック
動画共有
雰囲気を共有

24. 言語化し辛い、場の雰囲気を音の観点から可視化することにより
自身の直感を元にコミュニケーションすることができるようになります。

25. 実際に解析を行った動画はこちらのyoutubeチャンネルから視聴する事ができます。

26. 今後の展望について
図12.応用プロダクト例（背もたれに聴覚情報をフィードバック）
ブーバキキ効果より派生した、聴覚情報から形状情報の抜き出しに取り組んでいますが、
現在人の声ベースでの形状判別のケースのアウトプットし、定量性を確認していますが、
更に多様な動物や落雷など物理現象などの聴覚情報にフォーカスし、その際の形状的特性の抜き出しと
活用について検討し、直感ドリブンにおける設計プロセスの確立を進めていきたいと思います。

27. 「このような実験など面白いのではないか？」
ご意見や何かご一緒できますことありましたらぜひお聞かせください。