Reading: Asano and Yokosawa, Grapheme learning and grapheme-color synesthesia: toward a comprehensive model of grapheme-color association (2013)

1. 色字共感覚と書記素学習
情報学環教育部４年目
鈴木良平 (@quolc)

2. 論文紹介
• Asano and Yokosawa, Grapheme learning and
grapheme-color synesthesia: toward a comprehensive
model of grapheme-color association (2013)
※東大心理学教室・横澤研（統合的認知研究）の論文
• Grapheme = 書記素（e.g., ひらがな, アルファベット）
• Synesthesia = 共感覚
色字共感覚の統一的モデルの提唱とその検証

3. 色字共感覚
(grapheme-color synesthesia)
• 字を見た時に色を感じ取る共感覚
– 共感覚者の68%を占め [Day, 2005] 、研究が盛ん
※単語ではなく文字単位での知覚
• 色字対応
– 個人内では定常的
– 個人間では異なる（A＝赤など、一部で共通傾向）

4. 神経科学的知見
一部の脳領域での灰白質増加・活動増加
• 頭頂間溝 [Weiss & Fink, 2009]
– 視覚的注意、視覚的身体制御、立体視などに関連
– 数量認知との関連も指摘 [Ansari & Karmiloff-Smith, 2002]
• 右紡錘状回 [Jäncke, Beeli, Eulig, & Hänggi, 2009]
– 色情報処理、単語認知、数字認知などに関連

5. 色字対応の規則性
• 知覚色に影響する字の特性
– 文字形状 [Brang et al., 2011], 発音 [Asano & Yokosawa, 2011],
意味・概念 [Rich et al., 2005], 出現頻度 [Beeli et al., 2007],
順序 [Watson et al., 2012], 記憶 [Witthoft & Winawer, 2006]
• 複数の特性が同時に関与する
– 漢字：音・形状・意味 [Asano & Yokosawa, 2012]
– アルファベット：音・形状・順序 [Watson et al., 2012]
各特性の相対的重要性はどう決まる？

6. 規則性の言語による違い
• 英語（アルファベット）
– 音ではなく字によって決まる (e.g., “cat”, “cite”)
– 名前の類似性と色の類似性は無関係 (e.g., “b” & “c”)
• 日本語（ひらがな・カタカナ）
– 音韻に強く依存する
(対応するひらがな・カタカナは同じ色に見える）
– 文字形状の影響は小さい（e.g., ”ね” & ”わ”）

7. 発達と色字対応形成
• 書記素学習時に対応が形成される（仮説）
– 学習時の字特性の脳での扱われ方が、
色字対応における各特性のインパクトを決定する
• 対応転移仮説 [Rich et al., 2005]
– まず、<conventional sequence, color>対応が形成
– 一般化されて<grapheme, color>対応が成立
※conventional sequence＝数字, 曜日, 月など
• 身近な物体の記憶 [Witthoft and Winawer, 2006]

8. 統一的モデルの提案
1. 色字対応は書記素学習過程で形成される
2. 子どもは字弁別のために様々なドメイン
(e.g. 音, 形状, 順序) の特性情報を用いる
3. 書記素学習以前に共感覚者の脳では
ドメイン-色対応が形成されている
4. 学習時に、字弁別で最も重要なドメインでの色
対応が色字対応に転移する
5. 結果、色字対応は字の顕著な弁別特性を表す

9. 本モデルに基づく仮説
• アルファベット：順序以外の特性は弁別性が低い
⇒ 色字対応決定要因：順序 ＞ 形状 ≫ 発音
• ひらがな：発音と順序は等しく弁別性が高い
⇒ 色字対応決定要因：音 ＝ 順序 ＞ 形状

10. モデルの検証
• 色字共感覚者のひらがな・アルファベット各
文字の知覚色を実験的に測定する
• 順序, 音韻, 形状, 親近性の４独立変数について、
重回帰分析によって知覚色への影響を調べる
– 親近性（より主観的）≒出現頻度
• Second-order similarity mapping [Watson et al. 2012]
– 絶対値ではなく差と差のマッピング
– 「音韻が大きく異なれば、知覚色も大きく異なる」
– 量的要素が同時に効く場合の分析に適切

11. 実験手法（詳細）
• 被験者：色字共感覚者17名 ＋ コントロール6名
– 日本語ネイティブ
– ひらがなとアルファベットに色を知覚
– 音声入力に対しては色を知覚しない
• 手順
– 暗室でディスプレイに文字が一つ表示される
– 138色のパレットから知覚色に最も近いものを選ぶ
– 1セッション中で全ての文字がランダム順序で呈示
• 3週間以上おいて2セッションを実行

12. 真正性検証
• セッション間での色字対応の一貫性を確認
– L*a*b*色空間でのユークリッド距離
• 色字共感覚者
– ひらがな：Ave=19.7, SE=1.4 (range=10.3-31.3)
– アルファベット：Ave=16.3, SE=1.2 (range=6.8-25.3)
※chance=67.9 (SD=31.8)
• コントロールとの有意性確認

13. Similarityの定義
• 独立変数
– 順序：一般的ABC, あいう順序差
– 音韻：共通音素数
– 形状：主観 [Kawakami & Tsuji, 2012], [Boles & Clifford, 1989]
– 親近性：主観 [Amano & Kondo, 1999]
• 従属変数
– Color：L*a*b*空間でのユークリッド距離
– Hue, Saturation, Luminance：L*C*h空間での変数差

14. 結果１ – ひらがな

15. 結果１ – ひらがな
• 順序が全ての色要素に対して強く影響
• 音韻も全ての色要素で顕著に影響
– Hueでは順序よりも強く影響
• 形状はHue以外の色要素に顕著に影響
• 親近性はこれらに次いで主にSaturationに影響
⇒ 結果はおよそ仮説に合致
※多重共線性なし

16. 結果２ – アルファベット

17. 結果２ – アルファベット
• 順序のみが色に対してsignificant (p<0.01)に影響
• 形状は色に対しては部分的に影響 (p=0.10)
• Hueに対しては形状がsignificant (p<0.05)に影響
順序も部分的ながら影響 (p-0.07)
• 音韻はいずれの要素にも顕著な影響なし
⇒ 結果はおよそ仮説に合致
※多重共線性なし

18. 議論
• アルファベットでの予測能力の低さ (R2=0.27)
– 身近でないから？既習書記素からの転移？
– 各特性は一部の字でのみ有効 – “markers”仮説
• Categorical vs. Continuous対応 [Watson et al. 2012]
離散/連続的特性は、色の離散/連続的性質に影響する
– ひらがな ... (音韻 – hue), (親近性 – saturation)
– 順序は離散的かつ連続的？形状は連続的？
• 形状の類似性指標
– E. Gibsonの11次元文字素を用いると予測能力が上がる