認知科学会サマースクール2015での発表 http://www.jcss.gr.jp/summer/ssinfo/entry-148.html 初日午後の人工知能と言語のセッションの補足的なまとめ。 スライド中で参照されている「海野さんの発表」はこちら： http://www.slideshare.net/unnonouno/ss-52283060

1. 2015-08 0
荒川直哉 岡田浩之
Dwango AI Lab. 玉川大学
人工知能と言語機能
2015-08-31
日本認知科学会サマースクール

2. 2015-08 1
今日お話しすること
人工知能の言語機能についての概観
• 自然言語処理
計算機はいかにして言語を扱ってきたか
• 記号接地問題
ことばはいかにして意味を持つのか
• 分散表象と言語
ニューラルネットはいかにして言語を扱うのか
• 言語獲得と発達ロボティクス
機械はいかにして言語を獲得するのか

3. 2015-08 2
自然言語処理
計算機はいかにして言語を扱ってきたか
1. 「伝統的な」記号処理
形態素処理、構文解析器など
2. 統計処理
N-gram, LDA など
3. ニューラルネットによる自然言語処理
〜海野さんの解説

4. 2015-08 3
「伝統的な」記号処理による自然言語処理
 理論的背景〜計算言語学（文法理論）
– 人間の言語〜文脈自由型文法++
• 単一化文法（LFG, HPSG, ...）
• （組み合わせ）範疇文法
 実際の取り組み：統語解析器、文生成器
– 英語や日本語などの文法が人手で書き下される。
– 一定の頑健性
– 多義性解決のための統計の利用
 意味論〜オントロジー
– 人手で書き下した意味の体系
cf. “自然言語の意味体系を書き下すのは不可能”（Lakoffら）

5. 2015-08 4
統計的な自然言語処理
 単語（Bag-of-Words）や単語の並び（N-gram）の
出現頻度などの統計を用いる。
 手法
– LSA (Latent Semantic Analysis)
– LDA (Latent Dirichlet Allocation)
– さまざまなカテゴリ化手法
...
 文書検索などへの応用
 意味の扱い
– 文書、単語の分類など

6. 2015-08 5
ニューラルネットによる自然言語処理
 神経回路を模した数理モデル
 分散（ベクトル）表現
 さまざまなモデル
– Recurrent Neural Network
– Recursive Neural Network
– 深層学習...
 意味処理・構文処理を含むさまざまな研究
⇒海野さんの発表
 課題：言語の生成性、合成性など（後述）

7. 2015-08 6
今日お話しすること
人工知能の言語機能についての概観
• 自然言語処理
計算機はいかにして言語を扱ってきたか
 記号接地問題
ことばはいかにして意味を持つのか
• 分散表象と言語
ニューラルネットはいかにして言語を扱うのか
• 言語獲得と発達ロボティクス
機械はいかにして言語を獲得するのか

8. 2015-08 7
記号接地問題
ことばはいかにして意味を持つのか
〜私たちはことばを使ってものごとを指し示す。
下位問題
I. 「概念」表象をいかにして得るのか。
– 教師なし学習〜カテゴリ化
– 部分的な解：Googleのネコ（深層学習応用）
２次元画像のカテゴリ化にすぎない。
– ３次元物体の概念などの獲得が必要
II. 「概念」表象とことばをいかにして結びつけるのか。
（後述）

9. 2015-08 8
今日お話しすること
人工知能の言語機能についての概観
• 自然言語処理
計算機はいかにして言語を扱ってきたか
• 記号接地問題
ことばはいかにして意味を持つのか
 分散表象と言語
ニューラルネットはいかにして言語を扱うのか
• 言語獲得と発達ロボティクス
機械はいかにして言語を獲得するのか

10. 2015-08 9
分散表象と言語
分散表象：
統計的言語処理やニューラルネットで用いられるベクトル表現
Lakoff： “意味は記号間の関係として定義できない”
最近では自然言語関係でさまざまな成果があがっている。
 課題：言語の生成性、合成性…
• 言語の生成性
自然言語：文脈自由型文法++
統語：有限の規則⇒無限の文
• 分散表象は一見有限！

11. 2015-08 10
ニューラルネットで言語の生成性を扱う方法
 RNN（recurrent NN）はチューリングコンプリート
しかしフラクタルはノイズに脆弱？
 ニューラルチューリングマシン
外部メモリを明示的に導入
 海野さんの考察
Recurrent/Recursive Neural Networks vs.
文脈自由型文法のパージング手法
 適切な粒度の文法カテゴリーの獲得〜深層学習

12. 2015-08 11
ニューラルネットで言語の生成性を扱う方法（続き）
 カテゴリ化と時系列を扱う大脳皮質モデル
– HTM (Hierarchical Temporal Memory)
– DeSTIN (Deep SpatioTemporal Inference Network)
 文法理論と脳？
– Tomasello などによる構文ベースの言語獲得理論
機械学習の俎上に載せやすい？
– チョムスキーの「マージ理論」と脳
cf. 藤田耕司先生、酒井邦嘉先生
 意味表現・フレーム・合成性？

13. 2015-08 12
今日お話しすること
人工知能の言語機能についての概観
• 自然言語処理
計算機はいかにして言語を扱ってきたか
• 記号接地問題
ことばはいかにして意味を持つのか
• 分散表象と言語
ニューラルネットはいかにして言語を扱うのか
 言語獲得と発達ロボティクス
機械はいかにして言語を獲得するのか

14. 2015-08 13
言語獲得と発達ロボティクス
機械はいかにして言語を獲得するのか
 発達ロボティクス
子どものようにロボットを「育てる」ことによる認知研究
〜ロボットに子どものように言語を獲得させる
 身体性と記号接地
– 認知言語学
• 基本概念〜外界との相互作用により獲得
• その他の概念〜基本概念のメタファーとして理解
• 記号接地には身体が必要！
cf. 物体概念
• Quine の “Gavagai” 問題
• 生得的な制約（事物全体制約など）：Spelke ら
• 事物の裏側に回ってみる？（cf. Husserl）
Gavagai!

15. 2015-08 14
言語獲得と発達ロボティクス（続き）
 間主観性と言語獲得
– 他者による〈指示〉の理解
他者の表現、自分、指示対象の三項関係（Tomasello）
– 他者の意図理解
かなり早い段階（Meltzof ら）
特に動作概念の獲得で重要
⇒ ロボットでの実装？
 記号創発
– 音素や形態素はどのように分節されるのか（二重分節）
– 連続発話中の形態素と概念をいかにして関連付けるのか
〜記号接地問題２：「概念」表象とことばをいかにして結びつけるのか

16. 2015-08 15
言語獲得と発達ロボティクス（続き）
ロボティクスにおける言語獲得研究の例
• Luc Steels ら
ニューラルな身体制御＋記号的言語処理＋言語ゲーム
• 記号創発ロボティクス
二重分節、運動認識・生成...
– 谷口忠大ら： ベイジアン統計で二重分節性を分析
– 岩橋直人ら： 共有信念モデル
– 谷淳ら： RNNによる分析、生成
• The Centre for Robotics and Neural Systems
＠プリマス大・Cangelosiら
統合的な発達ロボティクス研究
cf. Developmental Robotics -- from Babies to Robots (MIT Press)

17. 2015-08 16
まとめ
 人工知能における言語研究のホットな領域
– 「創発的」言語研究
統計理論、ニューラルネットにより言語を学習
分散表象
– 「構成（論）的」言語研究
ロボティクスによる言語獲得の研究
 認知科学＆ヒトのような人工知能
– 指針としての認知科学
• ヒトの言語獲得研究
• 脳の言語処理
• 言語理論：計算言語学、認知言語学
– 人工知能から認知科学への貢献〜「構成（論）的」研究