Successfully reported this slideshow.

子供の言語獲得と機械の言語獲得

95

Share

Loading in …3
×
1 of 49
1 of 49

子供の言語獲得と機械の言語獲得

95

Share

Download to read offline

2016/03/17にPFIセミナーで話したスライドです。子供の言語獲得に関する非常に基本的な話と、関係しそうな機械学習の技術を紹介しました。素人なりのまとめなので、間違いなどご指摘いただけると助かります。

2016/03/17にPFIセミナーで話したスライドです。子供の言語獲得に関する非常に基本的な話と、関係しそうな機械学習の技術を紹介しました。素人なりのまとめなので、間違いなどご指摘いただけると助かります。

More Related Content

Related Books

Free with a 30 day trial from Scribd

See all

子供の言語獲得と機械の言語獲得

  1. 1. ⼦子供の⾔言語獲得と 機械の⾔言語獲得 (株)Preferred Infrastructure 海野  裕也(@unnonouno) 2016/03/17 PFIセミナー
  2. 2. ⾃自⼰己紹介 海野  裕也 l  -2008 東⼤大情報理理⼯工修⼠士 l  ⾃自然⾔言語処理理 l  2008-2011 ⽇日本アイ・ビー・エム(株)東京基礎研 l  テキストマイニング、⾃自然⾔言語処理理の研究開発 l  2011- (株)プリファードインフラストラクチャー l  ⾃自然⾔言語処理理、情報検索索、機械学習、テキストマイニングなど の研究開発 l  研究開発系案件、コンサルティング l  JubatusやChainerの開発 l  最近は対話処理理 NLP若若⼿手の会共同委員⻑⾧長(2014-) 「オンライン機械学習」(2015, 講談社)2
  3. 3. 知能とは何か? 3 計算 記憶 推論論 認識識 制御 予測 理理解 創造 ⾔言語 ⼀一⼝口に知能といっても様々な側⾯面があるので、扱 いたい対象についてもっとよく知るべきだろう
  4. 4. ⾔言語処理理とその周辺の知識識処理理 4
  5. 5. 記号(⾔言語)の中で閉じた議論論を するコトに対する危機感 5
  6. 6. 今⽇日の話 l  ⼈人がことばを知るとはどういうことか? l  ⾃自然⾔言語処理理は主に⼤大⼈人の⾔言語を解析すること にフォーカスがあたっていた l  今⽇日の話は⼦子供が⾔言語を獲得することに関して、 少し勉強したのでその周辺の話をまとめます l  機械学習の⽂文脈でどこに対応するのかはさわり だけ 6
  7. 7. 主な参考資料料 最近読んでいた本 l  ⾔言葉葉をおぼえるしくみ: ⺟母語 から外国語まで. 今井むつみ, 針⽣生悦⼦子 l  ことばの発達の謎を解く. 今井むつみ l  なるほど!⾚赤ちゃん学. ⽟玉川⼤大学⾚赤ちゃんラボ 7
  8. 8. ことばの獲得推移 8 年齢 1歳 初語の獲得 ⽉月に10語 くらい ⽇日に10語 くらい 語彙爆発 18歳で6万語 平均10語/⽇日
  9. 9. ヘレン・ケラー 9 モノには名前があるということを知った 途端にことばを覚えるようになった
  10. 10. 即時マッピング l  ⼦子供は新しいことばを聞いた瞬間に正しく使え るようになる l  間違いを繰り返すことによって覚えるわけでは ない 10 即時マッピングと呼ぶ
  11. 11. 機械学習的アプローチとの⽐比較 l  今の話 l  1回聞いただけで⼤大まかな意味は捉えられる l  ⼀一度度に1つしか学習しないが、過去に覚えた概念念との 関係を獲得する l  機械学習(例例えばword2vec) l  勾配法で反復復することでゆるゆる収束する l  ⼀一度度にたくさん異異なる情報を⾒見見せないと偏った学習 をする 11
  12. 12. クワインのガヴァガイ問題 12 ガヴァガイだ! ウサギのこと? ふわふわしたこと? 4本⾜足の動物? ⽿耳を指してる?
  13. 13. ことばの⾮非⾃自明な特性 l  ことばが何のどこを指すのか? l  他の場⾯面にどれくらい適⽤用できるか? 13
  14. 14. ことばを「知る」ことは想像以上に不不可思議 l  当たり前と思っていることに気づくのは難しい l  機械学習その他諸々をすると、当たり前だと 思っていることがなかなか学習してくれない l  当たり前だと思っているのでお客さんの印象が 極めて悪い 14
  15. 15. 余談:ブーバキキ効果 15 どちらが「ブーバ」で、 どちらが「キキ」でしょう?
  16. 16. なぜ即時マッピングが可能なのか? 仮説:ことばに対する強い思い込みがあり、 その思い込みを使って可能な候補を絞り込 んでいる 16
  17. 17. 実験⽅方法 Q:どうやって確認するのか? A:実際に⼦子供に⾒見見せて反応を⾒見見る どうやって? 17
  18. 18. 実験⽅方法 18 図は[今井14]から引用 これがネケだよ 別の個体 似ている 何か⽣生き物 無関係 完全⼀一致
  19. 19. 実験⽅方法 19 1 2 3 4 5 数字の順番で、 カテゴリの 範囲が狭い どれをネケと思うかでカテゴリの粒粒度度がわかる
  20. 20. 実験結果 20 l  ⼀一貫した反応をする  à  カテゴリと思っている l  基礎レベル(形状がだいたい同じ)までの反応が⼀一番多 い
  21. 21. ⼦子供は何か普遍的なてかがりを使っているのでは? l  ことばの認識識に偏り(バイアス)がある l  実験で様々なバイアスがわかってきた l  事物全体バイアス l  事物カテゴリーバイアス l  形バイアス l  相互排他性バイアス l  バイアスがフレーム問題解決の⼿手がかり?? 21
  22. 22. 事物全体バイアス l  「コップ」と⾔言われた時に、「取っ⼿手」やコップの 「⾊色」のことではなくて、コップそのもののことを指し ていると推定する l  先の実験で、基礎レベル刺刺激まで反応したこととも合致 22 モノの名前は⾊色や素材ではなく 事物全体の名前と考える
  23. 23. 事物カテゴリバイアス l  対象そのものだけではなく、「似ている」対象は同じ語 を使っていいと考える l  先の実験の結果と⼀一致 l  どれを「似ている」と考えるかはケースバイケース 23 未知の語を固有名詞ではなく カテゴリ名だと考える
  24. 24. 形バイアス l  先の実験結果と⼀一致 l  形バイアスと、事物カテゴリーバイアスのいずれである かという論論争が続いている(らしい) 24 カテゴリに対してではなく 似た形に対して同じ語だと思う
  25. 25. 相互排他性バイアス l  ⽝犬も猫も「ニャンニャン」と⾔言っていた⼦子供に、⽝犬だけ 「ワンワン」と教えると、猫は「ニャンニャン」⽝犬は 「ワンワン」と覚える 25 モノの名前は ただ⼀一つであると考える
  26. 26. 事物全体バイアス 事物カテゴリーバイアス 形バイアス 相互排他性バイアス 26 ことばと他の感覚(視覚)の関係 ことばとことばの関係
  27. 27. 今の深層学習で同じことができる? 27 これが同じように「動物」 だと認識識できる? この辺が類似なのは 分かりそう
  28. 28. word2vecはことばとことばの関係 [Mikolov+13] l  埋め込みベクトルの学習を始め、ことば同⼠士の関係しか ⾒見見ていない 28
  29. 29. l  ことばは、ことばだけで覚えることはない l  ⾮非常に少ない事例例でことばを覚える l  これらを扱う機械学習の研究はあるか? 29
  30. 30. Zero-shot learning l  テスト事例例に対する学習データがない分類問題 l  ・・・というと流流⽯石に無理理なので、異異なる情報 源を使う l  画像の分類問題だが、ラベル単語間の関係は別 のテキストデータから学習できる 30
  31. 31. NIPS2013読み会の得居さんの資料料参照 31
  32. 32. 画像と単語の表現ベクトルの関係を学習 [Socher +13] l  画像特徴を⾮非線形変換して、対応する単語ベクトルに近 づくように学習する l  最近の深層学習系のZero-shot learningのはしり(?) 32 既知クラス 既知画像 単語埋込 画像特徴
  33. 33. DeVise [Frome+13] l  ⼀一般物体認識識のモデルと、word2vecのモデルを作る l  両者(⽚片⽅方を変換)の類似度度が⾼高くなるように学習 33
  34. 34. ConSE [Norouzi+14] l  単語埋め込みベクトルの重み付き平均にする l  単純だがDeViseより当たる 34 画像がyに分類される確率率率 yの単語埋め込み x:  ⼊入⼒力力画像 y(x,  t):  xに対するt番⽬目の予測ラベル
  35. 35. 多様体学習を使う [Changpinyo+16] l  単語空間(左)と画像区間(右)で、phantom(biと vi)との相対的な位置関係が保たれるように配置する l  phantomの位置も同時に最適化する 35
  36. 36. Zero-shot learningが⽰示すこと l  単語の類似度度と⾒見見た⽬目(画像)の類似度度を紐紐付 けることができる l  これは、画像の説明⽂文⽣生成、画像QAなどがうま く⾏行行っているということとも合致する 36
  37. 37. 途中で気づいた l  Zero-shot learningの問題設定は、未知の画像を 既知の単語に紐紐付ける 37 ネケってこれのこ とだったのか〜~
  38. 38. Zero-shot learningはことばの獲得に当たるか? l  向きが逆だった l  極めて少数の事例例から学習する問題は、One-shot learning 38 これがネケだよ〜~
  39. 39. One-shot learning l  たった1つの訓練事例例だけで学習する l  本当に1つだと無理理なので、それ以外のデータは たくさんある l  ものすごく⾟辛い半教師あり学習(?) 39
  40. 40. NIPS2013読み会の能地さんの資料料参照 40
  41. 41. Hierarchical Bayesian Program Learning [Lake +13] l  ⽂文字を書く過程を分解して、書き⽅方の「常識識」を学ぶ l  「⽂文字」というタスクにかなり特化している 41
  42. 42. Zero vs One l  Zero-shot learning l  学習事例例がないので、代わりにラベル間の関係をテ キストデータから学習知る l  ことばは知っているけど⾒見見たことないモノの名前紐紐 付ける l  One-shot learning l  学習事例例が⼀一つしのラベルをあてられるようにする l  初めてきく単語をモノに紐紐付ける l  ベイズ系の⼿手法が多い 42
  43. 43. 少し考えるとバイアスと⽭矛盾したことがいくらでも ⾒見見つかる 43 固有名詞 下位の⼀一般名詞 上位の⼀一般名詞 ⼀一般名詞 「動物」 「イヌ」 「柴犬」 「ハチ公」 形が似てなくても 同じ語になる 同じ対象に複数の 語が対応している カテゴリーではな い語が存在する 物質名はどう するの?
  44. 44. 固有名詞の獲得 l  冠詞の有無で⼦子供の反応が変わる l  This is a dux. l  This is Dux. l  後者は固有名だと把握したような反応をする l  既知のモノを別のコトバで呼ぶ l  ペンギン(知っている)のぬいぐるみを「ネケ」と 呼ぶ l  「ネケ」は固有名だと把握したような反応をする 44
  45. 45. 話はそんなに単純ではない l  ここまでの話は名詞の話 l  動詞、形容詞、その他・・・はまた異異なる現象 が知られている l  動詞:モノとモノの関係 l  形容詞:モノの特性 l  更更に知りたい⼈人は、本を読んでみてください 45
  46. 46. まとめ l  ⼦子供がことばを覚える過程は不不可思議 l  ある年年齢以降降、急激に語彙を覚え始める l  ⼀一度度⾒見見ただけで語彙を覚える l  ⼈人間の認識識にはバイアスがある l  コトバとは何か、何をカテゴライズするか、どのように使い分 けるかに対する強烈烈な偏りがある l  即時マッピングに関係しそうな機械学習を紹介 l  Zero-shotは既知の単語を未知のモノに結びつける l  One-shotは未知の単語をモノに結びつける l  コトバの不不思議はまだまだいっぱい 46
  47. 47. 参考⽂文献 1/3 l  [今井+14]今井  むつみ, 針⽣生  悦⼦子. ⾔言葉葉をおぼえるしくみ: ⺟母語から外国語まで.ちくま学芸 ⽂文庫, 2014. l  今井むつみ. ことばの発達の謎を解く.ちくまプリマー新書, 2013. l  ⽟玉川⼤大学⾚赤ちゃんラボ. なるほど!  ⾚赤ちゃん学―ここまでわかった⾚赤ちゃんの 不不思議―. 新潮⽂文庫, 2014. 47
  48. 48. 参考⽂文献 2/3 l  [Mikolov+13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. NIPS 2013. l  [Socher+13] Richard Socher, Milind Ganjoo, Christopher D. Manning, Andrew Y. Ng. Zero-Shot Learning Through Cross-Modal Transfer. NIPS 2013. l  [Frome+13] Andrea Frome, Greg S. Corrado, Jonathon Shlens, Samy Bengio, Jeffrey Dean, Marc’Aurelio Ranzato, Tomas Mikolov. DeViSE: A Deep Visual-Semantic Embedding Model. NIPS 2013. 48
  49. 49. 参考⽂文献 3/3 l  [Norouzi+14] Mohammad Norouzi, Tomas Mikolov, Samy Bengio, Yoram Singer, Jonathon Shlens, Andrea Frome, Greg S. Corrado, Jeffrey Dean. Zero-Shot Learning by Convex Combination of Semantic Embeddings. ICLR 2014. l  [Changpinyo+16] Soravit Changpinyo, Wei-Lun Chao, Boqing Gong, Fei Sha. Synthesized Classifiers for Zero-Shot Learning. arXiv 1603.00550. l  [Lake+13] Brenden M. Lake, Ruslan R. Salakhutdinov, Josh Tenenbaum. One-shot learning by inverting a compositional causal process. NIPS 2013. 49

×