現在のAIの到達点と残された課題@第5回WBAシンポジウム： 松尾豊
•
0 likes•264 views
概要： 本講演では、深層学習を中心とする近年のAI技術の進化が、知能の仕組みを解き明かすという目的においてどのような意義をもつのかを述べる。そして人間の知能の全体像に関する仮説について説明する。いくつかの新しい概念の上に全体像を整合的に説明できると考えており、そうした概念について説明したあと、今後進めるべき研究についても述べる。
Recommended
More Related Content
More from The Whole Brain Architecture Initiative
More from The Whole Brain Architecture Initiative (20)
現在のAIの到達点と残された課題@第5回WBAシンポジウム： 松尾豊
- 2. シンボル vs パターン：人工知能における長年の戦い 2 Marvin Minsky Rodney Brooks 「象はチェスを しない」 「象程度の知能は 実現できても 人間の知能は 実現できない」 第一次AIブーム（1960年代）：探索・推論の時代 その後の冬の時代 誤差逆伝搬の発見 （1960後半-70年代, 甘利俊一、ラメルハート、ヒントンら） 身体性 第二次AIブーム（1980年代）：エキスパートシステムの時代 第三次AIブーム（2010年代）：ディープラーニングの時代 シンボル パターン
- 4. 4https://www.youtube.com/watch?v=T3sxeTgT4qc • NeurIPS 2019, invited talk by Y. Bengio
- 5. 5https://www.youtube.com/watch?v=T3sxeTgT4qc • Daniel Kahneman – 心理学者。行動経済学者。 – 『ファスト＆スロー』、ダニエル カーネマン 著, 村井 章子 著・訳、早川書房、2012年 – 2002年 ノーベル経済学賞受賞
- 8. 世界モデルの重要性 • 「今までの記憶から未来を予測する力。それが知能である。 」 – Jeff Hawkins （「On Intelligence（考える脳 考えるコンピュータ）」より） – より正確に言うと，現在のセンサ入力やアクチュエータの出力から 将来のセンサ入力を予測している • これは，学習した脳の世界モデルによって 未来をシミュレーションしているということ – 環境とのインタラクションから、低次元な潜在構造を見つけ出している • 世界モデル（world model）： – 外界からの刺激を元に，外界世界をシミュレートするモデル – （内部モデルや力学モデルとも近い） 8 刺激 世界モデル
- 10. World Models (D. Ha, J. Schmidhuber, 2018) 10
- 11. 11 Driving is more stable if we give our controller access to both z_t and h_t. Limiting our controller to see only z_t, but not h_t results in wobbly and unstable driving behaviours.
- 12. Neural scene representation and rendering (S. M. Ali Eslami, …, Demis Hassabis, Science 2018) • 生成クエリーネットワーク（GQN： Generative Query Network）。 • 異なる視点からのシーンで内部表現を作り（表現ネットワーク）、別の視点（クエリー視点）からの見え方を予測 する（生成ネットワーク）。人間がラベル付けする必要なく、世界を学習する。CNN+LSTM（+スキップコネクション） によるモデル化。 12
- 13. モデルフリー強化学習からモデルベース強化学習へ • モデルベース：「何をやったらどうなるか」という状態の変化が明示的に規定されている • モデルフリー：状態の変化についてのモデルを明示的にもたない • アルファ碁は、モデルベース強化学習。囲碁だからできる。 • Atariゲームなどは、モデルフリー強化学習。アクションが離散で限定されていることと、試行回数を極端に多く できるから実現できる。 • 世界モデルが学習できる→モデルベース強化学習ができるようになる。 13
- 15. AI-THOR2 15 • Allen Instituteの3Dシミュレータ環境 • いろいろなアクションができる
- 17. BERT [J.Devlin et al., 2018] • RNNではなく、Transformerを使う • 多くのタスクでSOTAを出した。 17 https://www.slideshare.net/DeepLearningJP2016/dlbert-pretraining-of-deep-bidirectional-transformers-for-language-understanding Transformer
- 19. 19 Language Models are Few-Shot Learners, https://arxiv.org/pdf/2005.14165.pdf, 2020
- 20. 20
- 21. 21
- 26. 言語で条件づけた生成：Generating Images (2015.12-) 26Elman Mansimov et. al: “Generating Images from Captions with Attention”, Reasoning, Attention, Memory (RAM) NIPS Workshop 2015, 2015 A stop sign flying in blue skies.
- 27. • ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks (2019) – Jiasen Lu, Dhruv Batra, Devi Parikh, Stefan Lee (Georgia Tech, FAIR, Oregon State Univ.) – ViLBERT(Vision-and-Language BERT)を提案する。画像と自然言語の同時表現を学習する。BERTのアーキテ クチャをマルチモーダルな２つのストリームに拡張し、共アテンションのトランスフォーマーの層で相互作用 する。２つの大きなデータセットで事前学習し、複数のタスクに転移する。VQA, 視覚的常識推論、参照表 現、キャプションに基づく画像検索などである。精度が大きく向上し、いずれも最高精度を達成した。 27
- 28. 動物OSと言語アプリの統合の仕方 • 画像と文章を両方つっこめばいいという話ではない。 • 中心は、世界モデル系（動物OS）のほうにある。 • それをベースとして、BERT系（言語アプリ）が加わっているという形のはず。 28
- 29. 言語アプリが動物OSを駆動する • 多くの動物： – より長い行動のプランを立てる 知覚 「眼」の誕生 運動 抽象化した 行動計画 • 人間の場合（虚構を信じる）： – 言葉から想像（imagination）する 知覚 「眼」の誕生 運動 言葉や数字 の操作 言語アプリ 動物OS
- 30. 言語アプリの独立戦争 • 言語アプリは、もともとは動物OSに従属していた – 長期のプランを立てるために、動物OSから駆動される • しかし、進化の歴史において、あるときから、言語アプリが動物OSを駆動できるようになった – 相手の発話から状況を「想像」し、次の発話を予測するという問題を解くようになった – おそらくこれは「サピエンス全史」に書かれているように、虚構を信じ、集団としての力を高める効果が あったため • 言語アプリが、記号操作のさまざまな仕組みを産み出した – 数学、物理学などの理系学問、哲学や社会学などの人文系学問、将棋や囲碁などのゲームなど – だめなもの（占星術とか）もたくさん生み出したが、社会に役に立つ記号操作のモデルは生き残り、 科学技術が生まれた – 結果、言語アプリの能力こそが人間の知能の根源であると思うようになった 30
- 31. コンピュータにとっての意味処理 • ソシュール（スイスの言語哲学者、1857 – 1913） – センサやアクチュエータに由来する概念がシニフィエ（記号内容）であり、 その表記である音素の列がシニフィアン（記号表記） – これは言語アプリが動物OSを駆動する対応関係のことを言っている • チューリングテスト（Turing 1950） – 質問者と別の部屋にいる人間（もしくは人間のふりをしたコンピュータ）がいる。通信端末のみを用いて、質問と回答を行う。質問者が向 こうの部屋にいるのが人間かコンピュータか分からなければ、このコンピュータはチューリングテスト合格である。 – これを、知的であるとみなそう • 中国語の部屋(Searle 1980) – 部屋に閉じ込められる。質問が中国語で行われる。サールには、漢字が書かれたカードの束を与えられる。そこには、ある漢字と そのときの操作が全て書かれている。サールは、与えられた質問と、カードを見比べ、答えとなる特定の漢字を選び答えを作り、答える。 – 果たして、サールは中国語を理解していると言えるのか？ – 言語アプリに動物OSが必要であることを言っている。 • チョムスキー（1957） – Colorless green ideas sleep furiously – 文法的（統語論的）には正しいにもかかわらず、意味論的にはnonsenseである文の例 – 言語アプリが動物OSを駆動できない例を言っている。 言語アプリと動物OSの相互作用こそが「意味理解」の正体。 動物OS 言語アプリ
- 35. メンタルキャンバス • ⾔語が世界モデルを駆動する。 • 想像。反実仮想。描きこめる。動かせる。 • ⾔語によるConditionalな⽣成。 • シミュレータとして使える。 • 世界モデルを使って、「早送り」できる。 • 2種類の⼊⼒×２種類の出⼒＝４⽅向のタスク • マルチタスク学習の効果 • 複数のモーダルは、disentanglementをシャープにする。 • ⽣存的にもさまざまな意義がある。報酬がdenseになる効果など。 • ⾔語系の⼊出⼒で想像することを通じて抽象化されていく • 像を描き、操作することによる処理。例えば、⾜し算とかができるようになる。 ぐしゃ
- 36. 「チューリングマシン」仮説 • メンタルキャンバスが「無限に⻑いテープ」の役割をしている • これによって、⼈間の知能は、有限オートマトンからチューリングマシンへの能⼒をもつことになった のではないか。 – 有限オートマトンから、チューリングマシンへ。 – チューリングマシンの「無限に⻑いテープ」がキャンバスに相当する。 • ⼈間が感じている無限の可能性 – 適切な訓練と環境によって、ひとりの⼦供がプロ棋⼠にもプロテニス選⼿にも数学者にも⼩説家にもなれること • ⾔語的に多様なタスクを与えられることで、対応するアルゴリズムが学習され得る。 – ⾔語タスクの多様性は重要 – 教育と⽂化は重要 • しかし、メンタルキャンバスは有限。無限に⻑いテープではない。何が⾜りないか？
- 37. まとめ • ２階建てモデルについて – 世界モデル系（動物OS）：世界モデル、モデルベース強化学習 – BERT系（⾔語アプリ） • 提案モデル 1. ⾔葉が世界モデルを駆動し、シミュレータとして動かして、帰結を予測できるようになる。 • いろいろなオブジェクトを「キャンバス」に描き込んで動かせるようになる。 2. この「キャンバス」が「⻑いテープ」の役割をするようになり、任意のアルゴリズムを動かすことがで きる。 • アルゴリズム蒸留によって有限な資源で万能チューリングマシン相当の計算可能性をもつ 3. 適切な⾔語タスクが課されることで、対応するアルゴリズムが学習される 4. コントローラが、可能なアクションを増やしながらどんどん太っていく 5. ⾃⼰レポートタスクを課されることと、ニューラルエージェントモデルによって、⾃⼰の disentanglementが進む • こうしたことを、理論化、実験等を通じて⽰していきたい 37