Recommended
Recommended
More Related Content
Similar to 知能とは何か-AIを巡る20の質問, 岡夏樹
More from KIT Cognitive Interaction Design
More from KIT Cognitive Interaction Design (20)
知能とは何か-AIを巡る20の質問, 岡夏樹
- 1. 知能とは何か：AIを巡る20の質 問 岡 夏樹 京都工芸繊維大学 情報工学・人間 科学系 2017 年 4 月 21 日 第7回松ヶ崎科学トークカフェ 公開講義「認知的インタラクションデ ザイン学」
- 3. 今日やりたいこと：下記の20の問に答えることを通して、 知能とは何かについて皆さんと議論したい 1. AIは記号積分の問題を解けますか？ 2. AIはクイズに答えられますか？ 3. AIは画像認識できますか？ 4. AIはチェス／将棋／囲碁／ポーカーができますか？ 5. AIは翻訳できますか？AIは意味を理解できますか？ 6. AIは創造的なこと（絵を描く／作曲／小説を書く／科学的発見）ができますか？ 7. AIは夕焼けを美しいと感じますか？ 8. AIは汎用的にいろいろなことができますか？ 9. AIは必要なことに注意を集中できますか？ 10. AIは学習／発達しますか？ 11. AIは進化しますか？AIは子どもを作れますか？ 12. AIは好奇心を持てますか？AIは遊びますか？ 13. AIは善悪を判断できますか？ 14. AIは神様を信じますか？ 15. AIは意識を持てますか？AIは自由意思を持てますか？ 16. AIは痛みを理解できますか？AIはクオリアを感じますか？ 17. AIは感情を持てますか？AIは負けたらつらいと感じますか 18. AIは共感できますか？AIは愛することができますか？AIは友達が欲しいですか？ 19. AIはあがったり、焦ったりしますか？ 20. AIはお腹が空きますか？AIは眠くなりますか？
- 5. heuristicsを含む推論 AND-OR木の探索 𝑥𝑒 𝑥2 𝑑𝑥 = ? 𝑥 𝑛 𝑑𝑥 = 1 𝑛 + 1 𝑥 𝑛+1 + 𝐶 𝑒 𝑥 𝑑𝑥 = 𝑒 𝑥 + 𝐶 𝑓 𝑥 𝑑𝑥 = 𝑓 𝑔 𝑡 𝑔′ 𝑡 𝑑𝑡 𝑓′ 𝑥 𝑔 𝑥 𝑑𝑥 = 𝑓 𝑥 𝑔 𝑥 − 𝑓 𝑥 𝑔′ 𝑥 𝑑𝑥
- 6. heuristicsを含む推論 AND-OR木の探索 𝑥𝑒 𝑥2 𝑑𝑥 = 1 2 𝑒 𝑥2 + 𝐶 𝑥 𝑛 𝑑𝑥 = 1 𝑛 + 1 𝑥 𝑛+1 + 𝐶 𝑒 𝑥 𝑑𝑥 = 𝑒 𝑥 + 𝐶 𝑓 𝑥 𝑑𝑥 = 𝑓 𝑔 𝑡 𝑔′ 𝑡 𝑑𝑡 𝑓′ 𝑥 𝑔 𝑥 𝑑𝑥 = 𝑓 𝑥 𝑔 𝑥 − 𝑓 𝑥 𝑔′ 𝑥 𝑑𝑥
- 9. • 本１００万冊分の知識を持ち、人間の言葉を聞い て（不正確）受け答えできるスーパーコンピューターの 人工知能が、米ＣＢＳテレビの人気クイズ番組で 王者２人と対決する。４年がかりで開発した米ＩＢＭ が１３日に発表した。 • ＩＢＭの創業者にちなみ「ワトソン」と命名された人 工知能には、本や映画の脚本、百科事典などから 知識を読み込ませてある。クイズ番組「ジョパ ディ！」 で連続勝ち抜き記録などを持つ王者２人 と全く同じ条件で問題を聞き（不正確） 、英語で答える。 9
- 11. Jeopardy! に関する補足説明 • Clue （ヒント） – REGARDING THIS DEVICE, ARCHIMEDES SAID, "GIVE ME A PLACE TO STAND ON, AND I WILL MOVE THE EARTH" • Correct Response – WHAT IS A LEVER? （てこ） 12
- 13. 歴史的な1日となった2011年2月16日 • 2011年2月16日、IBMリサーチの4年間にわ たる研究成果である質問応答システム Watson が、米国の人気クイズ番組 Jeopardy! に挑戦し、2ゲームを通じて、ワト ソンが最高金額を獲得しました。 17
- 14. Watson: クイズ番組に挑戦する質問 応答システム • 情報処理, Vol. 52, No. 7, pp. 840-849, July 2011. • 質問の解析 • 解答の根拠探し 18
- 17. IBMの「ワトソン」に群がる企業 日本経済新聞2015/5/21 • 日本でのワトソン普及は緒についたばかりだが、世界で は既に米国を中心に17の業種で利用されている • ワトソンは大量の情報を処理する場面で威力を発揮す る。医療、法律、会計、投資…… • 米国ではがん治療にワトソンが欠かせなくなってきてい る • 最新事例では、これまでコンピューターが苦手とされた 創造性・感性やコミュニケーション能力が問われるシー ンでのワトソンの活用も広がる（例：レシピの提示） • http://www.ibm.com/smarterplanet/us/en/ibmwatson/ 21
- 18. IBMワトソンの挑戦 IBM東京基礎研究所 武田浩一氏に聞く https://newspicks.com/user/9187/ 2015/9/15 • 汎用の知的能力を追求するという黎明（れいめい）期の考え方か ら、ビッグデータを背景に特定のタスクを極めて高精度かつ高速 に実行するやり方に転換することで、成功するようになった • 真か偽かといった推論だけではなく、大量のデータとその出現頻 度に基づいて、統計的なモデル化を行い、ある解答がどのくらい の頻度（確度）で起こり得るかを考慮する • さまざまな手がかりから、それが最も可能性が高いと指し示す解 答候補の断片的な情報（根拠）を集めることで、正解に対する確 信度が上がっていく • 医療分野、コールセンター、資産運用、おもちゃ「コグニトーイズ」 22
- 19. 3. AIは画像認識できますか？ • AI研究の進展にともなって、人間にとって易しいこと （誰でもできること／子どもでもできること／考えずに できてしまうこと）の方がAIには難しいことが分かって きた。 • 人間にとって易しいことの典型例である画像認識（一 般に認識）は、長い間、AIが苦手なことの1つだった。 • CNN (Convolutional Neural Network: 畳込みニュー ラルネット)の急速な発展で、特定のデータセットに対 しては人を超える認識精度を達成 [He+, Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification, ICCV '15] • CNNは、視覚皮質の腹側経路と高い類似性
- 20. コンテクスト理解や高 レベルの知識が必要 なもの、日常生活の 事物は、まだ苦手 人が苦手 な細分類 は得意 [He+, Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification, ICCV '15]
- 21. CNNの構成例 [Krizhevsky+, ImageNet Classification with Deep Convolutional Neural Networks, NIPS 2012] 入力 画像 convolution convolution convolution convolution convolution normalization pooling normalization pooling pooling 全結合×3 softmax 正しく分類できるように重みを学習 - ReLU nonlinearity - Data augmentation - Dropout どんな特徴がどこ にあるかを表現
- 22. 物体検出 [Ren+, Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, 2015]
- 23. [Vinyals+, Show and Tell: A Neural Image Caption Generator, 2015] キャプション生成 開始記号 次の単語の 確率分布 one-hot vector word embedding vector 512次元 画像分類の学習をした CNNの最終隠れ層 この和を最大に するよう学習 確率分布に従って1つサンプリングするのでなく、サイズ20のbeam search キャプション付きデータは 少ないので、過学習防ぐた めに固定 512次元
- 25. 4. AIはチェス／将棋／囲碁／ポー カーができますか？ • チェス – IBMのディープ・ブルーが世界チャンピオンのカスパ ロフに2勝1敗3分（1997年） • 将棋 – 特集：あから2010勝利への道,情報処理, Vol. 52, No. 2, pp. 152-190, 2011. • 実現確率探索、評価関数の機械学習 • 合議法、ゲーム木分散探索法 – コンピュータ将棋プロジェクトの終了宣言（2015年： 情報処理学会） • コンピュータ将棋の実力は2015年の時点でトッププロ棋士 に追い付いているという分析結果
- 27. Figure 1: Neural network training pipeline and architecture. 31
- 28. 教師付き学習：盤面の状態𝑠に対して専門家と同じ手 𝑎を打つ確率𝑝が最大になるように、深層ニューラル ネットの重み𝜎を調整 (確率的勾配降下法上昇法; stochastic gradient descent ascent) 𝑝 𝜎 専門家と同じ手を打つよう、教師付き学習
- 29. 教師付き学習：盤面の状態𝑠に対して専門家と同じ手 𝑎を打つ確率𝑝が最大になるように、深層ニューラル ネットの重み𝜎を調整 (確率的勾配降下法上昇法; stochastic gradient descent ascent) 𝑝 𝜎 専門家と同じ手を打つよう、教師付き学習
- 31. 強化学習：過去の自分と対戦し、盤面の状態𝑠𝑡におい て手𝑎 𝑡を打ったら最終的に勝った（𝑧𝑡 = 1）場合は、確 率𝑝(𝑎 𝑡|𝑠𝑡)が増えるようにニューラルネットの重み𝜌を 調整（勾配上昇）。負けた（𝑧𝑡 = −1）場合は減るように 調整（勾配降下）。 𝑝 𝜌 自己対戦に勝つよう、強化学習
- 33. ゲーム木の探索: Monte-Carlo Tree Search • 囲碁はプロのレベルには程遠いと言われてき たが、Monte-Carlo Tree Searchの登場で、 2006年以降、急激に強くなった。 • 囲碁はなぜ難しいか？ – 探索空間が大きい – 局面の評価が難しい（勝敗がつくまで探索するこ とはできないので、途中の局面の評価が必要） 37
- 34. Monte-Carlo Tree Search • モンテカルロ法 – 乱数を用いて終局までプレイ（プレイアウト）した 結果によって局面を評価する – プレイアウトの回数を増やせば、それなりに良い 評価値 – ランダムに手を選ぶので、評価値が、適切でない 手を打った場合に大きく影響される可能性 38
- 35. Monte-Carlo Tree Search • Monte-Carlo Tree Search – 有望な手に多くのプレイアウトを割り当てる – プレイアウトが多数回行われると、その手 を展開し、プレイアウトを開始する節点を1 つ深くする – 評価値は、何目勝ったかでなく、勝ち(1)／ 負け(0) – 囲碁の知識を用いて、良さそうな手から探 索木を深くしていく – 人間の棋譜から自動的にパターンを学習し、 乱数を用いた手の選択に制約を加える 39
- 36. 参考解説記事（囲碁） • 美添一樹, モンテカルロ木探索：コンピュータ 囲碁に革命を起こした新手法, 情報処理, Vol. 49, No. 6, pp. 686-693, 2008. • ミニ特集, コンピュータ囲碁の最前線, 情報処 理, Vol. 54, No. 3, pp. 232-250, 2013. • 特集, コンピュータ囲碁, 人工知能, 29巻, ４ 号, pp. 311-325, 2014. – モンテカルロアプローチは革命をもたらしたが, 進 歩の速度はここ1～2年鈍化. 40
- 37. Figure 3: Monte Carlo tree search in AlphaGo. 41 深層学習した policy network や value network を使って、Monte Carlo tree search で先読みし て打つ手を決定
- 38. poker • 不完全情報ゲーム [Moravčík+, DeepStack: Expert-level artificial intelligence in heads-up no-limit poker, 2017]
- 40. 5. AIは翻訳できますか？AIは意味を 理解できますか？ [Wu+, Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, 2016]
- 41. sequence-to-sequence learning framework with attention LSTM, stacked LSTM, residual connections, bidirectional LSTM, sub-word units, … 知识就是力量 Knowledge is power それまでに読み込んだ全ての単 語の意味を表現しているベクトル 1単語ずつ出力 どこに注目 するかを変 化させつつ
- 42. word2vec 単語 one-hot vector 周りの単語 one-hot vector 300次元とかの vector vector X = vector(”biggest”)−vector(”big”) + vector(”small”) cosine distanceでXに一番近い単語→smallest Paris – France + Japan = Tokyo [Mikolov+, Efficient Estimation of Word Representations in Vector Space, 2013] 「Parisという単語の周りに出てくる単語」と「Franceとい う単語の周りに出てくる単語」の違いは、「Tokyoという単 語の周りに出てく単語」と「Japanという単語の周りに出 てくる単語」の違いと似ている。
- 43. word2vecの解説 損失関数𝐸を最小にするように𝑊’ と𝑊を誤差逆伝搬学習。 𝐸 = − log 𝑝(𝑤 𝑂|𝑤𝐼) 𝑤𝐼: 入力単語 𝑤 𝑂: 前後に出現した単語 [Rong, word2vec Parameter Learning Explained, 2014] 入力単語 one-hot vector 各単語が入力単 語の周りに出現 する確率 (softmax) 共通 ある種の 意味表現 線形変換 00100・・・00000 × × = = 10000次元とか 300次元とか 𝑊 𝑊′
- 44. 意味を理解しているか？ • Neural Machine Translation や Word2vec は、字面の表層的な統計情報を知ってるだけ で、意味なんて分かってないじゃん。 ↓ • キャプション生成は、画像との対応も分かっ てるけど、それでも意味は分かってない？
- 45. [Vinyals+, Show and Tell: A Neural Image Caption Generator, 2015] キャプション生成 開始記号 次の単語の 確率分布 one-hot vector word embedding vector 512次元 画像分類の学習をした CNNの最終隠れ層 この和を最大に するよう学習 確率分布に従って1つサンプリングするのでなく、サイズ20のbeam search キャプション付きデータは 少ないので、過学習防ぐた めに固定 512次元
- 46. 意味を理解しているか？ • Neural Machine Translation や Word2vecは、 字面の表層的な統計情報を知ってるだけで、意 味なんて分かってないじゃん。 ↓ • キャプション生成は、画像との対応も分かってる けど、それでも意味は分かってない？ ↓ • これでもまだ分かってないのだとすると、人は （あなたは）、それ以外にどのような意味を理解 しているのか？
- 47. 6. AIは創造的なこと（絵を描く／作曲 ／小説を書く／科学的発見）ができま すか？ 参考資料 • クローズアップ現代「進化する人工知能 つ いに芸術まで！？」2016年7月12日(火)放送 http://www.nhk.or.jp/gendai/articles/3837/1.html
- 51. 10. AIは学習／発達しますか？ • transfer learning • multitask learning • continual learning • meta-level learning • learning to learn • lifelong learning machines • bootstrapping • autopoiesis
- 52. [Fernando+, PathNet: Evolution Channels Gradient Descent in Super Neural Networks, 2017]
- 53. Reusable modules [Andreas+, Neural Module Networks, 2016]
- 54. Modules
- 55. Modules
- 56. What color is his tie? Is there a red shape above a circle?
- 63. 強化学習 環境 エージェント 行動 𝑎状態 𝑠 報酬 𝑟 Objective: get as much reward as possible
- 64. 遅れのある報酬も考慮したQ学習：行動価値は将来もらえる 報酬（割引率 𝛾 で減衰）の和の期待値に収束 discounted return 69 S U T W V A B C D E 10 2 ttt a ttttt asQasQrasQasQ ,,max,, 11 エピソード 行 動 価 値
- 65. 行動選択 • ソフトマックス法 𝑒 𝑄(𝑠,𝑎)/𝜏 𝑒 𝑄(𝑠,𝑏)/𝜏𝑛 𝑏=1 𝑒 𝑄(𝑠,𝑎)/𝜏 に比例した確率で行動選択 温度定数 𝜏 が大きくなればランダムな選択に、𝜏 が小さ くなれば一番報酬が多いと思われる選択をする方法に 近づく
- 67. いろいろな内発的動機づけ • 新奇性、好奇心 • 親近性、予測可能性、学習容易性、課題の 分量・時間制限 • 達成感 • 対人交流、他者からの受容感 • 目標（能力を高める、知る、他者に勝つ、それ らができないことを避ける） • 自己効力感（うまくできるという自信）、有能感 （能力を発揮できているという感覚） • 自己決定感、自律性 面白さ、興味、関心
- 68. Formal Theory of Creativity & Fun & Intrinsic Motivation (1990-2010) by Jürgen Schmidhuber http://people.idsia.ch/~juergen/creativity.html • (A) an adaptive predictor of the growing data history as the agent is interacting with its environment • (B) a reinforcement learner selecting the actions that shape the history • (B) is motivated to learn to invent interesting things that (A) does not yet know but can easily learn.
- 69. （つづき） • To maximize future expected reward, (B) learns more and more complex behaviors that yield initially surprising (but eventually boring) novel patterns that make (A) quickly improve.
- 70. （つづき） • O(t): the state of some observer O at time t • H(t): its history of previous actions & sensations & rewards until time t • Beauty B(D,O(t)) of any data D: the negative number of bits required to encode D • Interestingness I(D,O(t)) of data D for observer O at discrete time step t>0: I(D,O(t))= B(D,O(t))-B(D,O(t-1))
- 71. （つづき） • Intrinsic reward ri(t)=I(H(t),O(t)) • External reward re(t) • Total reward r(t)=g(ri(t),re(t)), e.g., g(a,b)=a+b
- 72. （つづき） Implementations • Intrinsic reward: prediction error • Intrinsic reward: improvements in prediction error • Intrinsic reward: relative entropies between the agent's priors and posteriors
- 73. 参考資料 • Second Interdisciplinary Symposium on Information-Seeking, Curiosity and Attention https://openlab-flowers.inria.fr/t/second- interdisciplinary-symposium-on-information-seeking- curiosity-and-attention-neurocuriosity-2016/187 • Information-seeking, curiosity, and attention: computational and neural mechanisms http://www.pyoudeyer.com/TICSCuriosity2013.pdf
- 77. • 人間は、ある状況下において、複数の選択肢の中か ら自発的に選ぶことができるので知的であるが、 • 計算機はプログラムされた通りに選択するので知的 でない。 • 本当か？ • あなたは、本当に自由意志を持っていますか？ • 経験に応じて神経回路網が構成され、ある時点のそ の回路への入力（外界からの信号）と、入力履歴を反 映した内部状態に応じて、出力（行動）が決まったの ではありませんか？ • 参考：消去主義(eliminativism)
- 80. 18. AIは共感できますか？AIは愛す ることができますか？AIは友達が欲し いですか？ 参考図書 • 「ヒトはなぜ協力するのか」マイケル・トマセロ (橋彌和秀 訳) • 「ソーシャルブレインズ：自己と他者を認知す る脳」 • 岩波講座：コミュニケーションの認知科学 第2 巻「共感」 • 岩波講座：コミュニケーションの認知科学 第3 巻「母性と社会性の起源」
- 84. レポート課題 1. AIは意味理解の少なくとも一部は現状でもでき ていると思うが、まだできていないのはどのよう な意味理解か？あなたの考えを述べよ。 2. 「友達が欲しいと思うAI」を作るための具体的な 方法を述べよ。 3. 「神様を信じるAI」を作るための具体的な方法 を述べよ。 • 提出先：moodle • 締切：5月12日（金）