Recommended
More Related Content
What's hot
What's hot (9)
Similar to 人工知能技術の現状-今後の見通し-社会へのインパクト-岡夏樹
Similar to 人工知能技術の現状-今後の見通し-社会へのインパクト-岡夏樹 (20)
More from KIT Cognitive Interaction Design
More from KIT Cognitive Interaction Design (20)
人工知能技術の現状-今後の見通し-社会へのインパクト-岡夏樹
- 2. 概要 最近発展が著しい人工知能（AI）技術を次のように整理 してできるだけ分かりやすく解説 1. AIにとっては難しいと言われてきたことで最近できる ようになったこと。これらが共通に持つ性質は何か。 2. 最新のAIでも難しいこと。それらはなぜ難しいのか。 3. 将来の見通し。いつ頃、何ができるようになりそうか。 4. 社会へのインパクト。最近AIによってできるように なったこと、近い将来できるようになりそうなことは、 社会をどう変革するか？我々はそれにどう備えるべ きか？ 最後に、本学で保有するAI技術とその応用例の一部を 簡単に紹介
- 3. 1. AIにとっては難しいと言われてきた ことで最近できるようになったこと。こ れらが共通に持つ性質は何か。 • 子どもでもできるようなことが実は難しいと言われてき た。 – 例：画像認識、会話 • 専門家がすることの方が何とかなると言われてきた。 しかし、 – 1966年：ALPACレポート（機械翻訳の実用化は近い将来 不可能だが、基礎研究には支援が必要）→実際には、機 械翻訳の研究支援は打ち切られ、研究は停滞した。また、 実際、つい最近まで使い物にならなかった。 – 囲碁の世界チャンピオンに勝つのは何十年も先だと思わ れていた。 • 自動運転も、まだまだ先だと思われていたが・・・
- 4. 画像認識 • AI研究の進展にともなって、人間にとって易しいこと （誰でもできること／子どもでもできること／考えずに できてしまうこと）の方がAIには難しいことが分かって きた。 • 人間にとって易しいことの典型例である画像認識（一 般に認識）は、長い間、AIが苦手なことの1つだった。 • CNN (Convolutional Neural Network: 畳込みニュー ラルネット)の急速な発展で、特定のデータセットに対 しては人を超える認識精度を達成 [He+, Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification, ICCV '15] • CNNは、視覚皮質の腹側経路と高い類似性
- 5. コンテクスト理解や高 レベルの知識が必要 なもの、日常生活の 事物は、まだ苦手 人が苦手 な細分類 は得意 [He+, Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification, ICCV '15]
- 6. CNNの構成例 [Krizhevsky+, ImageNet Classification with Deep Convolutional Neural Networks, NIPS 2012] 入力 画像 convolution convolution convolution convolution convolution normalization pooling normalization pooling pooling 全結合×3 softmax 正しく分類できるように重みを学習 - ReLU nonlinearity - Data augmentation - Dropout どんな特徴がどこ にあるかを表現
- 7. 物体検出 [Ren+, Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, 2015]
- 8. [Vinyals+, Show and Tell: A Neural Image Caption Generator, 2015] キャプション生成 開始記号 次の単語の 確率分布 one-hot vector word embedding vector 512次元 画像分類の学習をした CNNの最終隠れ層 この和を最大に するよう学習 確率分布に従って1つサンプリングするのでなく、サイズ20のbeam search キャプション付きデータは 少ないので、過学習防ぐた めに固定 512次元
- 10. 翻訳；意味理解 • 1966年：ALPACレポート（機械翻訳の実用化 は近い将来不可能だが、基礎研究には支援 が必要）→実際には、機械翻訳の研究支援 は打ち切られ、研究は停滞した。 • パーセプトロンの限界[Minsky & Papert, Perceptrons, 1969]
- 11. [Wu+, Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, 2016]
- 12. sequence-to-sequence learning framework with attention LSTM, stacked LSTM, residual connections, bidirectional LSTM, sub-word units, … 知识就是力量 Knowledge is power それまでに読み込んだ全ての単 語の意味を表現しているベクトル 1単語ずつ出力 どこに注目 するかを変 化させつつ
- 13. word2vec 単語 one-hot vector 周りの単語 one-hot vector 300次元とかの vector vector X = vector(”biggest”)−vector(”big”) + vector(”small”) cosine distanceでXに一番近い単語→smallest Paris – France + Japan = Tokyo [Mikolov+, Efficient Estimation of Word Representations in Vector Space, 2013] 「Parisという単語の周りに出てくる単語」と「Franceとい う単語の周りに出てくる単語」の違いは、「Tokyoという単 語の周りに出てく単語」と「Japanという単語の周りに出 てくる単語」の違いと似ている。
- 14. word2vecの解説 損失関数𝐸を最小にするように𝑊’ と𝑊を誤差逆伝搬学習。 𝐸 = − log 𝑝(𝑤 𝑂|𝑤𝐼) 𝑤𝐼: 入力単語 𝑤 𝑂: 前後に出現した単語 [Rong, word2vec Parameter Learning Explained, 2014] 入力単語 one-hot vector 各単語が入力単 語の周りに出現 する確率 (softmax) 共通 ある種の 意味表現 線形変換 00100・・・00000 × × = = 10000次元とか 300次元とか 𝑊 𝑊′
- 15. 意味を理解しているか？ • Neural Machine Translation や Word2vec は、字面の表層的な統計情報を知っているだ けで、意味は分かっていない？ ↓ • キャプション生成は、画像との対応も分かっ ているが、それでも意味は分かっていない？
- 16. [Vinyals+, Show and Tell: A Neural Image Caption Generator, 2015] キャプション生成 開始記号 次の単語の 確率分布 one-hot vector word embedding vector 512次元 画像分類の学習をした CNNの最終隠れ層 この和を最大に するよう学習 確率分布に従って1つサンプリングするのでなく、サイズ20のbeam search キャプション付きデータは 少ないので、過学習防ぐた めに固定 512次元
- 17. 意味を理解しているか？ • Neural Machine Translation や Word2vecは、 字面の表層的な統計情報を知っているだけで、 意味は分かっていない？ ↓ • キャプション生成は、画像との対応も分かってい るが、それでも意味は分かっていない？ ↓ • これでもまだ分かっていないのだとすると、人は （あなたは）、それ以外にどのような意味を理解 しているのか？
- 18. ヒューマン‐ロボット・インタラクション を通した終助詞の意味獲得 [岡 夏樹, ヒューマン‐ロボットインタラクションを通した終助詞の意味獲得, 日本認知言語学会 第18回全国大会ハンドブック, pp. 27-30, 2017]
- 19. 終助詞の意味をどのようなものだと捉 えるか • 人が意図したロボットの内面（外からは直接観測でき ない）や外面への働きかけ • ロボットが「リンゴだよ。」と言われたら、共同注視して いるものの名前がリンゴであると記憶し、これを理解し たことをうなずきにより表出するとよい。 • 「おいしそうだね。」と言われたら、自分もおいしそうだ と思っていることをうなずきにより表出し、共感を「ね ～」という発話により表出するとよい。（どちらに対する 評価か） • 「バナナですか。」と言われたら、目の前の果物と記憶 内容を比較し、一致したかどうかをうなずきまたは首 振りで表出するとよい。
- 21. Figure 1: Neural network training pipeline and architecture. 21
- 22. 教師付き学習：盤面の状態𝑠に対して専門家と同じ手 𝑎を打つ確率𝑝が最大になるように、深層ニューラル ネットの重み𝜎を調整 (確率的勾配降下法上昇法; stochastic gradient descent ascent) 𝑝 𝜎 専門家と同じ手を打つよう、教師付き学習
- 23. 教師付き学習：盤面の状態𝑠に対して専門家と同じ手 𝑎を打つ確率𝑝が最大になるように、深層ニューラル ネットの重み𝜎を調整 (確率的勾配降下法上昇法; stochastic gradient descent ascent) 𝑝 𝜎 専門家と同じ手を打つよう、教師付き学習
- 25. 強化学習：過去の自分と対戦し、盤面の状態𝑠𝑡におい て手𝑎 𝑡を打ったら最終的に勝った（𝑧𝑡 = 1）場合は、確 率𝑝(𝑎 𝑡|𝑠𝑡)が増えるようにニューラルネットの重み𝜌を 調整（勾配上昇）。負けた（𝑧𝑡 = −1）場合は減るように 調整（勾配降下）。 𝑝 𝜌 自己対戦に勝つよう、強化学習
- 27. ゲーム木の探索: Monte-Carlo Tree Search • 囲碁はプロのレベルには程遠いと言われてき たが、Monte-Carlo Tree Searchの登場で、 2006年以降、急激に強くなった。 • 囲碁はなぜ難しいか？ – 探索空間が大きい – 局面の評価が難しい（勝敗がつくまで探索するこ とはできないので、途中の局面の評価が必要） 27
- 28. Monte-Carlo Tree Search • モンテカルロ法 – 乱数を用いて終局までプレイ（プレイアウト）した 結果によって局面を評価する – プレイアウトの回数を増やせば、それなりに良い 評価値 – ランダムに手を選ぶので、評価値が、適切でない 手を打った場合に大きく影響される可能性 28
- 29. Monte-Carlo Tree Search • Monte-Carlo Tree Search – 有望な手に多くのプレイアウトを割り当てる – プレイアウトが多数回行われると、その手 を展開し、プレイアウトを開始する節点を1 つ深くする – 評価値は、何目勝ったかでなく、勝ち(1)／ 負け(0) – 囲碁の知識を用いて、良さそうな手から探 索木を深くしていく – 人間の棋譜から自動的にパターンを学習し、 乱数を用いた手の選択に制約を加える 29
- 30. 参考解説記事（囲碁） • 美添一樹, モンテカルロ木探索：コンピュータ 囲碁に革命を起こした新手法, 情報処理, Vol. 49, No. 6, pp. 686-693, 2008. • 特集, コンピュータ囲碁, 人工知能, 29巻, ４ 号, pp. 311-325, 2014. – モンテカルロアプローチは革命をもたらしたが, 進 歩の速度はここ1～2年鈍化. 30
- 31. Figure 3: Monte Carlo tree search in AlphaGo. 31 深層学習した policy network や value network を使って、Monte Carlo tree search で先読みし て打つ手を決定
- 32. AlphaGo Zero Mastering the game of Go without human knowledge 354 | NATURE | VOL 550 | 19 OCTOBER 2017 • Previous versions of AlphaGo initially trained on thousands of human amateur and professional games to learn how to play Go. AlphaGo Zero skips this step and learns to play simply by playing games against itself, starting from completely random play.
- 34. AlphaZero Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm (Submitted on 5 Dec 2017)
- 35. poker • 不完全情報ゲーム [Moravčík+, DeepStack: Expert-level artificial intelligence in heads-up no-limit poker, 2017]
- 36. 自動運転 Bojarski+, End to End Learning for Self-Driving Cars, arXiv:1604.07316, 2016. Bojarski+, Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car, arXiv:1704.07911, 2017.
- 37. 1. AIにとっては難しいと言われてきた ことで最近できるようになったこと。こ れらが共通に持つ性質は何か。 • 画像認識、翻訳、囲碁、自動運転、・・・ • 画像認識、翻訳、自動運転 ← 教師付き学習：大量の例 • 囲碁 ← 強化学習：自動で評価可能
- 38. 強化学習 環境 エージェント 行動 𝑎状態 𝑠 報酬 𝑟 Objective: get as much reward as possible
- 39. 2. 最新のAIでも難しいこと。それらは なぜ難しいのか。 • （画像認識、翻訳、自動運転のように）大量の 例があれば教師付き学習できるが、大量の 例を用意するのは簡単ではない。 • （囲碁のように）自動で評価可能であれば複 雑なタスクでも強化学習できるが、人手で評 価するしかないことも多い。 • 翻訳や対話は近年急速にできるようになって きたが、（一部の意味はとらえているものの） 人と同様に意味理解しているわけではない。
- 40. 2. 最新のAIでも難しいこと。それらは なぜ難しいのか。（つづき） • センサ・モータ系の学習（深層学習）と記号を 使った処理（Good Old-Fashioned AI (GOFAI)）がまだ十分つながっていない。
- 41. Learning Visual Predictive Models of Physics for Playing Billiards Fragkiadaki+, ICLR2016.
- 42. The Predictron: End-To-End Learning and Planning Silver+, ICML2017.
- 43. 3. 将来の見通し。いつ頃、何ができる ようになりそうか。 将来予測は難しいですが・・・ • 深層学習の急速な進歩の延長線上の加速度的 な発展は、今後の5年から10年程度は続くと思 います。 • 深層学習の単純な延長線上にはないと考えられ ている意味理解や、抽象的な記号処理との統 合・融合も、もしかすると延長線上にあるかもし れません。あるいは、10年程度以内に統合・融 合のブレイクスルーがあるかもしれません。
- 44. 4. 社会へのインパクト。最近AIによってでき るようになったこと、近い将来できるようにな りそうなことは、社会をどう変革するか？ 我々はそれにどう備えるべきか？ 経済、社会、教育、雇用等の大変革があると思い ます。それに備えて • AIを使える人材、AI研究をリードできる人材を育 てる ⇒ 履修証明プログラム「機械学習基本技 能習得プログラム」 • AIの進展に応じて教育を変える（例：機械翻訳が できる時代の外国語教育） • 社会への影響、社会受容、社会制度等の検討 • ・・・
- 45. 履修証明プログラム「機械学習基本 技能習得プログラム」 • https://www.kit.ac.jp/events/events180522/ • 参考：現在開講中のプログラムの情報（途中か らの受講はできませんので、次回以降の受講を ご検討ください） – 開催日時：2018年5月22日（火）～9月18日（火） 【火・金】18:00～21:10 – 会場：大阪市北区堂島浜1-2-1 新ダイビル – 各回は演習科目(18:00～19:30)と講義科目(19:40 ～21:10)の組み合わせ。講義時間で身に付けた内 容を次回の演習時間で確認することで、より確かな 知識の定着を目指します。
- 47. 情報知能システム研究室 技術紹介 (1/3) 飯間 等 (iima@kit.ac.jp) 高速な深層学習アルゴリズムの開発 … … … … 深層学習の性能は学習 アルゴリズムに強く依存 従来の学習アルゴリズム （Adamなど）より、高速な 学習アルゴリズムを提案 国際会議で発表し、優秀 論文賞を受賞 提案法 Adam Adadelta 横軸：計算回数、縦軸：誤差 Watanabe, Iima: Extension of Stochastic Gradient Descent Method for Nonlinear Optimization Problems with Summed Functions, 6th Asian Conference on Information Systems, pp.37-42 (2017)
- 48. 情報知能システム研究室 技術紹介 (2/3) 飯間 等 (iima@kit.ac.jp) 再学習不要な強化学習法の開発 従来の強化学習は新しい 状況で再学習が必要 再学習不要な方法を提案 ゲームのコンペティション で最高得点を獲得 プロ棋士に勝利した囲碁 AI を上回る AI が昨年提案 され、この AI で使われた強化学習が注目されている。 Oonishi, Iima: Improving Generalization Ability in a Puzzle Game Using Reinforcement Learning, IEEE Conference on Computational Intelligence in Games (2017)
- 49. 情報知能システム研究室 技術紹介 (3/3) 飯間 等 (iima@kit.ac.jp) 遺伝的アルゴリズムによる生産管理システムの構築 生産スケジュールや運用計画の最適化によりコスト の削減を実現できるが、その最適化は一般に困難 AI 技術の１つである遺伝的アルゴリズムで最適化 するシステムを構築 例：自動仕分けシステム レーンからコンベアへの 製品の落とし方を最適化 コンベア レーン 飯間，河野，小熊：自動ピッキングシステムの運用計画ベンチマーク問題，電気学会論文誌C， 第135巻第10号，pp.1270-1278 (2015)
- 50. 深層学習によるヘイトスピーチ動画判定 システム 50 スペクトログラム （1分間，5秒間） から判定 画像群から判定 最大法 or 多数決法 分割動画 ヘイトスピーチ である確率 ヘイトスピーチ である確率 音声特徴量から判定 動画 音声 マルチメディアデータ工学研究室 渡邉, 宝珍, 野宮：ディープラーニングによるヘイトスピーチ動画の判定，DEIM Forum 2017, 2017.
- 51. テキスト分類手法を用いたソフトウェア不具合検出 水野 修 教授 H. Hata, O. Mizuno, and T. Kikuno, "Fault-Prone Module Detection Using Large-Scale Text Features Based on Spam Filtering," Empirical Software Engineering, 15(2), pp. 147-165, April 2010. 学習 予測 単語に分解 単語に分解
- 52. 実験の結果 正答率は 80%前後 (従来手法よりやや良) 再現率 (本物のバグを網羅できる率) が高い 52 Result 予測 NFP FP 実測 non-faulty 30,521 11,982 faulty 2,360 25,281 適合率: 0.678 再現率: 0.915 正答率: 0.796
- 53. Word-CNNを用いたコミット内不具合検出手法 水野 修 教授 • 変更の特徴を使って分類器を学習 • 変更されたソースコード片だけから、変更後すぐ、不具合混入リスク を計算 近藤, 森, 水野, 崔, “深層学習によるソースコードコミットからの不具合混入予 測,” 情報処理学会論文誌, 59(4), pp. 1250-1261, 2018年4月. (特選論文) if foo bar else bar foo Network Architecture Embedding size 1st: Embedding layer 2nd: Convolution/max-pooling layer 3rd: Fully-connected layer text vector feature maps Source code snippet Word segmentation with lscp 2else foo 3 if 1 Mapping Preprocess text vectors convolution max-pooling buggy clean 前処理部：ソースコードをCNNが 扱える形に整形 ネットワーク部: 分類のための処理
- 54. RQ: 提案手法W-CNNは既存のテキスト分類器より もソースコード片の分類能力が高いか？ 54 既存のテキスト分類器と比較しても，学習を進めることで W-CNNは良い性能を記録． W-CNN 50は，Precision以外で他のモデルよりも良い性能 既存のモデルはPrecisionとRecallのバランスが悪く，W-CNNよりF1値 が低い 評価指標 W-CNN 15 W-CNN 50 BoW Bigram BoW- TFIDF Bigram- TFIDF AUC 0.803 0.817 0.796 0.807 0.756 0.783 F1 0.727 0.743 0.717 0.725 0.700 0.712 Precision 0.733 0.736 0.735 0.748 0.673 0.699 Recall 0.722 0.752 0.703 0.708 0.742 0.732 赤: 1番高い値 緑: 2番目に高い値
- 55. Artificial intelligence aided detection and diagnosis of ground- glass opacity nodules Du W.1*, Yuan D.2 , Wang J. 2, Duan X.2, Miao Y. 2, Ma Y.3, Zhang H. 3 1* Kyoto Institute of Technology, Kyoto, Japan, 2 Tianjin Polytechnic University, Tianjin, China 3 Tianjin Chest Hospital, Tianjin, China 80.6 % 19.4 % Cancer death cases other cancers The current status of lung cancer A ground-glass opacity nodule Computer Assisted Radiology and Surgery 2018 in Berlin June 20-23, 2018
- 57. 高齢者の生活を支援する対話システム （荒木雅弘 准教授） • 健康管理 – 血圧・心拍数などの記録・モニター • 地域情報の提供 – 生活支援、利用者に適したイベントの推薦 • 個人適応した雑談機能 – ユーザが好む話題を機械学習 R. Ono, Y. Nishizeki, M. Araki: Virtual Dialogue Agent for Supporting a Healthy Lifestyle of the Elderly, In Proc. IWSDS 2018. http://www.colips.org/conferences/iwsds2018/wp/wp-content/uploads/2018/03/IWSDS-2018_paper_32.pdf
- 58. 最近、および、進行中のAI応用事例（岡） • 翻訳のインタラクションデザイン（パナソニック；本学 のデザイン学 櫛教授との共同） – http://100banch.com/projects/fukidashi/ – https://www.cnbc.com/2018/03/15/fukidashi-translation- device-may-be-at-2020-olympics-in-tokyo.html • AIスピーカ関連（TIS株式会社；田中助教との共同） • 運送業における医療情報を基にした重症化発症モ デルの構築（日本システム技術株式会社；SGホール ディングスグルー プ健康保険組合；荒木准教授との 共同） • 対話アプリケーション • ・・・