Hideo Hirose, profile picture
Uploaded byHideo Hirose
338 views

データを読む感性

Hiroshima Institute of Technology Symposium in 2018 広島工業大学シンポジウム「AIが奪う仕事、AIが創る仕事」

Embed presentation

データを読む感性 廣瀬 英雄 広島工業大学データサイエンス研究センター 2018.12.9 平成30年度第32回広島工業大学公開シンポジウム 広島工業大学の廣瀬でございます。 これは、1990年1月のStanford Dailyという大学新聞の1ページです。何をしているかと いいますと、この数の13乗根を求めようとしています。しかも、暗算です。彼の名は、 John Overdeck。30年前というと、ようやくパソコンが使われ始めた頃ですから、暗算 で正解を出した彼は驚くべき頭脳の持ち主だとわかります。
John Overdeck 1986年、ポーランドで開かれた第7回 国際数学オリンピックで銀メダルを獲得 した16歳のジョン・オーバーデックは、 co-founder of Two Sigma Investments 今、ビッグデータをかき集め、機械学習で分析するクオンツ 運用派の代表格 https://forbesjapan.com/articles/detail/12671 Stanford University 卒 US$5.5 billion (November 2018) vice president at Amazon.comREAL TIME NET WORTH 6,000億円以上 クオンツ運用は、高度な数学的テクニックを駆使し、マーケット（株式、 債券、為替、金利、コモディティ）や経済情勢などのデータをコンピュー タで分析して作られた「数理モデル」に従って運用する投資スタイル https://www.ifinance.ne.jp/glossary/fund/fun125.html （間をあける） これが現在の姿。数学と統計学を修得した彼は、今、ビッグデータをかき集め、機 械学習で分析するクオンツ運用派の代表格になっています。 Photo: Paul Harris / Getty Images https://courrier.jp/news/archives/121792/ Marilyn vos Savant IQ228！ 「世界最高の天才」 AI モンティ・ホール問題で有名な もう一人。Marilyn vos Savantという女性です。彼女はIQ228という世界的な記録を 持っていて、ギネスに登場しています。
Photo: Paul Harris / Getty Images 驚くべき頭脳を持つ人たち AI 二人のような人物はまれに見るすぐれた知能の持ち主だと思いますが、 Photo: Paul Harris / Getty Images AI ヒトの知能を上回るロボット シンギュラリティ Human 驚くべき頭脳を持つ人たち 今、そのヒトの知能を上回るロボットが出現する時期はもう間近ではないか、と言われ ています。 そのような時期をシンギュラリティーと言います。 右の女性は、Ex MachinaというSF映画のロボットです。
https://www.amazon.co.jp/gp/video/detail/B01KT8EB7U Ex Machina 「機械仕掛けの神」 Ava Caleb boss Nathan AI ロボットの名前はAvaと言います。左側のNathanがAvaを作り、彼は、真ん中の部下 ケイレブに、Avaが人間かロボットか、見分けられるかというチューリングテストを 行なうよう指示します。 Avaは、Nathanから逃れたいため、テストの最中、ケイレブに恋心を抱かせるように 振る舞い、結局、彼の心を支配して目的を達成しようとします。 SFですが、AIの正体がわからないと、シンギュラリティーはここまでいくのかと想像 して、怖くなるかもしれません。そこで、いくつかの例をとりあげながら、今のAIと は一体どんなものか、見てみようと思います。 ワトソンが専門医でもわからなかったガンを特定した 膨大なゲノム情報を扱う がん医療に不可欠なAI www.innervision.co.jp/ressources/pdf/innervision2017/iv201707_018.pdf Watson for Genomics(WfG) ① 骨髄異形成症候群 + 別の白血病を発症している可能性 3つの例を説明します。 はじめに、ワトソンです。東大の医科研が、ワトソンとスーパーコンピュータを使って、 専門医でもわからなかったガンを特定したというニュースはみなさん覚えておられるこ とと思います。患者は、初め、専門医から骨髄異形成症候群と診断され、その治療を しましたが効果がありませんでした。 そこに、ワトソンは、ゲノムの変異を、PubMedと呼ばれる世界中から集められた医学 関連の論文の知識と関連づけ、別の白血病を発症している可能性を指摘してくれました。 その治療法の効果があったということです。 これは、ビッグデータの中から適切なものを高速に探し出すということにあたり、従 来から行われていたAIにあたります。
AlphaGoが人間のプロ囲碁棋士を破った 過去の勝負を学習させた 深層学習 Deep Learning ニューラルネットワーク 計算量との格闘 （先読みパターンなし） 盤面の評価関数 value network次の手を選ぶための policy network モンテカルロ木探索 MCTS ② Google DeepMindによって開発されたコンピュータ囲碁プログラム 名人の勝負を学習 教師ポリシー supervised learning (SL) policy 強化学習ポリシー reinforcement learning (RL) policy 自己シミュレーション 評価と探索の結合 各手での勝つ確率分布 最適な一手 最適解の探索 確率勾配 Mastering the game of Go with deep neural networks and tree search 4 8 4 | N A T U R E | V O L 5 2 9 | 2 8 J A N U A R Y 2 0 1 6 All games of perfect information have an optimal value function, v* (s), which determines the outcome of the game, from every board position or state s, under perfect play by all players. These games may be solved by recursively computing the optimal value function in a search tree containing approximately bd possible sequences of moves, where b is the game’s breadth (number of legal moves per position) and d is its depth (game length). In large games, such as chess (b≈35, d≈80)1 and especially Go (b≈250, d≈150)1 , exhaustive search is infeasible2,3 , but the effective search space can be reduced by two general principles. First, the depth of the search may be reduced by position evaluation: truncating the search tree at state s and replacing the subtree below s by an approximate value function v(s)≈v* (s) that predicts the outcome from state s. This approach has led to superhuman performance in chess4 , checkers5 and othello6 , but it was believed to be intractable in Go due to the complexity of the game7 . Second, the breadth of the search may be reduced by sampling actions from a policy p(a|s) that is a prob- ability distribution over possible moves a in position s. For example, Monte Carlo rollouts8 search to maximum depth without branching at all, by sampling long sequences of actions for both players from a policy p. Averaging over such rollouts can provide an effective position evaluation, achieving superhuman performance in backgammon8 and Scrabble9 , and weak amateur level play in Go10 . Monte Carlo tree search (MCTS)11,12 uses Monte Carlo rollouts to estimate the value of each state in a search tree. As more simu- lations are executed, the search tree grows larger and the relevant values become more accurate. The policy used to select actions during search is also improved over time, by selecting children with higher values. Asymptotically, this policy converges to optimal play, and the evaluations converge to the optimal value function12 . The strongest current Go programs are based on MCTS, enhanced by policies that are trained to predict human expert moves13 . These policies are used to narrow the search to a beam of high-probability actions, and to sample actions during rollouts. This approach has achieved strong amateur play13–15 . However, prior work has been limited to shallow policies13–15 or value functions16 based on a linear combination of input features. Recently, deep convolutional neural networks have achieved unprec- edented performance in visual domains: for example, image classifica- tion17 , face recognition18 , and playing Atari games19 . They use many layers of neurons, each arranged in overlapping tiles, to construct increasingly abstract, localized representations of an image20 . We employ a similar architecture for the game of Go. We pass in the board position as a 19×19 image and use convolutional layers to construct a representation of the position. We use these neural networks to reduce the effective depth and breadth of the search tree: evaluating positions using a value network, and sampling actions using a policy network. We train the neural networks using a pipeline consisting of several stages of machine learning (Fig. 1). We begin by training a supervised learning (SL) policy network pσ directly from expert human moves. This provides fast, efficient learning updates with immediate feedback and high-quality gradients. Similar to prior work13,15 , we also train a fast policy pπ that can rapidly sample actions during rollouts. Next, we train a reinforcement learning (RL) policy network pρ that improves the SL policy network by optimizing the final outcome of games of self- play. This adjusts the policy towards the correct goal of winning games, rather than maximizing predictive accuracy. Finally, we train a value network vθ that predicts the winner of games played by the RL policy network against itself. Our program AlphaGo efficiently combines the policy and value networks with MCTS. Supervised learning of policy networks For the first stage of the training pipeline, we build on prior work on predicting expert moves in the game of Go using supervised learning13,21–24 . The SL policy network pσ(a|s) alternates between con- volutional layers with weights σ, and rectifier nonlinearities. A final soft- max layer outputs a probability distribution over all legal moves a. The input s to the policy network is a simple representation of the board state (see Extended Data Table 2). The policy network is trained on randomly new search algorithm that combines Monte Carlo simulation with value and policy networks. Using this search algorithm, our program AlphaGo achieved a 99.8% winning rate against other Go programs, and defeated the human European Go champion by 5 games to 0. This is the first time that a computer program has defeated a human professional player in the full-sized game of Go, a feat previously thought to be at least a decade away. 1 Google DeepMind, 5 New Street Square, London EC4A 3TW, UK. 2 Google, 1600 Amphitheatre Parkway, Mountain View, California 94043, USA. *These authors contributed equally to this work. © 2016 Macmillan Publishers Limited. All rights reserved 4 8 4 | N A T U R E | V O L 5 2 9 | 2 8 J A N U A R Y 2 0 1 6 All games of perfect information have an optimal value function, v* (s), which determines the outcome of the game, from every board position or state s, under perfect play by all players. These games may be solved by recursively computing the optimal value function in a search tree containing approximately bd possible sequences of moves, where b is the game’s breadth (number of legal moves per position) and d is its depth (game length). In large games, such as chess (b≈35, d≈80)1 and especially Go (b≈250, d≈150)1 , exhaustive search is infeasible2,3 , but the effective search space can be reduced by two general principles. First, the depth of the search may be reduced by position evaluation: truncating the search tree at state s and replacing the subtree below s by an approximate value function v(s)≈v* (s) that predicts the outcome from state s. This approach has led to superhuman performance in chess4 , checkers5 and othello6 , but it was believed to be intractable in Go due to the complexity of the game7 . Second, the breadth of the search may be reduced by sampling actions from a policy p(a|s) that is a prob- ability distribution over possible moves a in position s. For example, Monte Carlo rollouts8 search to maximum depth without branching at all, by sampling long sequences of actions for both players from a policy p. Averaging over such rollouts can provide an effective position evaluation, achieving superhuman performance in backgammon8 and Scrabble9 , and weak amateur level play in Go10 . Monte Carlo tree search (MCTS)11,12 uses Monte Carlo rollouts to estimate the value of each state in a search tree. As more simu- lations are executed, the search tree grows larger and the relevant values become more accurate. The policy used to select actions during search is also improved over time, by selecting children with higher values. Asymptotically, this policy converges to optimal play, and the evaluations converge to the optimal value function12 . The strongest current Go programs are based on MCTS, enhanced by policies that are trained to predict human expert moves13 . These policies are used to narrow the search to a beam of high-probability actions, and to sample actions during rollouts. This approach has achieved strong amateur play13–15 . However, prior work has been limited to shallow policies13–15 or value functions16 based on a linear combination of input features. Recently, deep convolutional neural networks have achieved unprec- edented performance in visual domains: for example, image classifica- tion17 , face recognition18 , and playing Atari games19 . They use many layers of neurons, each arranged in overlapping tiles, to construct increasingly abstract, localized representations of an image20 . We employ a similar architecture for the game of Go. We pass in the board position as a 19×19 image and use convolutional layers to construct a representation of the position. We use these neural networks to reduce the effective depth and breadth of the search tree: evaluating positions using a value network, and sampling actions using a policy network. We train the neural networks using a pipeline consisting of several stages of machine learning (Fig. 1). We begin by training a supervised learning (SL) policy network pσ directly from expert human moves. This provides fast, efficient learning updates with immediate feedback and high-quality gradients. Similar to prior work13,15 , we also train a fast policy pπ that can rapidly sample actions during rollouts. Next, we train a reinforcement learning (RL) policy network pρ that improves the SL policy network by optimizing the final outcome of games of self- play. This adjusts the policy towards the correct goal of winning games, rather than maximizing predictive accuracy. Finally, we train a value network vθ that predicts the winner of games played by the RL policy network against itself. Our program AlphaGo efficiently combines the policy and value networks with MCTS. Supervised learning of policy networks For the first stage of the training pipeline, we build on prior work on predicting expert moves in the game of Go using supervised learning13,21–24 . The SL policy network pσ(a|s) alternates between con- volutional layers with weights σ, and rectifier nonlinearities. A final soft- max layer outputs a probability distribution over all legal moves a. The input s to the policy network is a simple representation of the board state (see Extended Data Table 2). The policy network is trained on randomly 1 Google DeepMind, 5 New Street Square, London EC4A 3TW, UK. 2 Google, 1600 Amphitheatre Parkway, Mountain View, California 94043, USA. *These authors contributed equally to this work. © 2016 Macmillan Publishers Limited. All rights reserved 盤面 深さ 10360 Monte Carlo Tree Search 1000万盤面くらい 次に、AlphaGoです。AlphaGoが人間のプロ囲碁棋士を破ったというニュー スも驚かされるものでした。詰め将棋のように、打つ手の数がそれほど多く ないときには、一つ一つの指し手に対して先読みを全部行っていけば最終的 な勝負の結果は論理的に読み取れます。しかし、碁盤のように、盤面が250 くらいで、手の深さが150くらいとすると、局面の数としては、10の360乗 にも登る天文学的な数になり、従来のロジックを土台にした方法では予測は 不可能です。 そこで、AlphaGoは、2つのことを行いました。1つは、過去の1000万盤面くらい の勝負を学習したことです。もう1つは、次の一手によって先がどうなるか、架空 の対戦をして、次の指し手で勝つ確率が最も高くなるような手を計算したことです。 これは、計算量との格闘になります。 つまり、囲碁では、ロジックによる演繹推論では計算量の壁が破れないため、 AlphaGoは、確率的に最適に近い解を求める、という帰納的な手法を用いたとい うことになります。ここでは、現在のAIを代表するアルゴリズムである、deep learning、深層学習が使われています。 ① ② 名人の勝負を学習, 強化学習, 確率的探索 ワトソン AlphaGo 人 類 の 英 知 網羅的探索 ワトソンでのビッグデータからの検索、AlphaGoでの名人からの学習とシミュレー ションによる確率的探索、と、2つの例を用いてAIの形態について考えてきまし た。 ものすごく簡単に言いますと、「くまなく探す」「効率的に探す」という、なあん だ、ということをやっているにすぎませんが、ヒトよりもうまく探した、というと ころに驚きがあります。
SGD ③ Okada Nana 理解してる もう一つ。理解すると言うことについてです。 -2 -1 1 2 0.2 0.4 0.6 0.8 1.0 偏差値57 3 4 1 4 「東ロボくん」が偏差値57 https://diamond.jp/articles/-/108460?page=4 5030 40 60 70 偏差値 全国模試受験者 ③ 2年前、東ロボくんが全国模試で総合偏差値57をとりました。これは、受験者 の3/4が東ロボくんよりも下にいるということです。
http://image.itmedia.co.jp/l/im/news/articles/1511/16/l_haru_nii1.jpg ③ しかし、科目ごとの偏差値を見ると、数学は比較的良い成績なのに、国語と英語が極 端に劣っていることがわかります。 27 読解力がないので意味がわからない これ以上ムリ 東ロボくん ③ 28 当時、東ロボプロジェクトでは、今のロボットには読解力がないので文章の意味が わからない。従って、これ以上追求してもムリ、ということで全国模試挑戦は休戦 状態になっています。プロジェクトリーダーによると「コンピュータは計算するだ けで意味はわかっていない、意味がわからないと好成績は望めない」ということで した。
https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html 3/6 move beyond existing pre-training techniques. The Transformer model architecture, developed by researchers at Google in 2017, also gave us the foundation we needed to make BERT successful. The Transformer is implemented in our open source release, as well as the tensor2tensor library. Results with BERT To evaluate performance, we compared BERT to other state-of-the-art NLP systems. Importantly, BERT achieved all of its results with almost no task-speci c changes to the neural network architecture. On SQuAD v1.1, BERT achieves 93.2% F1 score (a measure of accuracy), surpassing the previous state-of-the-art score of 91.6% and human-level score of 91.2%: BERT also improves the state-of-the-art by 7.6% absolute on the very challenging GLUE benchmark, a set of 9 diverse Natural Language Understanding (NLU) tasks. The amount of human-labeled training data in these tasks ranges from 2,500 examples to 400,000 examples, and BERT substantially improves upon the state-of-the-art accuracy on all of them: tml 1/6 ned on small-data NLP tasks like question esulting in substantial accuracy improvements ets from scratch. echnique for NLP pre-training called Bidirectional formers, or BERT. With this release, anyone in the -art question answering system (or a variety of other ngle Cloud TPU, or in a few hours using a single GPU. ilt on top of TensorFlow and a number of pre-trained our associated paper, we demonstrate state-of-the- g the very competitive Stanford Question Answering training contextual representations — including Generative Pre-Training, ELMo, and ULMFit. els, BERT is the rst deeply bidirectional, n, pre-trained using only a plain text corpus (in thishttps://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html 1/6 answering and sentiment analysis, resulting in substantial accuracy improvements compared to training on these datasets from scratch. This week, we open sourced a new technique for NLP pre-training called Bidirectional Encoder Representations from Transformers, or BERT. With this release, anyone in the world can train their own state-of-the-art question answering system (or a variety of other models) in about 30 minutes on a single Cloud TPU, or in a few hours using a single GPU. The release includes source code built on top of TensorFlow and a number of pre-trained language representation models. In our associated paper, we demonstrate state-of-the- art results on 11 NLP tasks, including the very competitive Stanford Question Answering Dataset (SQuAD v1.1). What Makes BERT Different? BERT builds upon recent work in pre-training contextual representations — including Semi-supervised Sequence Learning, Generative Pre-Training, ELMo, and ULMFit. However, unlike these previous models, BERT is the rst deeply bidirectional, unsupervised language representation, pre-trained using only a plain text corpus (in this html 1/6 ets from scratch. echnique for NLP pre-training called Bidirectional sformers, or BERT. With this release, anyone in the e-art question answering system (or a variety of other ngle Cloud TPU, or in a few hours using a single GPU. uilt on top of TensorFlow and a number of pre-trained our associated paper, we demonstrate state-of-the- g the very competitive Stanford Question Answering -training contextual representations — including , Generative Pre-Training, ELMo, and ULMFit. els, BERT is the rst deeply bidirectional, on, pre-trained using only a plain text corpus (in this 1/6 P tasks like question accuracy improvements training called Bidirectional th this release, anyone in the ng system (or a variety of other a few hours using a single GPU. ow and a number of pre-trained we demonstrate state-of-the- Stanford Question Answering presentations — including ng, ELMo, and ULMFit. eeply bidirectional, nly a plain text corpus (in thishttps://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html 1/6 answering and sentiment analysis, resulting in substantial accuracy improvements compared to training on these datasets from scratch. This week, we open sourced a new technique for NLP pre-training called Bidirectional Encoder Representations from Transformers, or BERT. With this release, anyone in the world can train their own state-of-the-art question answering system (or a variety of other models) in about 30 minutes on a single Cloud TPU, or in a few hours using a single GPU. The release includes source code built on top of TensorFlow and a number of pre-trained language representation models. In our associated paper, we demonstrate state-of-the- art results on 11 NLP tasks, including the very competitive Stanford Question Answering Dataset (SQuAD v1.1). What Makes BERT Different? BERT builds upon recent work in pre-training contextual representations — including Semi-supervised Sequence Learning, Generative Pre-Training, ELMo, and ULMFit. However, unlike these previous models, BERT is the rst deeply bidirectional, unsupervised language representation, pre-trained using only a plain text corpus (in this -pre.html 1/6 e built on top of TensorFlow and a number of pre-trained In our associated paper, we demonstrate state-of-the- ding the very competitive Stanford Question Answering pre-training contextual representations — including ing, Generative Pre-Training, ELMo, and ULMFit. odels, BERT is the rst deeply bidirectional, ation, pre-trained using only a plain text corpus (in thishttps://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html 1/6 language representation models. In our associated paper, we demonstrate state-of-the- art results on 11 NLP tasks, including the very competitive Stanford Question Answering Dataset (SQuAD v1.1). What Makes BERT Different? BERT builds upon recent work in pre-training contextual representations — including Semi-supervised Sequence Learning, Generative Pre-Training, ELMo, and ULMFit. However, unlike these previous models, BERT is the rst deeply bidirectional, unsupervised language representation, pre-trained using only a plain text corpus (in this exact match (EM) 2018/11/4 Google AI Blog: Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing simple task that can be generated from any text corpus: Given two sentences A and B, is B the actual next sentence that comes after A in the corpus, or just a random sentence? For example: Training with Cloud TPUs Everything that we’ve described so far might seem fairly straightforward, so what’s the missing piece that made it work so well? Cloud TPUs. Cloud TPUs gave us the freedom to quickly experiment, debug, and tweak our models, which was critical in allowing us to move beyond existing pre-training techniques. The Transformer model architecture, developed by researchers at Google in 2017, also gave us the foundation we needed to make BERT successful. The Transformer is implemented in our open source release, as well as the tensor2tensor library. Results with BERT To evaluate performance, we compared BERT to other state-of-the-art NLP systems. Importantly, BERT achieved all of its results with almost no task-speci c changes to the neural network architecture. On SQuAD v1.1, BERT achieves 93.2% F1 score (a measure of accuracy), surpassing the previous state-of-the-art score of 91.6% and human-level score of 91.2%: BERT also improves the state-of-the-art by 7.6% absolute on the very challenging GLUE benchmark, a set of 9 diverse Natural Language Understanding (NLU) tasks. The amount of human-labeled training data in these tasks ranges from 2,500 examples to 400,000 examples, and BERT substantially improves upon the state-of-the-art accuracy on all of them: BERTがヒトの読解力を上回った ③` 2018/11/23 ヒト BERT しかし、つい最近、GoogleのBERTというdeep learningが、ヒトの読解力を上回 る成果をあげたというニュースが入って衝撃が走りました。SQuAd（The Stanford Question Answering Dataset）という、文章を理解しているかどうかを 多肢選択式で求めさせるテストで、ヒトを上回ったのです。 ③` 学習のコースとは何ですか？ 教授の科学を表す別の名前は何ですか？ ほとんどの教師はどこから資格を取得するのですか？ 教師が生徒の学習に役立つものは何ですか？ 先生はどこで教えているのでしょうか？ 教師の役割は、しばしば正式で継続的であり、学校または 正式な教育の他の場所で行われます。多くの国で、教師にな りたい人は、まず大学やカレッジから特定の専門資格や資 格を取得する必要があります。これらの職業的資格には、 教育学の研究、教育科学が含まれます。教師は他の専門家 のように、資格を得た後に継続して教育を受けなければな らない場合があります。教師は、カリキュラムと呼ばれる学 習コースを提供し、学生の学習を促進するための授業計画 を使用することができます。 カリキュラム ペダゴギー 大学やカレッジ 授業計画 大学やカレッジ 例えば、左に示すような文章を読んで、右のような問いかけで正しい答えはどれか、 という形式の問題に対して、BERTはヒトの正答率を上まわったのです。緑が正解を 表しています。 WikiPediaを事前に学習させてはいますが、それに加えて、ここにはdeep learning の中でもtranformerという最新の技術が使われています。Tranformerというのは、 膨大な知識ベースを他の小さなデータベースにも継承できるようにしたものです。
③` 読解力のあるヒトより正解率が高かった とはいえ、意味はわかっていない ダメと言い切っていいのか？ BERTが成し遂げたことは、コンピュータが意味を理解した、とも受け取られるよ うに思われます。もちろん、ここでもコンピュータは意味を理解してはいません。 よくわからないけど正解したということです。意味がわからなければダメじゃな いか、東ロボくんもBERTもそういう意味ではどちらも厚い壁を破っていないでは ないか、というヒトもいます。しかし、最近のdeep learningはここで私たち人間 に問いかけているようにも思えます。 ③` 「意味を理解している」とは、 と、AIから問われているのでは？ 人間が長い間に創り上げてきた「常識」という 世界を参照しているだけ、かも。 つまり、なぜかはわからないけど、deep learningはヒトよりも優れた結果を出し てくれる。それのどこが問題なんだ、black boxで何がいけないんだ、ということ です。私たちだって、正確に意味を理解しながらいろいろな判断を行っている訳で はありません。多くは、人間が長い間に創り上げてきた「常識」という世界を参照 して、わかった気になっているだけかもしれません。「意味」にこだわる意味があ るのか、ということです。
① ② ③ 名人の勝負を学習, 強化学習, 確率的探索 Wiki, 事前学習, 教師なし学習, 転移学習 ワトソン AlphaGo BERT 人 類 の 英 知 網羅的探索 先の2つの例と比べて、3つ目の例、BERTでの事前学習や転移学習を用いた読解力の 獲得というのは、ヒトの知性にさらに一歩進んで「理解にせまった」と考えることも できます。「参照している」にすぎませんが、ヒトを超え始めたのです。 一口にAIと言っても、さまざまな分野で、そこに特化したやり方を工夫し、時にはヒト の力も借りながら、ヒトの知性を少しずつ乗り越えようとしていることがお分かりいた だけたと思います。 ① ② ③ 名人の勝負を学習, 強化学習, 確率的探索 Wiki, 事前学習, 教師なし学習, 転移学習 ワトソン AlphaGo BERT + 高性能コンピュータ 高度なアルゴリズム+ 人 類 の 英 知 データ 活用法 発見 網羅的探索 予測 さて、ここで、これらに共通している通奏低音のような模式を考えてみます。 いずれの場合も、データに高度なアルゴリズムを適用して何かを行おうというように なっているかと思います。
データ . アルゴリズム 予測 © Hideo Hirose 何か、というのは、予測であることが多いので、 「データ . アルゴリズム ~ 予測」、という模式のようになっていると解釈されます。 お互いの相性を考えた組み合わせによる相互作用 最適化という基準 データ . アルゴリズム 予測 何をしたいのか © Hideo Hirose ここで、赤い・の意味は、データとアルゴリズムの間でお互いの相性を考えた組み合 わせによる相互作用のことを表し、 赤い波は、最適化という基準に従って、何かをやりたい、例えば予測を行いたい、と いう模式になります。
画像データ . 深層学習 画像認識 狭い意味のAI サンプル . 統計科学 データサイエンス 統計学 情報学 データ . アルゴリズム 計算機科学 データ . アルゴリズム 予測 この模式図を使えば、最近のAIブームを引き起こしたdeep learningも「画像デー タ . 深層学習 ~ 画像認識」という風にかけますし、「サンプル . 統計科学 ~ データ サイエンス」とかけば、データサイエンスに、「データ . アルゴリズム ~ 計算機科 学」とかけば、計算機科学にも通じる書き方になります。 47 y = f(x) 高校までは 関数の値を求める 変数の値を決めて 2次関数が与えられれば 計算ができればばよかった 数学の言葉を使うと、 高校までは、例えば2次関数が与えられれば、変数xの値を決めて、関数yの値を求める ことができる、という計算ができればよかったわけですが、
49 y = f(x) 何をしたいのか どのデータを利用するのか どういうアルゴリズムを使うのか の組み合わせが重要になってくる AIでは AIでは、これからは、どういうデータを利用するのか、そこにはどのように相性が合うア ルゴリズムを使うのか、そもそも何をしたいのか、という組み合わせを全て考えていくこ とが重要になってきます。 51 y = f(g(h…(x))) ヒトを超える結果 ビッグデータ 複雑なアルゴリズム ベクトルで表現すると 複雑なアルゴリズムも明快に記述できる ベクトルで表現すると、 複雑な数式で表現されるアルゴリズムを使って、ビッグデータを解析し、ヒトの知性を 超える結果を出す、というようになります。
データ . アルゴリズム 予測 データを読む感性 © Hideo Hirose ここで、データとアルゴリズムの相性を考えるときに、 「データを読む感性」というのが重要になってくると考えています。 ラーニングアナリティクス 例１ さて、一般的なお話しはここまでにして、ここで、私どもで実際に取り組んでい ることをご紹介したいと思います。まず、はじめに、ラーニングアナリティクスに ついてです。 ラーニングアナリティクスという言葉は使われはじめてまだ間もないのですが、 これは、コンピュータ利用によって蓄積された膨大な学習データを統計的に分析 して、効果的な学習支援を行う知見を得ようという、教育分野において最近急速 に発展してきている分野です。ここには、さまざまな機械学習のアルゴリズムも 使われています。
広島工大のHPを見ますと、HIT教育が説明されているページに、土台を作り、力を つけ、社会へはばたく、という3つのstepが描かれています。この中の最初の土台を 作る部分に、基礎教育の学力向上を目指し、理解度に合わせてサポートし、着実に 力をつけていく、と説明されています。 きめ細かい丁寧な教育 一言でいうと、きめ細かい丁寧な教育を行っていると言えると思います。
CBTによるサポート CBT: Computer Based Testing コンピュータを用いたテスト CBTとはcomputerを用いたテストのことです。広島工大では、数学科目について、 2016年度から全学生にcomputerを使った小テストを行い、学生の習熟度を丁寧に見て います。 数学教員が作った3000問以上の問題 3000人以上の受験者 この図は、数学教員が作った3000問以上の問題に対して、3000人以上の学生が小テ ストに応答した結果を、マトリクス（行列）を使って表しています。アクセス数に応 じて色が変っています。緑はアクセス数が少なく、黄色から赤になるほど、アクセス 数が多いことを表しています。この結果から、学生一人一人の習熟度の変化を探って みようとしています。
小テスト成績履歴 はじめに、ある数学の授業の中で毎時間実施された小テストの結果の成績の履歴を見て みます。横軸は小テスト実施の週、縦軸は習熟度です。一本一本の線は一人一人の学生 さんを表します。 小テスト成績履歴 実は、これは、期末試験合格者の成績の変化です。
小テスト成績履歴 期末試験不合格者の成績はこのようになっています。 両者の違いがわかりませんから、一緒に比較してみます。 違いがわからない 横並びにしても違いがよくわかりません。
平均をとると誤差がとれる 「平均をとると誤差がとれる」という統計の性質があります。 期末試験 合格者 習熟度 期末試験 不合格者 人数 Histogram of ABAAALCTSF$ABAsuccess ABAAALCTSF$ABAsuccess Frequency -2 -1 0 1 2 051015202530 小テスト14回分の成績を平均した値のヒストグラム 合格者と不合格者の区別はつきにくい 習熟度の平均 人数 そこで、15回にわたる小テストの平均をとり、学生全員についてヒストグラムを作っ てみました。 期末試験合格者の中に期末試験不合格者はすっぽり埋もれていて、両者を分離できま せん。つまり、1回1回の小テストを個々に見ていても、どの学生が期末試験に失敗す るかを予測できないということになります。 小テストの成績は、学生の指導に役に立たないのでしょうか。
項目反応理論を用いた正確な習熟度評価法を 累積させた小テストデータに適用し 習熟度の時間的トレンドを見た 項目反応理論：  学生の習熟度と問題の困難度を同時に推定できる統計的な理論で  現代テスト理論に基づいている ここで、より正確な評価値を求めるため、習熟度評価法には項目反応理論を用い、 さらに、1回1回ではなく、累積させた小テストデータにそれを適用し、習熟度評価の 時間的トレンドを見てみました。項目反応理論とは、学生の習熟度と問題の困難度を 同時に推定できる統計的な理論で、現代テスト理論に基づいています。 小テスト成績履歴 それがこれです。 これは、期末試験合格者の成績のトレンドです。安定した傾向がみてとれます。
小テスト成績履歴 期末試験不合格者についても同様、安定した傾向にあることがわかります。 違いがある 両者を比較してみると、今度は明確な違いがあるように見えます。
類似度を比較する NNによって ここで、ある学生一人をとりあげ、その学生の成績のトレンドが期末試験合格者と不合 格者のどちらに似ているかという類似度を求めてみます。 例えば、（ピンクを指す）合格者の中の一番上のピンクの曲線の近くには右をみると1 本の不合格者もいませんから、この学生は合格と判断するわけです。混在している部分 では、どの程度の確率で不合格になるか、が判断できることになります。 0 50 100 150 200 250 300 350 LCT1-LCT4を使用 LCT1-LCT7を使用 LCT1-LCT11を使用 不合格者数 = 206 p ≧ 0.3 p ≧ 0.4 p ≧ 0.5 p ≧ 0.3 p ≧ 0.4 p ≧ 0.5 p ≧ 0.3 p ≧ 0.4 p ≧ 0.5 不合格と予測 実際には合格 不合格と予測 実際にも不合格 学期の1/3近辺 学期の1/2近辺 学期の2/3近辺 実際の不合格ライン 平均で評価するよりも トレンドの類似度評価を使った方が リスクのある学生をよくとらえている しかも、どの時点で評価してもあまり変わらない 期末試験不合格者の予測数 そうすると、不合格の確率をpとしますと、p以上で不合格になる学生を捕まえること ができます。 例えば、pが0.4以上の学生を捕まえると、学期の半ばであっても、実際の不合格者数 に近い数を予測していることがわかります。その中で半分は実際に不合格になってい ます。 重要なのは、この傾向は、学期の1/3くらいのときでも、学期半ばでも、学期が2/3過 ぎた時点でもあまり変わらないということです。早い段階でリスクのある学生の捉え ることができていることを示しています。
機械学習（AI）を用いれば このpの値をどのように設定するのが最適であるか、というのを判断する際に、機械学 習でよく用いられている、 TruePositiveRate 0 0.2 0.4 0.6 0.8 1 False Positive Rate 0 0.2 0.4 0.6 0.8 1 p 0.2 p 0.1 p 0 p 0.3 p 0.4 p 0.5 p 0.6 tangent = 4 実際には合格なのに不合格と予測された 実際に不合格で不合格と予測された p 0.4 p 0.3 p 0.5 p 0.1 学期の1/3近辺 学期の1/2近辺 学期の2/3近辺 ROC曲線 最適なpは0.4 p: 不合格の確率 receiver operating characteristic curve（受信者動作特性曲線） ここでは 不合格をPositiveとしている ROC曲線というものを使うことができます。ROC曲線を使うことによって、最適なp の値は0.4に設定すると、精度よくリスクのある学生の捉えることができることになり ます。
このままだとあなたは確率40%以上で期末試験に不合格です というアラートを出して学生を奮起させることも可能 学期の途中で、 「このままだとあなたは確率40%以上で期末試験に不合格です」 というアラートを出して学生を奮起させることも可能になるわけです。 95 データ . アルゴリズム 予測 全学生の毎時間での小テスト （大規模ラーニングデータ） 類似度による2値分類 学生のドロップアウトリスク予測 © Hideo Hirose 96 先ほどの模式図にこのことを適用してみますと、全学生の毎時間での小テストがデータ の部分で、類似度による2値分類のところがアルゴリズム、学生のドロップアウトリス ク予測が、もともとやりたかったこと、ということになると思います。
1. オンライン演習を使った主体的な学習者が増え， 2. そのため，毎時間での小テストの成績は向上し， 3. 真 に学習する学生が目につくようになった. HIT教育経過３年目にあたって 平成30年度(第69回)電気・情報関連学会中国支部連合大会 CBTインテンシブフォローアッププログラムの成果 このように実施してきたHIT教育におけるCBT利用によって、 1. オンライン演習を使った主体的な学習者が増え， 2. そのため，毎時間での小テストの成績は向上し， 3. 真 に学習する学生が目につくようになった. という結果を示すことができました。 感染症の流行予測 例２ 次に、感染症の流行予測の例です。
先月、廿日市市の地御前幼稚園でノロウイルスが検出されたとのニュースがありました。 時間 時間 感染者数 y = f(t) t y 一定時間ごとに得られるデータを使った予測法の定石は 2018年11月23日 西部保健所菅内の9月からの定点当たりの患者数の推移を表したものがこの図です。患 者数は時間とともに変化していきますから、一定時間ごとに得られるデータを使って解 析する、
伝統的な統計的手法 時系列解析 autoregressive integrated moving average (ARIMA) model AR ARMA ARIMA as a model for y = f (x), traditionally, artificial neural networks (ANN) model time-series modeling Box-Jenkinsy = f(t) = Xt ARIMA(p, d, q) × (P, D, Q)S, with p = non-seasonal AR order, d = non-seasonal differencing, q = non-seasonal MA order, P = seasonal AR order, D = seasonal differencing, Q = seasonal MA order, and S = time span of repeating seasonal pattern. seasonal'ARIMA, 106 伝統的な統計的手法である時系列解析が使えます。ARとかARIMAと略されて呼ばれていま す。季節性を考慮して作られた数理モデルもあります。 マトリクス（行列）にして考えてみる 週 年 ここにはどんな数値が入るだろうか 時系列ではなく しかし、ここでは、時系列解析ではなく、年と週を行と列に持つマトリクス（行列） にして考えてみようと思います。緑の部分は感染者数は少なく、黄色から赤くなるに 従って感染者数は多くなることを表しています。右下の空白の部分を予測しようとし ています。
ノロウイルス感染症患者の発生状況の予測法 西部保健所菅内での感染者数の推移はまだ継続中ですから、ここでは、過去に起 こった全国のノロウイルス感染症患者の発生状況の予測を行ってみます。 2" 0" 5" 10" 15" 20" 25" 1" 2" 3" 4" 5" 6" 7" 8" 9" 10"11"12"13"14"15"16"17"18"19"20"21"22"23"24"25"26"27"28"29"30"31"32"33"34"35"36"37"38"39"40"41"42"43"44"45"46"47"48"49"50"51"52" ! ! 12 5 5 Prediction by using 1-5 weeks data Number"of"pa6ents weeks 実線表示のデータを使って予測 観測値 予測結果 観測値を青い点線で表し、赤い実線表示のデータを使って、予測値を赤い点線で表して います。ここでは、その年の1月だけの観測値からその年のすべての週での予測がうま くいっているように描いていますが、
13 0" 5" 10" 15" 20" 25" 1" 2" 3" 4" 5" 6" 7" 8" 9" 10"11"12"13"14"15"16"17"18"19"20"21"22"23"24"25"26"27"28"29"30"31"32"33"34"35"36"37"38"39"40"41"42"43"44"45"46"47"48"49"50"51"52" ! ! 02 03 04 05 06 07 08 09 10 11 12 5 5 Prediction by using 1-5 weeks data Numberofpatients weeks 観測値 予測結果 過去10年分のデータ 実線表示のデータを使って予測 実は、背景に薄く見える、過去10年分のデータも用いているのです。 蓄積された過去のデータと直近の観測値を使って将来の予測を行っているのがお分かり いただけると思います。 € 1.5 1 1( ) € 1 2 3           € 1 2 3           1.5 1 1( ) = 1.5 1 1 3 2 2 4.5 3 3           115 観測値と予測値の誤差 € A € M € P U € UM = P マトリクス（行列）を2つのマトリクスの掛け算に分解する UV = P V X overfitting回避最小二情報 マトリクス（行列）分解法 116 予測アルゴリズムには、マトリクス（行列）分解法というものを用いています。マト リクス（行列）Xを2つのマトリクスU, Vの掛け算に分解するというものです。 観測値と空欄が混在しているマトリクスXを、すべての要素に数値が入っている2つのマトリク スUとVの掛け算で近似します。ここで、掛け合わせたマトリクスPの結果と、もとの観測値Xと の誤差を最小にするという基準を使います。そして、この問題にだけはぴったり当てはまるとい うover-fittingを防ぐため、ペナルティー項を加えて正則化という調整を行っています。
時系列解析よりもマトリクス分解法が観測結果に合った マトリクス（行列）分解法 その結果、1月の段階で予測した年末での結果は、時系列解析よりマトリクス分解 法が観測結果に合ったのです。機械学習が統計解析を上回った事例です。 データ . アルゴリズム 予測 感染症流行観測値 マトリクス（行列）分解法 感染症流行予測 © Hideo Hirose 120 ここでも、感染症流行の観測値をデータに、マトリクス分解法を流行予測を行うのに相性 の良いアルゴリズムと考えると、感染症流行のリスクを低減させるために予測を行う、と いう模式図になっていることがおわかりいただけるかと思います。
データ . アルゴリズム 予測 アルゴリスム アルゴリスム アルゴリスム アルゴリスム アルゴリスム アルゴリスム データ データ データ データ データ データ 予測 予測 予測 予測 予測 予測 © Hideo Hirose AIとは そうすると、いろいろなデータを用いて、それに合ったアルゴリズムを見つけ、 予測を行うということに、たくさんの組み合わせができると思います。 結局、AIというのは、この模式の一つ一つの組み合わせのことを指しているとい うことがお分かりになったと思います。 人類の英知を結集し、コンピュータの力を借りて ようやく ヒトよりも、速くできるようになったAI 一つのタスクなら、 今後 データとアルゴリズムの組み合わせで多方面に広がる 人類の英知を結集し、コンピュータの力を借りて、一つのタスクなら、ようやくヒト よりも速くできるようになったAIが、今後、データとアルゴリズムの組み合わせで多 方面に広がっていくと思われます。
データ . アルゴリズム 予測 データを読む感性 © Hideo Hirose 先ほどは、データとアルゴリズムの相性を考えるときに「データを読む感性」が求め られる、と言いましたが、さらに、 新しい分野に創造的に踏み込もうとするときにも、 「感性」というのが重要になってくると考えています。 AIを使って 人生を楽しく! 次の世代はAIネイティブ Okada Nana 感性 AIの正体を見れば怖くはないことがお分かりいただけたと思います。 また、データとアルゴリズムを橋渡しできる「感性」があれば、 AIを使いこなすことができるようになります。 次の世代はAIネイティブです。 AIを使って、人生を楽しくしましょう。
データを読む感性 2018.12.9 平成30年度第32回広島工業大学公開シンポジウム thank you ご静聴ありがとうございました。

More Related Content

PDF
データを読み取る感性
byHideo Hirose
 
PPTX
Multi-agent Reinforcement Learning in Sequential Social Dilemmas
byKenshi Abe
 
PDF
空間統計を使って地価分布図を描いてみる
byYukihiro NAKAJIMA
 
PDF
Derivative of sine function: A graphical explanation
byHideo Hirose
 
PDF
Success/Failure Prediction for Final Examination using the Trend of Weekly On...
byHideo Hirose
 
PDF
Attendance to Lectures is Crucial in Order Not to Drop Out
byHideo Hirose
 
PDF
HTT vs. HTH
byHideo Hirose
 
PDF
統計の世界：予測を扱う科学 Statistics World: A Science of Prediction
byHideo Hirose
 
データを読み取る感性
byHideo Hirose
 
Multi-agent Reinforcement Learning in Sequential Social Dilemmas
byKenshi Abe
 
空間統計を使って地価分布図を描いてみる
byYukihiro NAKAJIMA
 
Derivative of sine function: A graphical explanation
byHideo Hirose
 
Success/Failure Prediction for Final Examination using the Trend of Weekly On...
byHideo Hirose
 
Attendance to Lectures is Crucial in Order Not to Drop Out
byHideo Hirose
 
HTT vs. HTH
byHideo Hirose
 
統計の世界：予測を扱う科学 Statistics World: A Science of Prediction
byHideo Hirose
 

More from Hideo Hirose

PDF
Solve [X^2=A], where A is a matrix
byHideo Hirose
 
PDF
コーヒーはホットかアイスか 意外なことが分かった
byHideo Hirose
 
PDF
多変数の極値問題は解析と線形代数の融合だ
byHideo Hirose
 
PDF
Homotopy法による非線形方程式の解法
byHideo Hirose
 
PDF
Different classification results under different criteria, distance and proba...
byHideo Hirose
 
PDF
漸近理論をスライド1枚で（フォローアッププログラムクラス講義07132016）
byHideo Hirose
 
PDF
雷の波形は指数関数（フォローアッププログラムクラス講義07072016）
byHideo Hirose
 
PDF
微分は約分ではない（フォローアッププログラムクラス講義06152016）
byHideo Hirose
 
PDF
Interesting but difficult problem: find the optimum saury layout on a gridiro...
byHideo Hirose
 
PDF
Central Limit Theorem & Galton Board
byHideo Hirose
 
PDF
回路方程式, ポアソン方程式, 中心極限定理による最適なサンマの焼き方
byHideo Hirose
 
PDF
Extended cumulative exposure model, ecem
byHideo Hirose
 
PDF
「科学=予測」Science cafe 2011 june 10
byHideo Hirose
 
PDF
Parameter estimation for the truncated weibull model using the ordinary diffe...
byHideo Hirose
 
PDF
Trunsored data analysis
byHideo Hirose
 
PDF
An accurate ability evaluation method for every student with small problem it...
byHideo Hirose
 
PDF
A successful maximum likelihood parameter estimation in skewed distributions ...
byHideo Hirose
 
PDF
Estimation for the number of fragile samples in the trunsored and truncated m...
byHideo Hirose
 
PDF
Bump hunting とその応用
byHideo Hirose
 
PDF
Accuracy assessment for the trade off curve and its upper curve in the bump h...
byHideo Hirose
 
Solve [X^2=A], where A is a matrix
byHideo Hirose
 
コーヒーはホットかアイスか 意外なことが分かった
byHideo Hirose
 
多変数の極値問題は解析と線形代数の融合だ
byHideo Hirose
 
Homotopy法による非線形方程式の解法
byHideo Hirose
 
Different classification results under different criteria, distance and proba...
byHideo Hirose
 
漸近理論をスライド1枚で（フォローアッププログラムクラス講義07132016）
byHideo Hirose
 
雷の波形は指数関数（フォローアッププログラムクラス講義07072016）
byHideo Hirose
 
微分は約分ではない（フォローアッププログラムクラス講義06152016）
byHideo Hirose
 
Interesting but difficult problem: find the optimum saury layout on a gridiro...
byHideo Hirose
 
Central Limit Theorem & Galton Board
byHideo Hirose
 
回路方程式, ポアソン方程式, 中心極限定理による最適なサンマの焼き方
byHideo Hirose
 
Extended cumulative exposure model, ecem
byHideo Hirose
 
「科学=予測」Science cafe 2011 june 10
byHideo Hirose
 
Parameter estimation for the truncated weibull model using the ordinary diffe...
byHideo Hirose
 
Trunsored data analysis
byHideo Hirose
 
An accurate ability evaluation method for every student with small problem it...
byHideo Hirose
 
A successful maximum likelihood parameter estimation in skewed distributions ...
byHideo Hirose
 
Estimation for the number of fragile samples in the trunsored and truncated m...
byHideo Hirose
 
Bump hunting とその応用
byHideo Hirose
 
Accuracy assessment for the trade off curve and its upper curve in the bump h...
byHideo Hirose
 

データを読む感性

  • 1.
  • 2.
    John Overdeck 1986年、ポーランドで開かれた第7回 国際数学オリンピックで銀メダルを獲得 した16歳のジョン・オーバーデックは、 co-founder ofTwo Sigma Investments 今、ビッグデータをかき集め、機械学習で分析するクオンツ 運用派の代表格 https://forbesjapan.com/articles/detail/12671 Stanford University 卒 US$5.5 billion (November 2018) vice president at Amazon.comREAL TIME NET WORTH 6,000億円以上 クオンツ運用は、高度な数学的テクニックを駆使し、マーケット（株式、 債券、為替、金利、コモディティ）や経済情勢などのデータをコンピュー タで分析して作られた「数理モデル」に従って運用する投資スタイル https://www.ifinance.ne.jp/glossary/fund/fun125.html （間をあける） これが現在の姿。数学と統計学を修得した彼は、今、ビッグデータをかき集め、機 械学習で分析するクオンツ運用派の代表格になっています。 Photo: Paul Harris / Getty Images https://courrier.jp/news/archives/121792/ Marilyn vos Savant IQ228！ 「世界最高の天才」 AI モンティ・ホール問題で有名な もう一人。Marilyn vos Savantという女性です。彼女はIQ228という世界的な記録を 持っていて、ギネスに登場しています。
  • 3.
    Photo: Paul Harris/ Getty Images 驚くべき頭脳を持つ人たち AI 二人のような人物はまれに見るすぐれた知能の持ち主だと思いますが、 Photo: Paul Harris / Getty Images AI ヒトの知能を上回るロボット シンギュラリティ Human 驚くべき頭脳を持つ人たち 今、そのヒトの知能を上回るロボットが出現する時期はもう間近ではないか、と言われ ています。 そのような時期をシンギュラリティーと言います。 右の女性は、Ex MachinaというSF映画のロボットです。
  • 4.
    https://www.amazon.co.jp/gp/video/detail/B01KT8EB7U Ex Machina 「機械仕掛けの神」 Ava Caleb bossNathan AI ロボットの名前はAvaと言います。左側のNathanがAvaを作り、彼は、真ん中の部下 ケイレブに、Avaが人間かロボットか、見分けられるかというチューリングテストを 行なうよう指示します。 Avaは、Nathanから逃れたいため、テストの最中、ケイレブに恋心を抱かせるように 振る舞い、結局、彼の心を支配して目的を達成しようとします。 SFですが、AIの正体がわからないと、シンギュラリティーはここまでいくのかと想像 して、怖くなるかもしれません。そこで、いくつかの例をとりあげながら、今のAIと は一体どんなものか、見てみようと思います。 ワトソンが専門医でもわからなかったガンを特定した 膨大なゲノム情報を扱う がん医療に不可欠なAI www.innervision.co.jp/ressources/pdf/innervision2017/iv201707_018.pdf Watson for Genomics(WfG) ① 骨髄異形成症候群 + 別の白血病を発症している可能性 3つの例を説明します。 はじめに、ワトソンです。東大の医科研が、ワトソンとスーパーコンピュータを使って、 専門医でもわからなかったガンを特定したというニュースはみなさん覚えておられるこ とと思います。患者は、初め、専門医から骨髄異形成症候群と診断され、その治療を しましたが効果がありませんでした。 そこに、ワトソンは、ゲノムの変異を、PubMedと呼ばれる世界中から集められた医学 関連の論文の知識と関連づけ、別の白血病を発症している可能性を指摘してくれました。 その治療法の効果があったということです。 これは、ビッグデータの中から適切なものを高速に探し出すということにあたり、従 来から行われていたAIにあたります。
  • 5.
    AlphaGoが人間のプロ囲碁棋士を破った 過去の勝負を学習させた 深層学習 Deep Learning ニューラルネットワーク 計算量との格闘 （先読みパターンなし） 盤面の評価関数 valuenetwork次の手を選ぶための policy network モンテカルロ木探索 MCTS ② Google DeepMindによって開発されたコンピュータ囲碁プログラム 名人の勝負を学習 教師ポリシー supervised learning (SL) policy 強化学習ポリシー reinforcement learning (RL) policy 自己シミュレーション 評価と探索の結合 各手での勝つ確率分布 最適な一手 最適解の探索 確率勾配 Mastering the game of Go with deep neural networks and tree search 4 8 4 | N A T U R E | V O L 5 2 9 | 2 8 J A N U A R Y 2 0 1 6 All games of perfect information have an optimal value function, v* (s), which determines the outcome of the game, from every board position or state s, under perfect play by all players. These games may be solved by recursively computing the optimal value function in a search tree containing approximately bd possible sequences of moves, where b is the game’s breadth (number of legal moves per position) and d is its depth (game length). In large games, such as chess (b≈35, d≈80)1 and especially Go (b≈250, d≈150)1 , exhaustive search is infeasible2,3 , but the effective search space can be reduced by two general principles. First, the depth of the search may be reduced by position evaluation: truncating the search tree at state s and replacing the subtree below s by an approximate value function v(s)≈v* (s) that predicts the outcome from state s. This approach has led to superhuman performance in chess4 , checkers5 and othello6 , but it was believed to be intractable in Go due to the complexity of the game7 . Second, the breadth of the search may be reduced by sampling actions from a policy p(a|s) that is a prob- ability distribution over possible moves a in position s. For example, Monte Carlo rollouts8 search to maximum depth without branching at all, by sampling long sequences of actions for both players from a policy p. Averaging over such rollouts can provide an effective position evaluation, achieving superhuman performance in backgammon8 and Scrabble9 , and weak amateur level play in Go10 . Monte Carlo tree search (MCTS)11,12 uses Monte Carlo rollouts to estimate the value of each state in a search tree. As more simu- lations are executed, the search tree grows larger and the relevant values become more accurate. The policy used to select actions during search is also improved over time, by selecting children with higher values. Asymptotically, this policy converges to optimal play, and the evaluations converge to the optimal value function12 . The strongest current Go programs are based on MCTS, enhanced by policies that are trained to predict human expert moves13 . These policies are used to narrow the search to a beam of high-probability actions, and to sample actions during rollouts. This approach has achieved strong amateur play13–15 . However, prior work has been limited to shallow policies13–15 or value functions16 based on a linear combination of input features. Recently, deep convolutional neural networks have achieved unprec- edented performance in visual domains: for example, image classifica- tion17 , face recognition18 , and playing Atari games19 . They use many layers of neurons, each arranged in overlapping tiles, to construct increasingly abstract, localized representations of an image20 . We employ a similar architecture for the game of Go. We pass in the board position as a 19×19 image and use convolutional layers to construct a representation of the position. We use these neural networks to reduce the effective depth and breadth of the search tree: evaluating positions using a value network, and sampling actions using a policy network. We train the neural networks using a pipeline consisting of several stages of machine learning (Fig. 1). We begin by training a supervised learning (SL) policy network pσ directly from expert human moves. This provides fast, efficient learning updates with immediate feedback and high-quality gradients. Similar to prior work13,15 , we also train a fast policy pπ that can rapidly sample actions during rollouts. Next, we train a reinforcement learning (RL) policy network pρ that improves the SL policy network by optimizing the final outcome of games of self- play. This adjusts the policy towards the correct goal of winning games, rather than maximizing predictive accuracy. Finally, we train a value network vθ that predicts the winner of games played by the RL policy network against itself. Our program AlphaGo efficiently combines the policy and value networks with MCTS. Supervised learning of policy networks For the first stage of the training pipeline, we build on prior work on predicting expert moves in the game of Go using supervised learning13,21–24 . The SL policy network pσ(a|s) alternates between con- volutional layers with weights σ, and rectifier nonlinearities. A final soft- max layer outputs a probability distribution over all legal moves a. The input s to the policy network is a simple representation of the board state (see Extended Data Table 2). The policy network is trained on randomly new search algorithm that combines Monte Carlo simulation with value and policy networks. Using this search algorithm, our program AlphaGo achieved a 99.8% winning rate against other Go programs, and defeated the human European Go champion by 5 games to 0. This is the first time that a computer program has defeated a human professional player in the full-sized game of Go, a feat previously thought to be at least a decade away. 1 Google DeepMind, 5 New Street Square, London EC4A 3TW, UK. 2 Google, 1600 Amphitheatre Parkway, Mountain View, California 94043, USA. *These authors contributed equally to this work. © 2016 Macmillan Publishers Limited. All rights reserved 4 8 4 | N A T U R E | V O L 5 2 9 | 2 8 J A N U A R Y 2 0 1 6 All games of perfect information have an optimal value function, v* (s), which determines the outcome of the game, from every board position or state s, under perfect play by all players. These games may be solved by recursively computing the optimal value function in a search tree containing approximately bd possible sequences of moves, where b is the game’s breadth (number of legal moves per position) and d is its depth (game length). In large games, such as chess (b≈35, d≈80)1 and especially Go (b≈250, d≈150)1 , exhaustive search is infeasible2,3 , but the effective search space can be reduced by two general principles. First, the depth of the search may be reduced by position evaluation: truncating the search tree at state s and replacing the subtree below s by an approximate value function v(s)≈v* (s) that predicts the outcome from state s. This approach has led to superhuman performance in chess4 , checkers5 and othello6 , but it was believed to be intractable in Go due to the complexity of the game7 . Second, the breadth of the search may be reduced by sampling actions from a policy p(a|s) that is a prob- ability distribution over possible moves a in position s. For example, Monte Carlo rollouts8 search to maximum depth without branching at all, by sampling long sequences of actions for both players from a policy p. Averaging over such rollouts can provide an effective position evaluation, achieving superhuman performance in backgammon8 and Scrabble9 , and weak amateur level play in Go10 . Monte Carlo tree search (MCTS)11,12 uses Monte Carlo rollouts to estimate the value of each state in a search tree. As more simu- lations are executed, the search tree grows larger and the relevant values become more accurate. The policy used to select actions during search is also improved over time, by selecting children with higher values. Asymptotically, this policy converges to optimal play, and the evaluations converge to the optimal value function12 . The strongest current Go programs are based on MCTS, enhanced by policies that are trained to predict human expert moves13 . These policies are used to narrow the search to a beam of high-probability actions, and to sample actions during rollouts. This approach has achieved strong amateur play13–15 . However, prior work has been limited to shallow policies13–15 or value functions16 based on a linear combination of input features. Recently, deep convolutional neural networks have achieved unprec- edented performance in visual domains: for example, image classifica- tion17 , face recognition18 , and playing Atari games19 . They use many layers of neurons, each arranged in overlapping tiles, to construct increasingly abstract, localized representations of an image20 . We employ a similar architecture for the game of Go. We pass in the board position as a 19×19 image and use convolutional layers to construct a representation of the position. We use these neural networks to reduce the effective depth and breadth of the search tree: evaluating positions using a value network, and sampling actions using a policy network. We train the neural networks using a pipeline consisting of several stages of machine learning (Fig. 1). We begin by training a supervised learning (SL) policy network pσ directly from expert human moves. This provides fast, efficient learning updates with immediate feedback and high-quality gradients. Similar to prior work13,15 , we also train a fast policy pπ that can rapidly sample actions during rollouts. Next, we train a reinforcement learning (RL) policy network pρ that improves the SL policy network by optimizing the final outcome of games of self- play. This adjusts the policy towards the correct goal of winning games, rather than maximizing predictive accuracy. Finally, we train a value network vθ that predicts the winner of games played by the RL policy network against itself. Our program AlphaGo efficiently combines the policy and value networks with MCTS. Supervised learning of policy networks For the first stage of the training pipeline, we build on prior work on predicting expert moves in the game of Go using supervised learning13,21–24 . The SL policy network pσ(a|s) alternates between con- volutional layers with weights σ, and rectifier nonlinearities. A final soft- max layer outputs a probability distribution over all legal moves a. The input s to the policy network is a simple representation of the board state (see Extended Data Table 2). The policy network is trained on randomly 1 Google DeepMind, 5 New Street Square, London EC4A 3TW, UK. 2 Google, 1600 Amphitheatre Parkway, Mountain View, California 94043, USA. *These authors contributed equally to this work. © 2016 Macmillan Publishers Limited. All rights reserved 盤面 深さ 10360 Monte Carlo Tree Search 1000万盤面くらい 次に、AlphaGoです。AlphaGoが人間のプロ囲碁棋士を破ったというニュー スも驚かされるものでした。詰め将棋のように、打つ手の数がそれほど多く ないときには、一つ一つの指し手に対して先読みを全部行っていけば最終的 な勝負の結果は論理的に読み取れます。しかし、碁盤のように、盤面が250 くらいで、手の深さが150くらいとすると、局面の数としては、10の360乗 にも登る天文学的な数になり、従来のロジックを土台にした方法では予測は 不可能です。 そこで、AlphaGoは、2つのことを行いました。1つは、過去の1000万盤面くらい の勝負を学習したことです。もう1つは、次の一手によって先がどうなるか、架空 の対戦をして、次の指し手で勝つ確率が最も高くなるような手を計算したことです。 これは、計算量との格闘になります。 つまり、囲碁では、ロジックによる演繹推論では計算量の壁が破れないため、 AlphaGoは、確率的に最適に近い解を求める、という帰納的な手法を用いたとい うことになります。ここでは、現在のAIを代表するアルゴリズムである、deep learning、深層学習が使われています。 ① ② 名人の勝負を学習, 強化学習, 確率的探索 ワトソン AlphaGo 人 類 の 英 知 網羅的探索 ワトソンでのビッグデータからの検索、AlphaGoでの名人からの学習とシミュレー ションによる確率的探索、と、2つの例を用いてAIの形態について考えてきまし た。 ものすごく簡単に言いますと、「くまなく探す」「効率的に探す」という、なあん だ、ということをやっているにすぎませんが、ヒトよりもうまく探した、というと ころに驚きがあります。
  • 6.
    SGD ③ Okada Nana 理解してる もう一つ。理解すると言うことについてです。 -2 -11 2 0.2 0.4 0.6 0.8 1.0 偏差値57 3 4 1 4 「東ロボくん」が偏差値57 https://diamond.jp/articles/-/108460?page=4 5030 40 60 70 偏差値 全国模試受験者 ③ 2年前、東ロボくんが全国模試で総合偏差値57をとりました。これは、受験者 の3/4が東ロボくんよりも下にいるということです。
  • 7.
  • 8.
    https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html 3/6 move beyondexisting pre-training techniques. The Transformer model architecture, developed by researchers at Google in 2017, also gave us the foundation we needed to make BERT successful. The Transformer is implemented in our open source release, as well as the tensor2tensor library. Results with BERT To evaluate performance, we compared BERT to other state-of-the-art NLP systems. Importantly, BERT achieved all of its results with almost no task-speci c changes to the neural network architecture. On SQuAD v1.1, BERT achieves 93.2% F1 score (a measure of accuracy), surpassing the previous state-of-the-art score of 91.6% and human-level score of 91.2%: BERT also improves the state-of-the-art by 7.6% absolute on the very challenging GLUE benchmark, a set of 9 diverse Natural Language Understanding (NLU) tasks. The amount of human-labeled training data in these tasks ranges from 2,500 examples to 400,000 examples, and BERT substantially improves upon the state-of-the-art accuracy on all of them: tml 1/6 ned on small-data NLP tasks like question esulting in substantial accuracy improvements ets from scratch. echnique for NLP pre-training called Bidirectional formers, or BERT. With this release, anyone in the -art question answering system (or a variety of other ngle Cloud TPU, or in a few hours using a single GPU. ilt on top of TensorFlow and a number of pre-trained our associated paper, we demonstrate state-of-the- g the very competitive Stanford Question Answering training contextual representations — including Generative Pre-Training, ELMo, and ULMFit. els, BERT is the rst deeply bidirectional, n, pre-trained using only a plain text corpus (in thishttps://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html 1/6 answering and sentiment analysis, resulting in substantial accuracy improvements compared to training on these datasets from scratch. This week, we open sourced a new technique for NLP pre-training called Bidirectional Encoder Representations from Transformers, or BERT. With this release, anyone in the world can train their own state-of-the-art question answering system (or a variety of other models) in about 30 minutes on a single Cloud TPU, or in a few hours using a single GPU. The release includes source code built on top of TensorFlow and a number of pre-trained language representation models. In our associated paper, we demonstrate state-of-the- art results on 11 NLP tasks, including the very competitive Stanford Question Answering Dataset (SQuAD v1.1). What Makes BERT Different? BERT builds upon recent work in pre-training contextual representations — including Semi-supervised Sequence Learning, Generative Pre-Training, ELMo, and ULMFit. However, unlike these previous models, BERT is the rst deeply bidirectional, unsupervised language representation, pre-trained using only a plain text corpus (in this html 1/6 ets from scratch. echnique for NLP pre-training called Bidirectional sformers, or BERT. With this release, anyone in the e-art question answering system (or a variety of other ngle Cloud TPU, or in a few hours using a single GPU. uilt on top of TensorFlow and a number of pre-trained our associated paper, we demonstrate state-of-the- g the very competitive Stanford Question Answering -training contextual representations — including , Generative Pre-Training, ELMo, and ULMFit. els, BERT is the rst deeply bidirectional, on, pre-trained using only a plain text corpus (in this 1/6 P tasks like question accuracy improvements training called Bidirectional th this release, anyone in the ng system (or a variety of other a few hours using a single GPU. ow and a number of pre-trained we demonstrate state-of-the- Stanford Question Answering presentations — including ng, ELMo, and ULMFit. eeply bidirectional, nly a plain text corpus (in thishttps://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html 1/6 answering and sentiment analysis, resulting in substantial accuracy improvements compared to training on these datasets from scratch. This week, we open sourced a new technique for NLP pre-training called Bidirectional Encoder Representations from Transformers, or BERT. With this release, anyone in the world can train their own state-of-the-art question answering system (or a variety of other models) in about 30 minutes on a single Cloud TPU, or in a few hours using a single GPU. The release includes source code built on top of TensorFlow and a number of pre-trained language representation models. In our associated paper, we demonstrate state-of-the- art results on 11 NLP tasks, including the very competitive Stanford Question Answering Dataset (SQuAD v1.1). What Makes BERT Different? BERT builds upon recent work in pre-training contextual representations — including Semi-supervised Sequence Learning, Generative Pre-Training, ELMo, and ULMFit. However, unlike these previous models, BERT is the rst deeply bidirectional, unsupervised language representation, pre-trained using only a plain text corpus (in this -pre.html 1/6 e built on top of TensorFlow and a number of pre-trained In our associated paper, we demonstrate state-of-the- ding the very competitive Stanford Question Answering pre-training contextual representations — including ing, Generative Pre-Training, ELMo, and ULMFit. odels, BERT is the rst deeply bidirectional, ation, pre-trained using only a plain text corpus (in thishttps://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html 1/6 language representation models. In our associated paper, we demonstrate state-of-the- art results on 11 NLP tasks, including the very competitive Stanford Question Answering Dataset (SQuAD v1.1). What Makes BERT Different? BERT builds upon recent work in pre-training contextual representations — including Semi-supervised Sequence Learning, Generative Pre-Training, ELMo, and ULMFit. However, unlike these previous models, BERT is the rst deeply bidirectional, unsupervised language representation, pre-trained using only a plain text corpus (in this exact match (EM) 2018/11/4 Google AI Blog: Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing simple task that can be generated from any text corpus: Given two sentences A and B, is B the actual next sentence that comes after A in the corpus, or just a random sentence? For example: Training with Cloud TPUs Everything that we’ve described so far might seem fairly straightforward, so what’s the missing piece that made it work so well? Cloud TPUs. Cloud TPUs gave us the freedom to quickly experiment, debug, and tweak our models, which was critical in allowing us to move beyond existing pre-training techniques. The Transformer model architecture, developed by researchers at Google in 2017, also gave us the foundation we needed to make BERT successful. The Transformer is implemented in our open source release, as well as the tensor2tensor library. Results with BERT To evaluate performance, we compared BERT to other state-of-the-art NLP systems. Importantly, BERT achieved all of its results with almost no task-speci c changes to the neural network architecture. On SQuAD v1.1, BERT achieves 93.2% F1 score (a measure of accuracy), surpassing the previous state-of-the-art score of 91.6% and human-level score of 91.2%: BERT also improves the state-of-the-art by 7.6% absolute on the very challenging GLUE benchmark, a set of 9 diverse Natural Language Understanding (NLU) tasks. The amount of human-labeled training data in these tasks ranges from 2,500 examples to 400,000 examples, and BERT substantially improves upon the state-of-the-art accuracy on all of them: BERTがヒトの読解力を上回った ③` 2018/11/23 ヒト BERT しかし、つい最近、GoogleのBERTというdeep learningが、ヒトの読解力を上回 る成果をあげたというニュースが入って衝撃が走りました。SQuAd（The Stanford Question Answering Dataset）という、文章を理解しているかどうかを 多肢選択式で求めさせるテストで、ヒトを上回ったのです。 ③` 学習のコースとは何ですか？ 教授の科学を表す別の名前は何ですか？ ほとんどの教師はどこから資格を取得するのですか？ 教師が生徒の学習に役立つものは何ですか？ 先生はどこで教えているのでしょうか？ 教師の役割は、しばしば正式で継続的であり、学校または 正式な教育の他の場所で行われます。多くの国で、教師にな りたい人は、まず大学やカレッジから特定の専門資格や資 格を取得する必要があります。これらの職業的資格には、 教育学の研究、教育科学が含まれます。教師は他の専門家 のように、資格を得た後に継続して教育を受けなければな らない場合があります。教師は、カリキュラムと呼ばれる学 習コースを提供し、学生の学習を促進するための授業計画 を使用することができます。 カリキュラム ペダゴギー 大学やカレッジ 授業計画 大学やカレッジ 例えば、左に示すような文章を読んで、右のような問いかけで正しい答えはどれか、 という形式の問題に対して、BERTはヒトの正答率を上まわったのです。緑が正解を 表しています。 WikiPediaを事前に学習させてはいますが、それに加えて、ここにはdeep learning の中でもtranformerという最新の技術が使われています。Tranformerというのは、 膨大な知識ベースを他の小さなデータベースにも継承できるようにしたものです。
  • 9.
    ③` 読解力のあるヒトより正解率が高かった とはいえ、意味はわかっていない ダメと言い切っていいのか？ BERTが成し遂げたことは、コンピュータが意味を理解した、とも受け取られるよ うに思われます。もちろん、ここでもコンピュータは意味を理解してはいません。 よくわからないけど正解したということです。意味がわからなければダメじゃな いか、東ロボくんもBERTもそういう意味ではどちらも厚い壁を破っていないでは ないか、というヒトもいます。しかし、最近のdeep learningはここで私たち人間 に問いかけているようにも思えます。 ③` 「意味を理解している」とは、 と、AIから問われているのでは？ 人間が長い間に創り上げてきた「常識」という 世界を参照しているだけ、かも。 つまり、なぜかはわからないけど、deep learningはヒトよりも優れた結果を出し てくれる。それのどこが問題なんだ、blackboxで何がいけないんだ、ということ です。私たちだって、正確に意味を理解しながらいろいろな判断を行っている訳で はありません。多くは、人間が長い間に創り上げてきた「常識」という世界を参照 して、わかった気になっているだけかもしれません。「意味」にこだわる意味があ るのか、ということです。
  • 10.
    ① ② ③ 名人の勝負を学習, 強化学習, 確率的探索 Wiki,事前学習, 教師なし学習, 転移学習 ワトソン AlphaGo BERT 人 類 の 英 知 網羅的探索 先の2つの例と比べて、3つ目の例、BERTでの事前学習や転移学習を用いた読解力の 獲得というのは、ヒトの知性にさらに一歩進んで「理解にせまった」と考えることも できます。「参照している」にすぎませんが、ヒトを超え始めたのです。 一口にAIと言っても、さまざまな分野で、そこに特化したやり方を工夫し、時にはヒト の力も借りながら、ヒトの知性を少しずつ乗り越えようとしていることがお分かりいた だけたと思います。 ① ② ③ 名人の勝負を学習, 強化学習, 確率的探索 Wiki, 事前学習, 教師なし学習, 転移学習 ワトソン AlphaGo BERT + 高性能コンピュータ 高度なアルゴリズム+ 人 類 の 英 知 データ 活用法 発見 網羅的探索 予測 さて、ここで、これらに共通している通奏低音のような模式を考えてみます。 いずれの場合も、データに高度なアルゴリズムを適用して何かを行おうというように なっているかと思います。
  • 11.
    データ . アルゴリズム予測 © Hideo Hirose 何か、というのは、予測であることが多いので、 「データ . アルゴリズム ~ 予測」、という模式のようになっていると解釈されます。 お互いの相性を考えた組み合わせによる相互作用 最適化という基準 データ . アルゴリズム 予測 何をしたいのか © Hideo Hirose ここで、赤い・の意味は、データとアルゴリズムの間でお互いの相性を考えた組み合 わせによる相互作用のことを表し、 赤い波は、最適化という基準に従って、何かをやりたい、例えば予測を行いたい、と いう模式になります。
  • 12.
    画像データ . 深層学習画像認識 狭い意味のAI サンプル . 統計科学 データサイエンス 統計学 情報学 データ . アルゴリズム 計算機科学 データ . アルゴリズム 予測 この模式図を使えば、最近のAIブームを引き起こしたdeep learningも「画像デー タ . 深層学習 ~ 画像認識」という風にかけますし、「サンプル . 統計科学 ~ データ サイエンス」とかけば、データサイエンスに、「データ . アルゴリズム ~ 計算機科 学」とかけば、計算機科学にも通じる書き方になります。 47 y = f(x) 高校までは 関数の値を求める 変数の値を決めて 2次関数が与えられれば 計算ができればばよかった 数学の言葉を使うと、 高校までは、例えば2次関数が与えられれば、変数xの値を決めて、関数yの値を求める ことができる、という計算ができればよかったわけですが、
  • 13.
    49 y = f(x) 何をしたいのか どのデータを利用するのか どういうアルゴリズムを使うのか の組み合わせが重要になってくる AIでは AIでは、これからは、どういうデータを利用するのか、そこにはどのように相性が合うア ルゴリズムを使うのか、そもそも何をしたいのか、という組み合わせを全て考えていくこ とが重要になってきます。 51 y= f(g(h…(x))) ヒトを超える結果 ビッグデータ 複雑なアルゴリズム ベクトルで表現すると 複雑なアルゴリズムも明快に記述できる ベクトルで表現すると、 複雑な数式で表現されるアルゴリズムを使って、ビッグデータを解析し、ヒトの知性を 超える結果を出す、というようになります。
  • 14.
    データ . アルゴリズム予測 データを読む感性 © Hideo Hirose ここで、データとアルゴリズムの相性を考えるときに、 「データを読む感性」というのが重要になってくると考えています。 ラーニングアナリティクス 例１ さて、一般的なお話しはここまでにして、ここで、私どもで実際に取り組んでい ることをご紹介したいと思います。まず、はじめに、ラーニングアナリティクスに ついてです。 ラーニングアナリティクスという言葉は使われはじめてまだ間もないのですが、 これは、コンピュータ利用によって蓄積された膨大な学習データを統計的に分析 して、効果的な学習支援を行う知見を得ようという、教育分野において最近急速 に発展してきている分野です。ここには、さまざまな機械学習のアルゴリズムも 使われています。
  • 15.
  • 16.
    CBTによるサポート CBT: Computer BasedTesting コンピュータを用いたテスト CBTとはcomputerを用いたテストのことです。広島工大では、数学科目について、 2016年度から全学生にcomputerを使った小テストを行い、学生の習熟度を丁寧に見て います。 数学教員が作った3000問以上の問題 3000人以上の受験者 この図は、数学教員が作った3000問以上の問題に対して、3000人以上の学生が小テ ストに応答した結果を、マトリクス（行列）を使って表しています。アクセス数に応 じて色が変っています。緑はアクセス数が少なく、黄色から赤になるほど、アクセス 数が多いことを表しています。この結果から、学生一人一人の習熟度の変化を探って みようとしています。
  • 17.
  • 18.
  • 19.
    平均をとると誤差がとれる 「平均をとると誤差がとれる」という統計の性質があります。 期末試験 合格者 習熟度 期末試験 不合格者 人数 Histogram ofABAAALCTSF$ABAsuccess ABAAALCTSF$ABAsuccess Frequency -2 -1 0 1 2 051015202530 小テスト14回分の成績を平均した値のヒストグラム 合格者と不合格者の区別はつきにくい 習熟度の平均 人数 そこで、15回にわたる小テストの平均をとり、学生全員についてヒストグラムを作っ てみました。 期末試験合格者の中に期末試験不合格者はすっぽり埋もれていて、両者を分離できま せん。つまり、1回1回の小テストを個々に見ていても、どの学生が期末試験に失敗す るかを予測できないということになります。 小テストの成績は、学生の指導に役に立たないのでしょうか。
  • 20.
    項目反応理論を用いた正確な習熟度評価法を 累積させた小テストデータに適用し 習熟度の時間的トレンドを見た 項目反応理論：  学生の習熟度と問題の困難度を同時に推定できる統計的な理論で  現代テスト理論に基づいている ここで、より正確な評価値を求めるため、習熟度評価法には項目反応理論を用い、 さらに、1回1回ではなく、累積させた小テストデータにそれを適用し、習熟度評価の 時間的トレンドを見てみました。項目反応理論とは、学生の習熟度と問題の困難度を 同時に推定できる統計的な理論で、現代テスト理論に基づいています。 小テスト成績履歴 それがこれです。 これは、期末試験合格者の成績のトレンドです。安定した傾向がみてとれます。
  • 21.
  • 22.
    類似度を比較する NNによって ここで、ある学生一人をとりあげ、その学生の成績のトレンドが期末試験合格者と不合 格者のどちらに似ているかという類似度を求めてみます。 例えば、（ピンクを指す）合格者の中の一番上のピンクの曲線の近くには右をみると1 本の不合格者もいませんから、この学生は合格と判断するわけです。混在している部分 では、どの程度の確率で不合格になるか、が判断できることになります。 0 50 100 150 200 250 300 350 LCT1-LCT4を使用 LCT1-LCT7を使用 LCT1-LCT11を使用 不合格者数= 206 p ≧ 0.3 p ≧ 0.4 p ≧ 0.5 p ≧ 0.3 p ≧ 0.4 p ≧ 0.5 p ≧ 0.3 p ≧ 0.4 p ≧ 0.5 不合格と予測 実際には合格 不合格と予測 実際にも不合格 学期の1/3近辺 学期の1/2近辺 学期の2/3近辺 実際の不合格ライン 平均で評価するよりも トレンドの類似度評価を使った方が リスクのある学生をよくとらえている しかも、どの時点で評価してもあまり変わらない 期末試験不合格者の予測数 そうすると、不合格の確率をpとしますと、p以上で不合格になる学生を捕まえること ができます。 例えば、pが0.4以上の学生を捕まえると、学期の半ばであっても、実際の不合格者数 に近い数を予測していることがわかります。その中で半分は実際に不合格になってい ます。 重要なのは、この傾向は、学期の1/3くらいのときでも、学期半ばでも、学期が2/3過 ぎた時点でもあまり変わらないということです。早い段階でリスクのある学生の捉え ることができていることを示しています。
  • 23.
    機械学習（AI）を用いれば このpの値をどのように設定するのが最適であるか、というのを判断する際に、機械学 習でよく用いられている、 TruePositiveRate 0 0.2 0.4 0.6 0.8 1 False Positive Rate 00.2 0.4 0.6 0.8 1 p 0.2 p 0.1 p 0 p 0.3 p 0.4 p 0.5 p 0.6 tangent = 4 実際には合格なのに不合格と予測された 実際に不合格で不合格と予測された p 0.4 p 0.3 p 0.5 p 0.1 学期の1/3近辺 学期の1/2近辺 学期の2/3近辺 ROC曲線 最適なpは0.4 p: 不合格の確率 receiver operating characteristic curve（受信者動作特性曲線） ここでは 不合格をPositiveとしている ROC曲線というものを使うことができます。ROC曲線を使うことによって、最適なp の値は0.4に設定すると、精度よくリスクのある学生の捉えることができることになり ます。
  • 24.
    このままだとあなたは確率40%以上で期末試験に不合格です というアラートを出して学生を奮起させることも可能 学期の途中で、 「このままだとあなたは確率40%以上で期末試験に不合格です」 というアラートを出して学生を奮起させることも可能になるわけです。 95 データ . アルゴリズム予測 全学生の毎時間での小テスト （大規模ラーニングデータ） 類似度による2値分類 学生のドロップアウトリスク予測 © Hideo Hirose 96 先ほどの模式図にこのことを適用してみますと、全学生の毎時間での小テストがデータ の部分で、類似度による2値分類のところがアルゴリズム、学生のドロップアウトリス ク予測が、もともとやりたかったこと、ということになると思います。
  • 25.
    1. オンライン演習を使った主体的な学習者が増え， 2. そのため，毎時間での小テストの成績は向上し， 3.真 に学習する学生が目につくようになった. HIT教育経過３年目にあたって 平成30年度(第69回)電気・情報関連学会中国支部連合大会 CBTインテンシブフォローアッププログラムの成果 このように実施してきたHIT教育におけるCBT利用によって、 1. オンライン演習を使った主体的な学習者が増え， 2. そのため，毎時間での小テストの成績は向上し， 3. 真 に学習する学生が目につくようになった. という結果を示すことができました。 感染症の流行予測 例２ 次に、感染症の流行予測の例です。
  • 26.
  • 27.
    伝統的な統計的手法 時系列解析 autoregressive integrated movingaverage (ARIMA) model AR ARMA ARIMA as a model for y = f (x), traditionally, artificial neural networks (ANN) model time-series modeling Box-Jenkinsy = f(t) = Xt ARIMA(p, d, q) × (P, D, Q)S, with p = non-seasonal AR order, d = non-seasonal differencing, q = non-seasonal MA order, P = seasonal AR order, D = seasonal differencing, Q = seasonal MA order, and S = time span of repeating seasonal pattern. seasonal'ARIMA, 106 伝統的な統計的手法である時系列解析が使えます。ARとかARIMAと略されて呼ばれていま す。季節性を考慮して作られた数理モデルもあります。 マトリクス（行列）にして考えてみる 週 年 ここにはどんな数値が入るだろうか 時系列ではなく しかし、ここでは、時系列解析ではなく、年と週を行と列に持つマトリクス（行列） にして考えてみようと思います。緑の部分は感染者数は少なく、黄色から赤くなるに 従って感染者数は多くなることを表しています。右下の空白の部分を予測しようとし ています。
  • 28.
    ノロウイルス感染症患者の発生状況の予測法 西部保健所菅内での感染者数の推移はまだ継続中ですから、ここでは、過去に起 こった全国のノロウイルス感染症患者の発生状況の予測を行ってみます。 2" 0" 5" 10" 15" 20" 25" 1" 2" 3"4" 5" 6" 7" 8" 9" 10"11"12"13"14"15"16"17"18"19"20"21"22"23"24"25"26"27"28"29"30"31"32"33"34"35"36"37"38"39"40"41"42"43"44"45"46"47"48"49"50"51"52" ! ! 12 5 5 Prediction by using 1-5 weeks data Number"of"pa6ents weeks 実線表示のデータを使って予測 観測値 予測結果 観測値を青い点線で表し、赤い実線表示のデータを使って、予測値を赤い点線で表して います。ここでは、その年の1月だけの観測値からその年のすべての週での予測がうま くいっているように描いていますが、
  • 29.
    13 0" 5" 10" 15" 20" 25" 1" 2" 3"4" 5" 6" 7" 8" 9" 10"11"12"13"14"15"16"17"18"19"20"21"22"23"24"25"26"27"28"29"30"31"32"33"34"35"36"37"38"39"40"41"42"43"44"45"46"47"48"49"50"51"52" ! ! 02 03 04 05 06 07 08 09 10 11 12 5 5 Prediction by using 1-5 weeks data Numberofpatients weeks 観測値 予測結果 過去10年分のデータ 実線表示のデータを使って予測 実は、背景に薄く見える、過去10年分のデータも用いているのです。 蓄積された過去のデータと直近の観測値を使って将来の予測を行っているのがお分かり いただけると思います。 € 1.5 1 1( ) € 1 2 3           € 1 2 3           1.5 1 1( ) = 1.5 1 1 3 2 2 4.5 3 3           115 観測値と予測値の誤差 € A € M € P U € UM = P マトリクス（行列）を2つのマトリクスの掛け算に分解する UV = P V X overfitting回避最小二情報 マトリクス（行列）分解法 116 予測アルゴリズムには、マトリクス（行列）分解法というものを用いています。マト リクス（行列）Xを2つのマトリクスU, Vの掛け算に分解するというものです。 観測値と空欄が混在しているマトリクスXを、すべての要素に数値が入っている2つのマトリク スUとVの掛け算で近似します。ここで、掛け合わせたマトリクスPの結果と、もとの観測値Xと の誤差を最小にするという基準を使います。そして、この問題にだけはぴったり当てはまるとい うover-fittingを防ぐため、ペナルティー項を加えて正則化という調整を行っています。
  • 30.
    時系列解析よりもマトリクス分解法が観測結果に合った マトリクス（行列）分解法 その結果、1月の段階で予測した年末での結果は、時系列解析よりマトリクス分解 法が観測結果に合ったのです。機械学習が統計解析を上回った事例です。 データ . アルゴリズム予測 感染症流行観測値 マトリクス（行列）分解法 感染症流行予測 © Hideo Hirose 120 ここでも、感染症流行の観測値をデータに、マトリクス分解法を流行予測を行うのに相性 の良いアルゴリズムと考えると、感染症流行のリスクを低減させるために予測を行う、と いう模式図になっていることがおわかりいただけるかと思います。
  • 31.
    データ . アルゴリズム予測 アルゴリスム アルゴリスム アルゴリスム アルゴリスム アルゴリスム アルゴリスム データ データ データ データ データ データ 予測 予測 予測 予測 予測 予測 © Hideo Hirose AIとは そうすると、いろいろなデータを用いて、それに合ったアルゴリズムを見つけ、 予測を行うということに、たくさんの組み合わせができると思います。 結局、AIというのは、この模式の一つ一つの組み合わせのことを指しているとい うことがお分かりになったと思います。 人類の英知を結集し、コンピュータの力を借りて ようやく ヒトよりも、速くできるようになったAI 一つのタスクなら、 今後 データとアルゴリズムの組み合わせで多方面に広がる 人類の英知を結集し、コンピュータの力を借りて、一つのタスクなら、ようやくヒト よりも速くできるようになったAIが、今後、データとアルゴリズムの組み合わせで多 方面に広がっていくと思われます。
  • 32.
    データ . アルゴリズム予測 データを読む感性 © Hideo Hirose 先ほどは、データとアルゴリズムの相性を考えるときに「データを読む感性」が求め られる、と言いましたが、さらに、 新しい分野に創造的に踏み込もうとするときにも、 「感性」というのが重要になってくると考えています。 AIを使って 人生を楽しく! 次の世代はAIネイティブ Okada Nana 感性 AIの正体を見れば怖くはないことがお分かりいただけたと思います。 また、データとアルゴリズムを橋渡しできる「感性」があれば、 AIを使いこなすことができるようになります。 次の世代はAIネイティブです。 AIを使って、人生を楽しくしましょう。
  • 33.