Downloaded 12 times
MLaPP輪講 Chapter 1
- 1.
- 2. 名言 We are drowningin information and starving for knowledge. - John Naisbitt, in Megatrends (1982) 2
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10. 機械学習の分類 1. 教師あり学習 2. 教師なし学習 3.強化学習 Sutton & Barto 1998 を読みましょう． 10
- 11. 教師あり学習 入力から出力への写像を学習する 𝐱 𝑦 𝑓𝐱 (supervised learning or predictive learning) 入力空間 出力空間 𝐱 𝑖 𝑦𝑖 ≈ 𝑓 𝐱 𝑖 𝑓 11
- 12. 教師あり学習 入力から出力への写像を学習する 𝐱 𝑦 𝑓𝐱 このとき，入力-出力の”ラベル付き”集合 𝒟 = 𝐱 𝑖, 𝑦𝑖 𝑖=1 𝑁 を用いて学習する．これを訓練データとい う． （𝑁は訓練例の個数） (supervised learning or predictive learning) 12
- 13. 入力 特徴，素性，共変量，説明変数，独立変数， 予測変数，… Input, feature がよく使うかな 今のところ𝐱 𝑖 ∈ 𝐑 𝐷 で良い 画像，文，時系列，分子形状，グラフなど， ベクトルとみなすには厳しい場合も多い 確率変数なので，本当は 𝐗 𝜔𝑖 とか書か なきゃいけないが，大体無視される 13
- 14. 出力 応答変数，従属変数など (inputより少ない！) Output, responsevariable 出力の種類により，問題の名前が違う 1. カテゴリ変数 𝑦𝑖 ∈ 1,2, … , 𝐶 識別，パターン認識 として知られる 2. 実数値 𝑦𝑖 ∈ 𝐑 （多次元の場合もある） 回帰 regression classification, pattern recognition カテゴリに順序がある場合も(amazonの★) 14
- 15. 出力 応答変数，従属変数など (inputより少ない！) Output, responsevariable 出力の種類により，問題の名前が違う 1. カテゴリ変数 𝑦𝑖 ∈ 1,2, … , 𝐶 識別，パターン認識 として知られる 2. 実数値 𝑦𝑖 ∈ 𝐑 （多次元の場合もある） 回帰 regression classification, pattern recognition カテゴリに順序がある場合も(amazonの★) ここらへんはノ リで． 15
- 16.
- 17. Toy Example17 問題：オブジェクトが yesか no を識別
- 18. Toy Example18 問題：オブジェクトが yesか no を識別 訓練データ
- 19. Toy Example19 問題：オブジェクトが yesか no を識別 𝐱入力 出力 𝑦 𝐱1 𝐱2 𝐱3 𝑦1 𝑦2 𝑦3
- 20. Toy Example20 問題：オブジェクトが yesか no を識別 テストデー タ これら未知のオブジェクトは yes か no か？
- 21. Toy Example21 問題：オブジェクトが yesか no を識別 は yes であろう． 訓練データにおいて， 1. 青はすべて yes であり， 2. 月はいずれにも含まれていないから．
- 22. Toy Example22 問題：オブジェクトが yesか no を識別 は yes か no か？ 訓練データにおいて， 1. 黄色はいずれにも含まれており， 2. ドーナツもいずれにも含まれている．
- 23. Toy Example23 問題：オブジェクトが yesか no を識別 は yes か no か？ 訓練データにおいて， 1. 黄色はいずれにも含まれており， 2. ドーナツもいずれにも含まれている．
- 24. Toy Example24 問題：オブジェクトが yesか no を識別 同様の困難が にも． 訓練データにおいて， 1. 青はすべて yes だが， 2. 矢印はすべて no である．
- 25.
- 26. 確率分布で表現26 問題：オブジェクトが yes かno を識別 は yes か no か？ 𝑝 𝑦 | 𝐱, 𝒟 にもとづいて識別しよう！ 出力 入力 訓練データ 我々のひとまずの立場 確率モデルにもとづかない手法もある（SVMとか）
- 27. 確率分布で表現27 問題：オブジェクトが yes かno を識別 は yes か no か？ 𝑝 𝑦 = 1 | 𝐱, 𝒟 なら yes 𝑝 𝑦 = 0 | 𝐱, 𝒟 なら no
- 28. 𝑝 𝑦 =1 | 𝐱, 𝒟 + 𝑝 𝑦 = 0 | 𝐱, 𝒟 = 1 確率分布で表現28 問題：オブジェクトが yes か no を識別 は yes か no か？ が成り立つので， 𝑝 𝑦 = 1 | 𝐱, 𝒟 のみわかれば良い．
- 29. 識別ルールはこう決める29 問題：オブジェクトが yes かno を識別 は yes か no か？ 𝑦 = 𝑓 𝐱 = arg max 𝑐∈ 0,1 𝑝 𝑦 = 𝑐 | 𝐱, 𝒟 “ハット”は「推定値」という意味でよく使う
- 30. MAP推定30 𝑦 = 𝑓𝐱 = arg max 𝑐∈ 0,1 𝑝 𝑦 = 𝑐 | 𝐱, 𝒟 MAP推定 (maximum a posteriori) という A posteriori は事後分布のこと 確率分布の最頻値を選択 補足： 機械学習でMAP推定とは，普通は パラメータ推定の意味において使う言葉
- 31. 「わからない」という勇気31 𝑦 = 𝑓𝐱 = arg max 𝑐∈ 0,1 𝑝 𝑦 = 𝑐 | 𝐱, 𝒟 一番大きい事後確率 𝑝 𝑦 = 𝑐 | 𝐱, 𝒟 が ある値よりも小さいとき，「わかりません」と いう識別結果を返すときもある 医薬・金融など間違いが許されない分野 クイズ・ミ■オネアとかね
- 32.
- 33. 文書識別 or スパムフィルタリング 文書識別 𝐱文書・ウェブページなどの, 𝑦 トピックなどを識別 33 スパムフィルタリング 𝐱 メールが, 𝑦 スパムかハムかを識別
- 34. Bag-of-words34 文書 𝐱 𝑖について， ある単語 𝑗 が出現する場合は 𝑥𝑖𝑗 = 1 そうでなければ 𝑥𝑖𝑗 = 0 クラスによって単語の出現パターンに差 文脈は無視
- 35.
- 36.
- 37.
- 38. 手書き文字認識 MNIST 郵便番号の手書き文字データ 訓練データ 60,000，テストデータ 10,000 クラス 0,1,2,…,9 28×28， 画素値 0-255 単純にベクトル化するだけでは，画像の 構造的な情報を無視しかねない 38 次元を シャッフル
- 39. 顔検出39 窓をスライドさせていく スケール変化・回転を許容 テンプレートとのマッチング 例えばこんなん グンマー部族の仮面かな？ デジカメに標準搭載 Googleストリートビューで， 歩行者の顔に自動モザイク
- 40. 顔認識40 検出後，誰なのかを認識 特徴量は検出とは大きく異なる！ グンマー仮面では無理 SIFT, HOGなどが有名 Bag-of-features
- 41.
- 42.
- 43. 教師なし学習43 データの中の”興味深い”構造を見つける 𝐱 (unsupervised learning ordesctiptive learning) データ空間
- 44. 教師あり 教師なし学習44 データの中の”興味深い”構造を見つける 𝐱 (unsupervised learningor desctiptive learning) 𝑝 𝑦 | 𝐱, 𝜽 教師なし 𝑝 𝐱 | 𝜽 推定するもの： 𝜽 はパラメータ．今のところは(ﾟεﾟ)ｷﾆｼﾅｲ!! 教師なしでは，多次元変数の分布を 推定する，というのが大きな違い
- 45. ヒントン大先生いわく45 When we’re learningto see, nobody’s telling us what the right answers are — we just look. Every so often, your mother says “that’s a dog”, but that’s very little information. You’d be lucky if you got a few bits of information — even one bit per second — that way. The brain’s visual system has 1014 neural connections. And you only live for 109 seconds. So it’s no use learning one bit per second. You need more like 105 bits per second. And there’s only one place you can get that much information: from the input itself. Geoffrey Hinton, 1996
- 46.
- 47. クラスタリング47 データ クラスタリング結果 MAP推定 クラスタへの割振り 𝑧𝑖∈ 1, … , 𝐾 𝑧𝑖 ∗ = arg max 𝑘∈ 1,…,𝐾 𝑝 𝑧𝑖 = 𝑘 | 𝐱 𝑖, 𝒟
- 48.
- 49.
- 50.
- 51.
- 52.
- 53. 協調フィルタリング53 クラスタリング ＋ 欠損値予測 例．映画レーティング Netflixが2006年にコンペ なんと賞金一億円 機械学習で人生一発逆転も夢じゃない！ 超絶スパース 観測はごく少数 クラスに順序
- 54.
- 55. パラかノンパラか それが問題だ パラメトリックモデル 固定された数の有限個のパラメータを持つ 55 ノンパラメトリックモデル パラメータの個数が訓練データ量に従い増える 教師あり 教師なし パラメトリック𝑝 𝑦 | 𝐱, 𝜃 𝑝 𝐱 | 𝜃 ノンパラメトリック 𝑝 𝑦 | 𝐱 𝑝 𝐱 イメージということで。。
- 56.
- 57. K近傍法： ノンパラ識別器の例 未知のデータが入ってきた際， 1. 訓練データすべての点との距離を計算 2.K個の最近傍点を選び，対応する出力をK個得る 3. K個の出力で，一番多いラベルを未知のデータの 出力とする 57 近傍の数 𝐾 は固定 予め決めなければならない 平滑化パラメータという （𝐾により決定境界の滑らかさが決まるから）
- 58. K近傍法： ノンパラ識別器の例58 確率モデルで表すと 𝑝 𝑦= 𝑐|𝐱, 𝒟, 𝐾 = 1 𝐾 𝑖∈ 𝕀 𝑦𝑖 = 𝑐 𝐾最近傍点の集合 （𝕀 は指示関数） やはりMAP推定 𝑦 𝐱 = arg min 𝑐 𝑝 𝑦 = 𝑐|𝐱, 𝒟, 𝐾 𝐾 = 1 のとき，決定境界はボロノイ分割となる
- 59.
- 60.
- 61. 闇に呑まれないためには？61 データの分布に仮定を置きましょう 教師あり 𝑝 𝑦| 𝐱 or 𝑝 𝐱 教師なし 𝑝 𝐱 帰納バイアスという
- 62. 線形回帰62 教師あり回帰で，一番単純なもの 入出力関係が線形だという強い仮定 まぁ，実問題ではほとんどの場合，成り立たないよね でも割りとうまくいく．偉い 統計の授業で必ず習う 𝑥 𝑦 𝑦 = 𝑎𝑥+ 𝑏 で当てはめ パラメータ 𝑎, 𝑏 は最小二乗法で推定
- 63. 線形回帰を確率モデルで63 𝑦 𝐱 =𝑤0 + 𝑗=1 𝐷 𝑤𝑗 𝑥𝑗 + 𝜖, データがこのように生成されると仮定： 𝜖 ~ 𝒩 0, 𝜎2 . 標準正規分布 𝒩 0,1 入力が1次元の場合のデータの分布
- 64. 線形回帰を確率モデルで64 入力の1次元目に 1 を含めると： 𝑦𝐱 = 𝐰 𝑇 𝐱 + 𝜖, 𝜖 ~ 𝒩 0, 𝜎2 . ただし 𝐰 = 𝑤0, 𝑤1, … , 𝑤 𝐷 𝑇 . このとき， 𝑝 𝑦|𝐱, 𝜽 ~ 𝒩 𝑦|𝐰 𝑇 𝐱, 𝜎2 ただし 𝜽 = 𝐰, 𝜎2 . パラメータ推定は，のちの章で（多分）
- 65. ロジスティック回帰65 今度は，線形モデルを使った識別 sigm 𝜂 = 1 1+ exp −𝜂 まず，線形回帰の式にシグモイド関数 をかませる： sigm 𝐰 𝑇 𝐱 = 1 1 + exp −𝐰 𝑇 𝐱 .
- 66. ロジスティック回帰66 次に，出力にのるノイズがベルヌーイ分布 Ber 𝑦 |𝑝 = 𝑝 𝑦 1 − 𝑝 1−𝑦 に従うとする（0-1変数だから）： 𝑝 𝑦 | 𝐱, 𝐰 = Ber 𝑦 | sigm 𝐰 𝑇 𝐱 . SATスコアを入力として， 授業に合格したか(1)， 落第したか(0)をフィッティングした図 （嫌な図だ）
- 67.
- 68. モデル選択68 どの程度複雑なモデルが良いのか？ 訓練データに対する誤識別率 err 𝑓, 𝒟= 1 𝑁 𝑖=1 𝑁 𝕀 𝑓 𝐱 𝑖 ≠ 𝑦𝑖 予測と真のラベルが 一致するかどうか 訓練誤差は， テスト誤差の推定値としては よくない！！
- 69. どのようにして選択するか？69 とても難しい問題 テスト誤差が推定できれば， それに従って選ぶのが良かろう 答えの一つに，交差確認 5分割交差確認 訓練データを5つに分割 1つは確認用 残り4つは訓練用 訓練誤差を求める 5回繰り返し 平均して，テスト誤差の 推定値とみなす
- 70.
- 71.
- 72.
Editor's Notes
- #45 もちろん，教師ありでも出力yを多次元変数として扱うこともある．