Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Simple perceptron by TJO

145,268 views

Published on

Published in: Technology
  • Be the first to comment

Simple perceptron by TJO

  1. 1. 単純パーセプトロンの基本のき TJO (@TJO_datasci)
  2. 2. と、その前に… 元々パーセプトロンというのは… – ニューロン情報処理モデルだった 実際に脳科学の世界では重要だった時代も – 小脳パーセプトロンモデル – Marr (1969), 伊藤正男(1972) 1
  3. 3. と、その前に…でも今は… パーセプトロン = 線形識別器の基礎 2
  4. 4. と、その前に… パーセプトロンが分からなきゃ、 サポートベクターマシンも分からない! パーセプトロンが分かれば、 サポートベクターマシンなんて余裕! 今も流行中、(おそらく)史上最強の 機械学習分類器! 3
  5. 5. 本日のお題は… 線形識別器の基本のき、 パーセプトロンを理解しよう! 4
  6. 6. 簡単な例から… 【初心者向け】 分かりやすいパーセプトロンの例 5
  7. 7. 簡単な例から… 6
  8. 8. 簡単な例から… 返値 重みベクトル 入力信号 (「±の符号」が大事!) (こいつが学習結果) (これから識別したいもの) 7
  9. 9. 簡単な例から… 8
  10. 10. 簡単な例から… 9
  11. 11. 簡単な例から… 返値 重みベクトル 入力信号 (正なら非SPAM (メールの単語頻度) 負ならSPAM) 10
  12. 12. 簡単な例から… 11
  13. 13. 簡単な例から… 12
  14. 14. 簡単な例から… 「会議」は非SPAM 「目標」は非SPAM 「お買い得」はSPAM 13
  15. 15. 簡単な例から… 14
  16. 16. 簡単な例から… 15
  17. 17. 簡単な例から… 16
  18. 18. 簡単な例から… 誤判定した時の入力信号の値 17
  19. 19. 簡単な例から… 18
  20. 20. 簡単な例から… 19
  21. 21. ここからは… 【ガチで勉強したい人向け】 いよいよガチなパーセプトロンのお話 20
  22. 22. 「識別」とは何ぞや? こういう2集団を 「識別」してみたい。 21
  23. 23. 「識別」とは何ぞや? b x > a, y > b とかで「識別」できるじゃん? a 22
  24. 24. 「識別」とは何ぞや? まだまだ余裕。 23
  25. 25. 「識別」とは何ぞや? これはさすがに無理… 24
  26. 26. 「識別」とは何ぞや? 単なる「区間」を決める「不等式 などではもはや「識別」できない 25
  27. 27. 理屈を見てみよう そこでこういうことを考える。 26
  28. 28. 理屈を見てみよう 各○&△にラベルy(k)を振る。 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 27
  29. 29. 理屈を見てみよう 28
  30. 30. 理屈を見てみよう 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 29
  31. 31. 理屈を見てみよう 初期化してみた。 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 30
  32. 32. 理屈を見てみよう これを「始点」にして、どんどんa,b,cを変えてい こう。 じゃ、どうやってa,b,cを変えていこうか? 31
  33. 33. 理屈を見てみよう 各○&△のラベルy(k)を見て! 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 32
  34. 34. 理屈を見てみよう おかしいのはどれ? 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 33
  35. 35. 理屈を見てみよう 紫の線で囲まれたところはどうなっていた? – ラベルt(k)とy+cの「符号」が一致してない その他のところはどうなっていた? – ラベルt(k)とy+cの「符号」が一致している つまり… – ラベルt(k)とf(x,y)の積の符号を見れば、 何か良いことがあるのでは? 34
  36. 36. 理屈を見てみよう 35
  37. 37. 理屈を見てみよう 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 36
  38. 38. 理屈を見てみよう 37
  39. 39. 理屈を見てみよう 38
  40. 40. 理屈を見てみよう 「ズレ」を減らしていこう! 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 39
  41. 41. 理屈を見てみよう 「ズレ」を減らしていこう! 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 40
  42. 42. 理屈を見てみよう 「ズレ」を減らしていこう! 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 41
  43. 43. 理屈を見てみよう 42
  44. 44. 理屈を見てみよう 43
  45. 45. 理屈を見てみよう 44
  46. 46. 理屈を見てみよう 45
  47. 47. 理屈を見てみよう 46
  48. 48. 理屈を見てみよう こんな感じで逐次更新される。 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 47
  49. 49. 理屈を見てみよう こんな感じで逐次更新される。 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 48
  50. 50. 理屈を見てみよう こんな感じで逐次更新される。 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 49
  51. 51. 理屈を見てみよう 50
  52. 52. 理屈を見てみよう 例えば値が5とかならこんな感じ。 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 -1 -1 1 -1 -1 1 -1 1 1 1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 51
  53. 53. ということで…それでは、Pythonで組んでみましょう! ブログ記事へ… 52

×