Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

【SIROK技術勉強会 #4】機械学習と線形代数の基礎

4,730 views

Published on

【30席増席!】SED 〜SIROK技術勉強会 #4「機械学習と線形代数の基礎」〜
https://atnd.org/events/68945
ーーーーーーーーーーーーーーーーーーーー
日時:2015/08/18 (火) 19:30 to 21:00
場所:渋谷プライムプラザ4F セミナルーム
ーーーーーーーーーーーーーーーーーーーー

Published in: Technology
  • Be the first to comment

【SIROK技術勉強会 #4】機械学習と線形代数の基礎

  1. 1. 機械学習と線形代数の基礎 株式会社シロク エンジニア 田村俊太郎
  2. 2. アウトライン 1. 田村自己紹介 2. 機械学習 3. 線形代数 4. まとめ
  3. 3. 田村自己紹介
  4. 4. (株)シロク エンジニア   田村俊太郎 (25)   あだ名は「たむしゅん」 ■学生時代1番頑張ったこと    全ての両立、全てに本気    (サークル7個、塾講師、大学の研究)   受験数学 テニス   サッカー   合気道 等 線形代数 ■経歴    2014年3月:東京大学大学院修了    2014年4月:(株)サイバーエージェント入社    2014年8月:(株)シロク出向   【Qiita】   h0p://qiita.com/shuntaro_tamura   【ブログ】   h0p://ameblo.jp/tamutamu1990/   大学教授   塾講師   就職   エンジニア
  5. 5. アウトライン 1. 田村自己紹介 2. 機械学習 3. 線形代数 4. まとめ
  6. 6. 機械学習とは?
  7. 7. 「機械」が「学習」すること
  8. 8. 「機械」が「学習」すること コンピュータ 過去のデータの中から、 問題を解くための規則性 を見つけさせる
  9. 9. 「機械」が「学習」すること コンピュータ 過去のデータの中から、 問題を解くための規則性 を見つけさせる 検索エンジン、天気予報、   スパムメール検出、   画像認識、医療診断、   顧客セグメンテーション など ▼応用例
  10. 10. 機械学習の種類
  11. 11. 教師あり学習 教師なし学習 正解のあるデータから 規則性を見つける 正解のないデータから 規則性を見つける
  12. 12. 教師あり学習 教師なし学習 正解のあるデータから 規則性を見つける 正解のないデータから 規則性を見つける (例)乳がんの予測 (  :良性  :悪性) 年齢 腫瘍の大きさ
  13. 13. 教師あり学習 教師なし学習 正解のあるデータから 規則性を見つける 正解のないデータから 規則性を見つける (例)乳がんの予測 (  :良性  :悪性) 年齢 腫瘍の大きさ
  14. 14. 教師あり学習 教師なし学習 正解のあるデータから 規則性を見つける 正解のないデータから 規則性を見つける (例)乳がんの予測 (  :良性  :悪性) →  良性?  or  悪性? 年齢 腫瘍の大きさ
  15. 15. 教師あり学習 教師なし学習 正解のあるデータから 規則性を見つける 正解のないデータから 規則性を見つける (例)Google  Newsの記事分類 大量の記事データ
  16. 16. 教師あり学習 教師なし学習 正解のあるデータから 規則性を見つける 正解のないデータから 規則性を見つける (例)Google  Newsの記事分類 大量の記事データ エンタメ スポーツ テクノロジー
  17. 17. 教師あり学習 教師なし学習 正解のあるデータから 規則性を見つける 正解のないデータから 規則性を見つける 必ずどちらかに 分類されるか?
  18. 18. 教師あり学習 教師なし学習 正解のあるデータから 規則性を見つける 正解のないデータから 規則性を見つける 必ずどちらかに 分類されるか? No
  19. 19. 教師あり学習 教師なし学習 正解のあるデータから 規則性を見つける 正解のないデータから 規則性を見つける 中間的手法
  20. 20. 教師あり学習 教師なし学習 正解のあるデータから 規則性を見つける 正解のないデータから 規則性を見つける 中間的手法 半教師あり 学習 強化学習 深層学習   Deep  Learning
  21. 21. 半教師あり学習  正解ありデータ + 正解なしデータ 強化学習  試行錯誤から規則性を見つける   深層学習(Deep Learning)  特徴量(Feature)の自動抽出 高コスト (例)Deep  Q  Network   によるブロック崩し (例)IBM  Watson、Googleの猫  
  22. 22. 実際に、実装してみた!
  23. 23. 【環境構築】 Mac OS Xに Python(Anaconda) をインストール
  24. 24. ★Anaconda → h0p://conQnuum.io/downloads#all  
  25. 25. ★Anaconda → h0p://conQnuum.io/downloads#all  
  26. 26. $ python -V Python 2.7.10 :: Anaconda 2.3.0 (x86_64) → Anaconda、無事入った。
  27. 27. Python(Anaconda) を選んだ理由
  28. 28. Python vs R ●Pythonのメリット(vs R) 数学、機械学習系のライブラリが豊富 言語として拡張性に富む 他言語との連携がしやすい 動作が速い ●Rのメリット(vs Python) 非エンジニアに取っ付きやすい
  29. 29. Python vs R ●Pythonのメリット(vs R) 数学、機械学習系のライブラリが豊富 言語として拡張性に富む 他言語との連携がしやすい 動作が速い ●Rのメリット(vs Python) 非エンジニアに取っ付きやすい メリットが   大きい
  30. 30. $ ipython notebook →ブラウザが立ち上がる →対話的にPython実行が可能
  31. 31. Pythonを使って データ分析する流れ
  32. 32. ①データの取得    ②データの加工その1    ③機械学習、データ分析    ④データの加工その2    ⑤可視化   
  33. 33. ①データの取得   API・Webから取得、CSV、SQLなど ②データの加工その1   numpy や pandas などを使った行列計算 ③機械学習、データ分析   scikit learn を使って分析 ④データの加工その2   numpy や pandas などを使って整形 ⑤可視化   matplotlib を使って表現 データ→行列の形で保持
  34. 34. ①データの取得   
  35. 35. ①データの取得 ↓ irisデータ
  36. 36. 150個の事前データ from sklearn import datasets iris = datasets.load_iris() X = iris.data  ←入力データ Y = iris.target ←正解データ(教師あり学習) 5.1, 3.5, 1.4, 0.2, setosa 4.9, 3.0, 1.4, 0.2, setosa  (中略) 7.0, 3.2, 4.7, 1.4, versicolor  (中略) 6.3, 3.3, 6.0, 2.5, virginica 左から順に、   ・がく片の長さ(cm)   ・がく片の幅(cm)   ・花びらの長さ(cm)   ・花びらの幅(cm)   ・正解の品種(3種類)
  37. 37. 取得したデータの可視化(matplotlib)
  38. 38. ②データの加工その1 ↓ (済)
  39. 39. ③機械学習、データ分析      
  40. 40. ③機械学習、データ分析 ↓ ロジスティック回帰 k-近傍法
  41. 41. ロジスティック回帰 from sklearn.linear_model import LogisticRegression logit= LogisticRegression() logit.fit(X,Y) → 学習完了
  42. 42. ロジスティック回帰 from sklearn.linear_model import LogisticRegression logit= LogisticRegression() logit.fit(X,Y) → 学習完了 → 入力データ(4値)を突っ込んでみると、   正解を予測してくれる! print(logit.predict_proba([5.1, 3.5, 1.4, 0.2])) → setosa:88% versicolor:12% virginica:0%
  43. 43. k-近傍法 from sklearn.neighbors import KNeighborsClassifier k = 5 knn = KNeighborsClassifier(k) knn.fit(X,Y) → 学習完了
  44. 44. k-近傍法 from sklearn.neighbors import KNeighborsClassifier k = 5 knn = KNeighborsClassifier(k) knn.fit(X,Y) → 学習完了 → 入力データ(4値)を突っ込んでみると、   正解を予測してくれる! print(logit.predict_proba([5.1, 3.5, 1.4, 0.2])) → setosa:100% versicolor:0% virginica:0%
  45. 45. Cross Validation を用いて モデルの性能を評価
  46. 46. ロジスティック回帰の性能評価 from sklearn.linear_model import LogisticRegression from sklearn import cross_validation cv = 10 logit= LogisticRegression() scores =    cross_validation.cross_val_score(logit,X,Y,cv=cv) print(sum(scores)/cv) → 正解率:95% データセットを10等分し、9割のデータを用いて学習。    → 残り1割の正解率で評価。    → 10回繰り返し、平均をとる。
  47. 47. k-近傍法の性能評価 from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier k = 1 knn = KNeighborsClassifier(k) cv=10 scores =   cross_validation.cross_val_score(knn,X,Y,cv=cv) print(sum(scores)/cv) → 正解率:96% 万能なアルゴリズムは存在しない。   問題に応じて適切なものを選択し、使う。
  48. 48. ④データの加工その2 ⑤可視化
  49. 49. いずれもk-近傍法を可視化。(コード30行弱) 左図:がく片を特徴量(Feature)にした → 73% 右図:花びらを特徴量(Feature)にした → 97% Featureが大事。アルゴリズムの精度に大きく影響。
  50. 50. まとめ ・教師あり学習と教師なし学習の違い:正解の有無 ・強化学習:試行錯誤から規則性を見つける ・Deep Learning:Feature(特徴量)の自動抽出 ・Pythonで実装:Anaconda入れておけばOK ・CrossValidationで性能評価 ・万能なアルゴリズムは存在しない ・Featureが大事
  51. 51. アウトライン 1. 田村自己紹介 2. 機械学習 3. 線形代数 4. まとめ
  52. 52. 線形代数とは?
  53. 53. 「線形」な「代数」学のこと
  54. 54. 「線形」な「代数」学のこと 一次式で表せる ような関係 「集合」(元の集まり) と「演算」により定義 された構造の学問 直線 半群・群・環・体・束など。  
  55. 55. 「線形」な「代数」学のこと 一次式で表せる ような関係 「集合」(元の集まり) と「演算」により定義 された構造の学問 直線 画像処理、座標変換、   検索エンジン、量子力学、   連立方程式の解法、統計学、   回路学、制御論、機械学習 など ▼応用例 半群・群・環・体・束など。  
  56. 56. 「代数」って何? 「線形」もなんだかよくわからない。
  57. 57. 「代数」って何? 「線形」もなんだかよくわからない。 ↓ 「行列計算」を扱う学問
  58. 58. 行列とは?
  59. 59. 行列とは?
  60. 60. 行列とは? ではなく、
  61. 61. 長方形状に数字を並べたもの。 2 2 2 6 ! " # $ % & 3 2 5 1 1 0 5 2 2 6 0 0 8 1 3 ! " # # # $ % & & & 1 0 0 0 1 0 0 0 1 ! " # # # $ % & & &
  62. 62. 言葉の定義
  63. 63. 行ベクトル:成分を横に並べて書いたベクトル 列ベクトル:成分を縦に並べて書いたベクトル 成分:ベクトルに含まれる各々の数 次元:ベクトルの成分の個数 行列:数(=成分)を長方形状に並べたもの
  64. 64. 行ベクトル:成分を横に並べて書いたベクトル 列ベクトル:成分を縦に並べて書いたベクトル 成分:ベクトルに含まれる各々の数 次元:ベクトルの成分の個数 行列:数(=成分)を長方形状に並べたもの 2 5( ) 3 2 4 ! " # # # $ % & & & 行ベクトル。2次元。 列ベクトル。3次元。
  65. 65. 行ベクトル:成分を横に並べて書いたベクトル 列ベクトル:成分を縦に並べて書いたベクトル 成分:ベクトルに含まれる各々の数 次元:ベクトルの成分の個数 行列:数(=成分)を長方形状に並べたもの 2 5( ) 3 2 4 ! " # # # $ % & & & 行ベクトル。2次元。 列ベクトル。3次元。 成分
  66. 66. 行ベクトル:成分を横に並べて書いたベクトル 列ベクトル:成分を縦に並べて書いたベクトル 成分:ベクトルに含まれる各々の数 次元:ベクトルの成分の個数 行列:数(=成分)を長方形状に並べたもの 2 5( ) 3 2 4 ! " # # # $ % & & & 行ベクトル。2次元。 列ベクトル。3次元。 成分 1 2 3 4 5 6 ! " # $ % & 2行3列の行列(2  x  3  行列)
  67. 67. 行ベクトル:成分を横に並べて書いたベクトル 列ベクトル:成分を縦に並べて書いたベクトル 成分:ベクトルに含まれる各々の数 次元:ベクトルの成分の個数 行列:数(=成分)を長方形状に並べたもの 2 5( ) 3 2 4 ! " # # # $ % & & & 行ベクトル。2次元。 列ベクトル。3次元。 成分 1 2 3 4 5 6 ! " # $ % & 行列の「型」 2行3列の行列(2  x  3  行列)
  68. 68. 行と列の覚え方
  69. 69. 行 列 … 横の並び … 縦の並び
  70. 70. 行 列 … 横の並び … 縦の並び 1 2 3 4 5 6 ! " # $ % &
  71. 71. 行 列 … 横の並び … 縦の並び 1 2 3 4 5 6 ! " # $ % & 第1行
  72. 72. 行 列 … 横の並び … 縦の並び 1 2 3 4 5 6 ! " # $ % & 第1行 第2行
  73. 73. 行 列 … 横の並び … 縦の並び 1 2 3 4 5 6 ! " # $ % & 第1行 第2行 第    1   列  
  74. 74. 行 列 … 横の並び … 縦の並び 1 2 3 4 5 6 ! " # $ % & 第1行 第2行 第    1   列   第    2   列  
  75. 75. 行 列 … 横の並び … 縦の並び 1 2 3 4 5 6 ! " # $ % & 第1行 第2行 第    1   列   第    2   列   第    3   列  
  76. 76. 行 列 … 横の並び … 縦の並び 1 2 3 4 5 6 ! " # $ % & 第1行 第2行 第    1   列   第    2   列   第    3   列   2行3列の行列(2  x  3  行列)
  77. 77. 行 列 … 横の並び … 縦の並び 1 2 3 4 5 6 ! " # $ % & 第1行 第2行 第    1   列   第    2   列   第    3   列   2行3列の行列(2  x  3  行列) (1,  1)成分 → 1  
  78. 78. 行 列 … 横の並び … 縦の並び 1 2 3 4 5 6 ! " # $ % & 第1行 第2行 第    1   列   第    2   列   第    3   列   2行3列の行列(2  x  3  行列) (1,  1)成分 → 1   (1,  2)成分 → 2   (1,  3)成分 → 3   (2,  1)成分 → 4   (2,  2)成分 → 5   (2,  3)成分 → 6  
  79. 79. 行列の和・差・スカラー倍
  80. 80. a b c d ! " # $ % &+ x y z w ! " # # $ % & & = a + x b+ y c+ z d + w ! " # # $ % & & a b c d ! " # $ % &− x y z w ! " # # $ % & & = a − x b− y c − z d − w ! " # # $ % & & k a b c d ! " # $ % & = ka kb kc kd ! " # $ % & 和・差・スカラー倍の次のように定義される
  81. 81. a b c d ! " # $ % &+ x y z w ! " # # $ % & & = a + x b+ y c+ z d + w ! " # # $ % & & a b c d ! " # $ % &− x y z w ! " # # $ % & & = a − x b− y c − z d − w ! " # # $ % & & k a b c d ! " # $ % & = ka kb kc kd ! " # $ % & a b c d e f ! " ## $ % &&+ x y z w ! " # # $ % & & →定義されない 和・差・スカラー倍の次のように定義される 和・差は「型」が同じ時のみ定義される
  82. 82. 行列の積
  83. 83. と、なるのでは…? a b c d ! " # $ % & x y z w ! " # # $ % & & = ax by cz dw ! " # # $ % & &
  84. 84. と、なるのでは…? a b c d ! " # $ % & x y z w ! " # # $ % & & = ax by cz dw ! " # # $ % & &
  85. 85. 積 AB は次のように定義される ①Aの列数とBの行数が等しい時のみ定義される。 A B A B
  86. 86. 積 AB は次のように定義される ①Aの列数とBの行数が等しい時のみ定義される。 A B A B
  87. 87. 積 AB は次のように定義される ①Aの列数とBの行数が等しい時のみ定義される。 A B A B
  88. 88. 積 AB は次のように定義される ①Aの列数とBの行数が等しい時のみ定義される。 ②C=ABの時、Cの(i, j)成分は   Aの第 i 行ベクトルとBの第 j 列ベクトルの積  とする。 ベクトルの内積!!!   A B 第i行   第j列   Cij = の内積   Cの(i,  j)成分  
  89. 89. 積 AB は次のように定義される ①Aの列数とBの行数が等しい時のみ定義される。 ②C=ABの時、Cの(i, j)成分は   Aの第 i 行ベクトルとBの第 j 列ベクトルの積  とする。 ③Aが l x m 行列  Bが m x n 行列の時、  C=ABは l x n 行列。 ベクトルの内積!!!   ①より、等しい a b c d e f ! " # # # $ % & & & x y ! " ## $ % && = ax + by cx + dy ex + fy ! " # # ## $ % & & && 3x2 2x1 3x1
  90. 90. 行ベクトルと列ベクトルの積 行列の積 a b( ) x y ! " ## $ % && = ax + by a b c d ! " # $ % & x y z w ! " # # $ % & & = a b( ) x z ! " ## $ % && a b( ) y w ! " ## $ % && c d( ) x z ! " ## $ % && c d( ) y w ! " ## $ % && ! " # # # # # # $ % & & & & & & = ax + bz ay + bw cx + dz cy + dw ! " # # $ % & & 内積  
  91. 91. 行列の積の性質 ①交換法則は一般には成り立たない   AB≠BA ②零因子の存在   A≠OかつB≠Oでも、AB=Oとなりうる a b( ) x y ! " ## $ % && = ax + by x y ! " ## $ % && a b( )= xa xb ya yb ! " ## $ % && 1 2( ) −2 1 " # $ % & ' =1*(−2)+ 2*1= 0
  92. 92. その他の行列の性質
  93. 93. ①行列に割り算は存在しない ②単位行列 ③零行列 ④逆行列 ⑤転置行列 I AI = IA = A O AO = OA = O AA−1 = A−1 A = I A−1 AT Aij = Aji T
  94. 94. ①行列に割り算は存在しない ②単位行列 ③零行列 ④逆行列 ⑤転置行列 I2 = 1 0 0 1 ! " # $ % &, I3 = 1 0 0 0 1 0 0 0 1 ! " # # # $ % & & & I AI = IA = A O AO = OA = O O2,2 = 0 0 0 0 ! " # $ % &,O3,3 = 0 0 0 0 0 0 0 0 0 ! " # # # $ % & & & AA−1 = A−1 A = I A−1 AT Aij = Aji T A = 1 0 0 2 ! " # $ % &, B = 1 0 0 1 2 ! " # # $ % & & ⇒ AB = BA = I A = 1 2 3 4 5 6 ! " # $ % &⇔ AT = 1 4 2 5 3 6 ! " # # # $ % & & &
  95. 95. ⑥トレース(trace)、行列式(determinant) ⑦固有値 ・固有ベクトル Ax = λx(x ≠ 0) λ x A = a b c d ! " # $ % & Tr(A) = a + d,det(A) = ad − bc
  96. 96. ⑥トレース(trace)、行列式(determinant) ⑦固有値 ・固有ベクトル Ax = λx(x ≠ 0) λ x A = a b c d ! " # $ % & Tr(A) = a + d,det(A) = ad − bc a c ! " # $ % & b d ! " # $ % & 対角成分の和 平行四辺形の面積
  97. 97. ⑥トレース(trace)、行列式(determinant) ⑦固有値 ・固有ベクトル Ax = λx(x ≠ 0) λ x A = a b c d ! " # $ % & Tr(A) = a + d,det(A) = ad − bc a c ! " # $ % & b d ! " # $ % & 対角成分の和 平行四辺形の面積 座標変換 x y O 行列Aを左から掛ける  
  98. 98. ⑥トレース(trace)、行列式(determinant) ⑦固有値 ・固有ベクトル Ax = λx(x ≠ 0) λ x A = a b c d ! " # $ % & Tr(A) = a + d,det(A) = ad − bc a c ! " # $ % & b d ! " # $ % & 対角成分の和 平行四辺形の面積 座標変換 x y O 行列Aを左から掛ける   定数倍変換 A x = xλ
  99. 99. アウトライン 1. 田村自己紹介 2. 機械学習 3. 線形代数 4. まとめ
  100. 100. 今日のまとめ
  101. 101. 機械学習 ・教師あり学習と教師なし学習の違い:正解の有無 ・強化学習:試行錯誤から規則性を見つける ・Deep Learning:Feature(特徴量)の自動抽出 ・Pythonで実装:Anaconda入れておけばOK ・CrossValidationで性能評価 ・万能なアルゴリズムは存在しない ・Featureが大事 線形代数 ・行列の積、交換可能性、零因子 ・単位行列、零行列、逆行列、転置行列 ・トレース、行列式、固有値、固有ベクトル
  102. 102. おすすめ書籍・サイト
  103. 103. 通称:PRML、黄色本
  104. 104. Andrew Ng先生の動画 (Coursera)
  105. 105. 代数系についてわかりやすく解説
  106. 106. 初学者におすすめ
  107. 107. もっと勉強したい人におすすめ
  108. 108. 数値計算をわかりやすく解説
  109. 109. 次回予告
  110. 110. 8/26(水) 19:00-21:00 ソーシャルゲームの行動解析 @プライムプラザ4F
  111. 111. 8/26(水) 19:00-21:00 ソーシャルゲームの行動解析 @プライムプラザ4F 乞うご期待!!

×