「内積が見えると統計学も見える」第5回プログラマのための数学勉強会発表資料

1. 線形代数が見えると統計学も見える内積 2015/11/21 第5回プログラマのための数学勉強会発表資料 Ken ichi Matsui (@kenmatsu4)

2. 自己紹介: @kenmatsu4 ・Facebookページ https://www.facebook.com/matsukenbook ・Twitterアカウント @kenmatsu4 ・Qiitaでブログを書いています（統計、機械学習、Python等） http://qiita.com/kenmatsu4 （4100 contributionを超えました！）・趣味 - バンドでベースを弾いたりしています。 - 主に東南アジアへバックパック旅行に行ったりします（カンボジア、ミャンマー、バングラデシュ、新疆ウイグル自治区 etc）旅行の写真 : http://matsu-ken.jimdo.com Twitterアイコン

3. Pythonタグで１位になりました！(> <人)

5. 今日のアジェンダ・内積をグラフィカルに理解する・分散と標準偏差の話・相関係数の話・回帰分析の話・主成分分析の話 (ここまで行けないかも・・・)

6. 本発表の内容は個人の見解であり、所属する組織・団体の公式見解ではありません。

7. また、本発表では理解のしやすさを優先し、一部厳密な説明となっていない部分がありますが、ご了承ください。

8. MASAKARI Come On! щ(゜ロ゜щ) みんなで勉強しましょう https://twitter.com/_inundata/status/616658949761302528

9. まずは、内積の話から。

10. とすると、内積とはベクトルを n次元ベクトル定義 1 a = (a1, a2, · · · , an)T , b = (b1, b2, · · · , bn)T a, b a · b = a1b1 + · · · + anbn = nX i=1 aibi a b

11. とすると、内積とはベクトルを n次元ベクトル定義 1 a = (a1, a2, · · · , an)T , b = (b1, b2, · · · , bn)T a, b a · b = a1b1 + · · · + anbn = nX i=1 aibi n n 1 1 ・ a b ベクトルからスカラに変換する何らかの掛け算的な操作であることはわかるが、それ以上よくわからない

12. ベクトル a = (a1, a2, · · · , an)T , の長さ(ノルム)は、のように、自身との内積のルートとして表せます a kak2 kak = p a1 · a1 + · · · + an · an = v u u t nX i=1 a2 i = p a · a

13. ここで余弦定理を思い出します。 kb ak2 = kak2 + kbk2 2kakkbk cos ✓

14. ここで余弦定理を思い出します。 kb ak2 = kak2 + kbk2 2kakkbk cos ✓ kb ak2 = (b a) · (b a) = a · a + b · b 2a · b = kak2 + kbk2 2a · b 左辺を展開すると・・・

15. ここで余弦定理を思い出します。 kb ak2 = kak2 + kbk2 2kakkbk cos ✓ kb ak2 = (b a) · (b a) = a · a + b · b 2a · b = kak2 + kbk2 2a · b 左辺を展開すると・・・同じなので、

16. ここで余弦定理を思い出します。 kb ak2 = kak2 + kbk2 2kakkbk cos ✓ kb ak2 = (b a) · (b a) = a · a + b · b 2a · b = kak2 + kbk2 2a · b 左辺を展開すると・・・消去可能！ 2a · b = 2kakkbk cos ✓ ) a · b = kakkbk cos ✓

17. ここで余弦定理を思い出します。 kb ak2 = kak2 + kbk2 2kakkbk cos ✓ kb ak2 = (b a) · (b a) = a · a + b · b 2a · b = kak2 + kbk2 2a · b 左辺を展開すると・・・ 2a · b = 2kakkbk cos ✓ ) a · b = kakkbk cos ✓ a · b = kakkbk cos ✓

18. a · b = kakkbk cos ✓ 定義２よって、もう一つの内積の定義、と同値であることがわかりました。

19. ここで角度 θ とはこれですね。

20. a · b = kakkbk cos ✓ をもうちょっと見える形で考えます。

21. cos ✓ = kck krk cosθの定義はです。

22. ) krk cos ✓ = kck cos ✓ = kck krk と、変形できるので、 ¦¦c¦¦は半径の長さにcosθをかけたものと理解できます。

23. 以上から、ベクトルcは、x軸に垂直方向に上からライトを当てた時の半径ベクトル rの影になる部分と解釈ができます。これを「射影」と言ったりします。この時、射影の長さはです。 ) krk cos ✓ = kck

24. a · b = kakkbk cos ✓ 以上の議論をふまえて、内積を理解するベクトルの長さc ベクトルの長さa a b θ c = kbk cos ✓

25. a b θ c = kbk cos ✓ 以上の議論をふまえて、内積を理解する a · b = kakkbk cos ✓ ベクトルの長さc ベクトルの長さつまり、同じ方向を向く成分にあわせてあげて、その方向の長さを掛け算したもの！ a

26. a b θ c = kbk cos ✓ この絵の場合、aの方向にあわせている以上の議論をふまえて、内積を理解する a · b = kakkbk cos ✓ ベクトルの長さc ベクトルの長さa つまり、同じ方向を向く成分にあわせてあげて、その方向の長さを掛け算したもの！

27. なので、角度が垂直だと、射影したの長さが0になってしまうので、内積も 0 になる。 c 逆も然り。内積が０だと垂直と言える。

28. ２つのベクトル , の長さが１だった場合 a b

29. a · b = kakkbk cos ✓ = cos ✓ = 1 = 1

30. a · b = kakkbk cos ✓ = cos ✓ = 1 = 1 内積はcosθ となる。

31. この節のまとめ

32. この節のまとめ a · b = a1b1 + · · · + anbn = nX i=1 aibi a · b = kakkbk cos ✓ a b θ c = kbk cos ✓ 内積には２つの定義があり、射影される側のベクトルの長さが1の時は、内積は cosθである。計算するならこちら意味がわかるのはこちら

33. ここで次に統計学の話を

34. carsデータセット → 車が走る速度と、ブレーキを踏んだ時に止まることができるまでの距離のデータ(ちょっと古いです) ヒストグラム散布図

35. 分散、標準偏差とは？散らばり：小分散：小散らばり：大分散：大分散とは、データの散らばりの指標。上のグラフは散らばりが少なく、下のグラフは散らばりが大きい。 xは大体20∼40の範囲 xは大体5∼55の範囲これを、数値的な指標で表す。

36. carsデータセット (speedデータ) = ¯x = 1 n nX i=1 xi平均 = s2 = 1 n nX i=1 (xi ¯x)2 分散標準偏差 = s = v u u t 1 n nX i=1 (xi ¯x)2 偏差

37. 標準偏差 = s = v u u t 1 n nX i=1 (xi ¯x)2 carsデータセット (speedデータ) = ¯x = 1 n nX i=1 xi平均 = s2 = 1 n nX i=1 (xi ¯x)2 分散各データ平均からの差をそれぞれ２乗して和をとったもの。散らばり具合の指標偏差

38. 分散・標準偏差の視覚的イメージ 2 = s2 = 1 n nX i=1 (xi ¯x)2 偏差は、単純に足してしまうと、釣り合っているので0になる → 偏差2乗しているオレンジの正方形の面積を平均したもの。下記では中心をずらしているが、最小となるのが平均( )の位置¯x 2乗する https://goo.gl/6DROOA アニメーション：

39. 分散・標準偏差の視覚的イメージ分散のままだと、単位が面積になので元のデータの単位と合わない。なので、ルートをとって元の単位に戻したものが標準偏差。 = s = v u u t 1 n nX i=1 (xi ¯x)2

40. 分散・標準偏差のもう一つのイメージ x = (x1, · · · , xn) x0 = (x1 ¯x, · · · , xn ¯x) データをn次元ベクトルとして見てみる。x 平均からの偏差のベクトルを¯x とすると、その時、の長さはx0 kx0 k kx0 k = v u u t nX i=1 (xi ¯x)2 で、表される。

41. 分散・標準偏差のもう一つのイメージよって = s = v u u t 1 n nX i=1 (xi ¯x)2 = r 1 n v u u t nX i=1 (xi ¯x)2 = r 1 n kx0 k となり、標準偏差はベクトルの長さの一種と考えられる。 x0 kx0 k = v u u t nX i=1 (xi ¯x)2 x’ kx 0 k

42. ちなみに、 Ex: 偏差値名前数学偏差標準偏差何個分？ ← 10倍 ← + 50 田中 96 15 1.27 12.74 62.74 高橋 63 -18 -1.53 -15.29 34.71 鈴木 85 4 0.34 3.40 53.40 渡辺 66 -15 -1.27 -12.74 37.26 清水 91 10 0.85 8.50 58.50 木村 89 8 0.68 6.80 56.80 山本 77 -4 -0.34 -3.40 46.60 平均 81.00 標準偏差 11.77 これが「偏差値」

44. この節のまとめデータをn次元上の１本のベクトルとして見てみる。また、平均からの偏差ベクトルを下記のように定義した x s = r 1 n v u u t nX i=1 (xi ¯x)2 = r 1 n kx0 k x0 = (x1 ¯x, · · · , xn ¯x) このようにすると標準偏差は、のようにベクトルの長さの一種と捉えることができる。

45. 相関係数について

46. 相関係数 Xの値が増加すると、Yの値も増加する → 正の相関がある Xの値が増加すると、Yの値が減少する → 負の相関があるこれを数値化したものに「相関係数」がある。 r = P (xi ¯x)(yi ¯y) pP (xi ¯x)2 pP (yi ¯y)2 相関係数 =

47. 相関係数

48. 相関係数: 1 は完全に横軸と縦軸が依存関係にあり、一方が増えるともう一方も増えている。相関係数

49. 相関係数: -1 はやはり、完全に横軸と縦軸が依存関係にあり、一方が増えるともう一方が減っている。相関係数

50. 相関係数: 0 は横軸と縦軸が全くなく一方が増えてももう一方はそれとは関係なく値が決まる。相関係数

51. 相関係数 r = P (xi ¯x)(yi ¯y) pP (xi ¯x)2 pP (yi ¯y)2 相関係数 = 式をよく見てみると、 = x0 · y0 kx0 kky0 k あれ、これって？

52. 相関係数 r = P (xi ¯x)(yi ¯y) pP (xi ¯x)2 pP (yi ¯y)2 相関係数 = 式をよく見てみると、 = x0 · y0 kx0 kky0 k = cos ✓ 内積の定義から cosθだ！あれ、これって？ θ x’ y’ データ数nのとき、n次元の高次元空間の２本のベクトルと見なす(平均を引いて中心を揃えてあることに注意)

53. 相関係数よって、データ数n次元空間上の２本のベクトルの間の角度であると考えられる！ https://goo.gl/bXgHnc アニメーション： = x0 · y0 kx0 kky0 k = cos ✓

55. この節のまとめ r = P (xi ¯x)(yi ¯y) pP (xi ¯x)2 pP (yi ¯y)2 相関係数 = = x0 · y0 kx0 kky0 k = cos ✓ ２つのデータ間の相関関係を表す「相関係数」はデータをベクトルとして捉えると、n次元空間上の２本のベクトルの間の角度と捉えることができた。 θ x’ y’

56. 回帰分析について

57. 回帰分析 (単回帰分析) : carデータセット → スピードと距離の間に直線的な関係がありそうにみえる。距離 = + スピード↵

58. → スピードと距離の間に直線的な関係がありそうにみえる。回帰分析一番良い線を選ぶ基準として点と線の間の長さを全部足し合わせたものを最小することを考える。残差 yi = ↵ + xi + ei これをiについて和をとる

59. 回帰分析 yi = ↵ + xi + ei ei = yi (↵ + xi)→ min S(↵, ) = min nX i=1 e2 i = min nX i=1 {yi (↵ + xi)}2 よって、下記の最小化問題となる。(最小二乗法) ↵ + xi yi ei

60. 回帰分析 → 黒い線(残差)が最小になるようにα、βを調整する αを変えてみる βを変えてみる https://goo.gl/BDtIU0 https://goo.gl/jmrk07 アニメーション：アニメーション：

61. 回帰分析 @S(↵, ) @↵ = 0 @S(↵, ) @ = 0 を解くことで、Sが最小となる αとβを求められる。

62. 回帰分析前ページの計算を解くと、 ˆ↵ = ¯y ˆ¯x となる。 ˆ = P (xi ¯x)(yi ¯y) P (xi ¯x)2

63. を深掘りしてみるˆ

64. 回帰分析前述のように、偏差をプライムで表すと、 ˆ = P (xi ¯x)(yi ¯y) P (xi ¯x)2 = x0 · y0 kx0 k2 内積と、ベクトルの長さで表現できる！

65. 回帰分析 ˆ = x0 · y0 kx0 k2 = x0 kx0 k2 · y0 この２つのベクトルの内積と考えられる。 x’ y’ θ = x0 /kx0 k ˆ = 1 kx0k x0 kx0k · y0 長さ 1 はベクトルx’をかけると射影と同じ長さのベクトル ˆx = ky0 k cos ✓/kx0 k x = ky0 k kx0k cos ✓ スカラベクトル

67. この節のまとめ 2つのデータの間に線形関係を当てはめてみる分析手法 yi = ↵ + xi + ei 上記のモデルに対して、残差eiを最小にするα、βを最小二乗法で求めた。

68. 傾きに相当するはベクトル x’に掛けあわせるとベクトル y’ の射影の長さと同じベクトルになる、と捉えることができた。この節のまとめ x’ y’ θ = x0 /kx0 k ˆ ˆx = ky0 k cos ✓/kx0 k x スカラベクトル

69. 主成分分析について

70. 例：Iris(アヤメ)データセット → データ分析界のHello World的なデータです ID sepal_length sepal_width petal_length petal_width target 0 5.1 3.5 1.4 0.2 0 1 4.9 3.0 1.4 0.2 0 2 4.7 3.2 1.3 0.2 0 3 4.6 3.1 1.5 0.2 0 4 5.0 3.6 1.4 0.2 0 5 5.4 3.9 1.7 0.4 0 6 4.6 3.4 1.4 0.3 0 7 5.0 3.4 1.5 0.2 0 8 4.4 2.9 1.4 0.2 0 9 4.9 3.1 1.5 0.1 0 … http://blog.kaggle.com/2015/04/22/scikit-learn-video-3-machine-learning-ﬁrst-steps-with-the-iris-dataset/ アヤメの種別 0: setosa, 1: versicolor, 2: virginica 花弁萼片

71. 散布図を描くには、２次元にしなくてはならない。右図は、各列の組み合わせごとに、散布図を書いた例例：Iris(アヤメ)データセット

72. sepal_length sepal_width petal_length petal_width z1 z2 4つの特徴から、なるべく情報を損なわないように 2つに減らした。 z2 z1 「主成分分析」という explained: 0.9776 例：Iris(アヤメ)データセット情報の約98%がキープできている

73. 3次元から2次元に落とした時のイメージ 4次元は、もう想像できない世界だが、これと同様なことを行って、4次元から2次元に落としたのが前ページの例次元を落とす面より上の点が黒面より下の点がグレーデータ点 xi 平面に垂直に落とす

74. sepal_length sepal_width petal_length petal_width z1 z2 4つの特徴から、なるべく情報を損なわないように 2つに減らした。 z2 z1 「主成分分析」という explained: 0.9776 主成分分析多くの特性を持つ多変量データを、少ない個数で総合的に特徴を表す量にまとめることを行う分析例：Iris(アヤメ)データセット

75. 主成分分析の仕組み (もう少し単純なデータで) ID Math Japanese 1 20 9 2 4 2 3 12 15 4 5 10 5 10 6 6 8 11 7 1 4 8 15 9 9 5 6 数学・国語の2教科の成績データから総合的な学力の指標を算出してみます。 2次元データを1次元に落とす

76. 主成分分析の仕組み (2次元の例) 赤い線(長さ１のベクトル)を延長したものに垂直に線を落としたところを、そのデータの特性値とする。

77. 主成分分析の仕組み (2次元の例) https://goo.gl/lAqbz5 アニメーション：線上に落ちた点(赤い点)の分散が一番大きくなるような角度を選ぶ。← その角度のとき、一番データを説明できていると言える。

78. xi = (xi1, xi2) 1 1 長さ: kxikcos✓θ z(1) a 内積！主成分としての１つ目の軸をとすると、に対する主成分はと表せる。 ( ) z(1) xi z(1)i = (a · xi)a 主成分分析の仕組み (2次元の例) = z(1)i = a · xi a = (a1, a2)T 情報損失量

79. この赤い点の分散を求める。主成分分析の仕組み (2次元の例) V(z(1)) = 1 n nX i=1 (z(1)i ¯z(1))2 分散 = 1 n nX i=1 {(a · xi) (a · ¯x)}2 中略は軸1の分散は軸1,2の共分散 sii sij ¯z(1) z(1) = a2 1s11 + 2a1a2s12 + a2 2s22

80. この赤い点の分散を求める。主成分分析の仕組み (2次元の例) V(z(1)) = 1 n nX i=1 (z(1)i ¯z(1))2 分散 = 1 n nX i=1 {(a · xi) (a · ¯x)}2 中略は軸1の分散は軸1,2の共分散 sii sij ¯z(1) z(1) 分散を最大にするaの角度つまりこれを最大にするa1, a2 を求める = a2 1s11 + 2a1a2s12 + a2 2s22

81. 主成分分析の仕組み (2次元の例) = a2 i s11 + 2a1a2s12 + a2 2s22 ただし、は、ベクトルが長くなればなるほど大きくなるので、長さは１ a kak2 = 1 という制約をつける。以上より・・・

82. 主成分分析の仕組み (2次元の例) 主成分分析は以下の条件つき最大化問題として解く。 s.t. kak2 = 1 max a2 1s11 + 2a1a2s12 + a2 2s22 条件つき最適化問題「ラグランジュの未定乗数法」で解く

83. s.t. kak2 = 1 max a2 1s11 + 2a1a2s12 + a2 2s22 主成分分析の仕組み (2次元の例) F(a1, a2, ) = a2 1s11 + 2a1a2s12 + a2 2s22 (a2 1 + a2 2 1) @F @a1 = 2a1s11 + 2a2s12 2 a1 = 0 @F @a2 = 2a2s22 + 2a1s12 2 a2 = 0 @F @ = a2 1 + a2 2 1 = 0 微分して0と置く

84. 主成分分析の仕組み (2次元の例) 前ページの式を整理すると、  s11 s12 s12 s22  a1 a2 =  a1 a2 分散共分散行列の固有値問題となっている！

85. 分散共分散行列の固有値問題？

86. (※ よりこれが言える) 分散共分散行列の固有値問題？ S =  s11 s12 s12 s22 =  2.0 s12 s12 5.0 例) 分散が、横軸 2.0、縦軸 5.0の場合また、分散と共分散の関係から、共分散の上下限はそれぞれの標準偏差を掛けたものとなる。 |sij|  p siisjj |a · b| = |kakkbk cos ✓|  kakkbk 上記の数値例の場合、上下限は 13.1622

87. 分散共分散行列の固有値問題？例) 分散が、横軸 2.0、縦軸 5.0の、共分散0の場合 S =  s11 s12 s12 s22 =  2.0 0 0 5.0 (1, 0) (0, 1) (2, 0) (0, 5)

88. 分散共分散行列の固有値問題？例) 分散が、横軸 2.0、縦軸 5.0の、共分散1.0の場合 (1, 0) (0, 1) (2, 1) (1, 5) S =  s11 s12 s12 s22 =  2.0 1.0 1.0 5.0

89. 分散共分散行列の固有値問題？共分散の上下限の範囲でアニメーションしてみる。円周上の青い点に分散共分散行列を掛けて線形変換したものが赤い点分散共分散行列緑と黒の線が、固有ベクトル https://goo.gl/WGWXWr アニメーション：

90. 分散共分散行列の固有値問題？共分散の上下限の範囲でアニメーションしてみる。分散共分散行列 https://goo.gl/rIzRCA アニメーション：円周上の青い点に分散共分散行列を掛けて線形変換したものが赤い点緑と黒の線が、固有ベクトル

91. 分散共分散行列の固有値問題？分散共分散行列をベクトルにかけると、ベクトルが回転と引き延ばしされる。固有ベクトルは、下記の楕円の場合、長い方のベクトルは長軸方向短い方のベクトルは短軸方向を指すようになっている。共分散=0 共分散=0.666 共分散=3.162 (上限)

92. 分散共分散行列の固有値問題？分散共分散行列をベクトルにかけると、ベクトルが回転と引き延ばしされる。固有ベクトルは、下記の楕円の場合、長い方のベクトルは長軸方向短い方のベクトルは短軸方向を指すようになっている。共分散=0 共分散=0.666 共分散=3.162 (上限) 固有値問題を解いて、軸の方向がわかるとベクトル a の向きが決定できる。

93. 主成分分析の仕組み (2次元の例) ベクトル a の向きが決まったので、その軸上にデータを落として指標としたり、分類を実行したりする。

95. この節のまとめ次元を削減する手法の１つとして主成分分析を紹介し、その求め方には、内積を理解すると何をしている処理であるか、イメージをつけやすいことを説明した。 ID sepal_length sepal_width petal_length petal_width target 0 5.1 3.5 1.4 0.2 0 1 4.9 3.0 1.4 0.2 0 2 4.7 3.2 1.3 0.2 0 3 4.6 3.1 1.5 0.2 0 4 5.0 3.6 1.4 0.2 0 5 5.4 3.9 1.7 0.4 0 4次元から 2次元へ

96. 参考・【統計学】初めての「標準偏差」（統計学に挫折しないために） (Qiita) http://qiita.com/kenmatsu4/items/e6c6acb289c02609e619 ・【数学】固有値・固有ベクトルとは何かを可視化してみる(Qiita) http://qiita.com/kenmatsu4/items/2a8573e3c878fc2da306 ・主成分分析 http://www.e.okayama-u.ac.jp/ nagahata/bstat/rta5syo.pdf ・今日のPythonコード on GitHub https://github.com/matsuken92/Qiita_Contents/blob/master/ math_for_programmer/demo_math_stats_004.ipynb

「内積が見えると統計学も見える」第5回プログラマのための数学勉強会発表資料

「内積が見えると統計学も見える」第5回プログラマのための数学勉強会発表資料

Recommended

More Related Content

What's hot

What's hot(20)

Viewers also liked

Viewers also liked(20)

Similar to 「内積が見えると統計学も見える」第5回プログラマのための数学勉強会発表資料

Similar to 「内積が見えると統計学も見える」第5回プログラマのための数学勉強会発表資料 (20)

More from Ken'ichi Matsui

More from Ken'ichi Matsui(20)