Download as PDF, PPTX
![[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS](https://cdn.slidesharecdn.com/ss_thumbnails/quasi-recurrentneuralnetworks-170512014332-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]GQNと関連研究，世界モデルとの関係について](https://cdn.slidesharecdn.com/ss_thumbnails/20180817-180827085537-thumbnail.jpg?width=640&height=640&fit=bounds)
はじパタLT2
- 1.
- 2.
- 3.
- 4.
- 7. パターン認識 第2章 k-平均法 第1章 判別能力の評価 第3章階層的クラスタリング 第4章 混合正規分布モデル 第5章 判別分析 第6章 ロジスティック回帰 第7章 密度推定 第8章 k-近傍法 第9章 学習ベクトル量子化 第10章 決定木 第11章 サポートベクターマシン 第12章 正規化とパス追跡 アルゴリズム 第13章 ミニマックス確率マシン 第14章 集団学習 第15章 2値判別から多値判別へ
- 8. パターン認識 第2章 k-平均法 第1章 判別能力の評価 第3章階層的クラスタリング 第4章 混合正規分布モデル 第5章 判別分析 第6章 ロジスティック回帰 第7章 密度推定 第8章 k-近傍法 第9章 学習ベクトル量子化 第10章 決定木 第11章 サポートベクターマシン 第12章 正規化とパス追跡 アルゴリズム 第13章 ミニマックス確率マシン 第14章 集団学習 第15章 2値判別から多値判別へ
- 9. クラスタリングのお話 by : DGtalPlus Art & Photo
- 10.
- 11. • データをいくつかの『まとまり』に分け, これをクラ スタと呼びます. •クラスタリングは, データのまとまり具合を捉えて, そこから何かしらの情報を引き出す方法です. クラスタリング
- 12.
- 13.
- 14. • クラスタリングを実行するときに以下の2つを決める 必要があります. クラスタリング 1) データ間の類似度をどう測るか？ →例えばユークリッド距離 2) 何個のクラスタに分類するか？ クラスタリングの結果からクラスタ数を調整して, 様々なパターンを 試行錯誤する必要も出てきます.
- 15.
- 16.
- 17. • 俗にいう「k-means」のことです. • クラスタリング手法の一つとして広く使われてい ます.(巷では定番らしい) k-平均法
- 18. • 俗にいう「k-means」のことです. • クラスタリング手法の一つとして広く使われてい ます.(巷では定番らしい) • 割りと確からしい結果を返してきてくれます. k-平均法
- 19. • 俗にいう「k-means」のことです. • クラスタリング手法の一つとして広く使われてい ます.(巷では定番らしい) • 割りと確からしい結果を返してきてくれます. • 初期値の取り方で結果が変わります. k-平均法
- 20.
- 21.
- 22. • k-meansは, 評価関数を最小化することで代表ベクト ルを求めています. k-平均法
- 23. • k-meansは, 評価関数を最小化することで代表ベクト ルを求めています. k-平均法 • データに対応する代表ベクトルの間の距離の2乗和です. • クラスタの代表ベクトルの周りに, そのクラスタに属する データが集まっていれば, の値は小さくなります.
- 24.
- 25.
- 26. 1 2 34 5 0.01.02.03.0 x y k-平均法 試しにk=2でk-meansを行ってみましょう
- 27. k-平均法 1 2 34 5 0.01.02.03.0 x y 試しにk=2でk-meansを行ってみましょう
- 28. k-平均法 1 2 34 5 0.01.02.03.0 x y 試しにk=2でk-meansを行ってみましょう
- 29. k-平均法 1 2 34 5 0.01.02.03.0 x y 試しにk=2でk-meansを行ってみましょう
- 30. 1 2 34 5 0.01.02.03.0 x y k-平均法 試しにk=2でk-meansを行ってみましょう
- 31. 1 2 34 5 0.01.02.03.0 x y k-平均法 試しにk=2でk-meansを行ってみましょう
- 32. 1 2 34 5 0.01.02.03.0 x y k-平均法 試しにk=2でk-meansを行ってみましょう
- 33. 1 2 34 5 0.01.02.03.0 x y k-平均法 試しにk=2でk-meansを行ってみましょう
- 34. 1 2 34 5 0.01.02.03.0 x y k-平均法 試しにk=2でk-meansを行ってみましょう
- 35. 1 2 34 5 0.01.02.03.0 x y k-平均法 試しにk=2でk-meansを行ってみましょう
- 36. 1 2 34 5 0.01.02.03.0 x y k-平均法 試しにk=2でk-meansを行ってみましょう
- 37. 1 2 34 5 0.01.02.03.0 x y k-平均法 試しにk=2でk-meansを行ってみましょう
- 38. k-平均法 試しにk=2でk-meansを行ってみましょう 1 2 34 5 0.01.02.03.0 x y
- 39. k-平均法 試しにk=2でk-meansを行ってみましょう 1 2 34 5 0.01.02.03.0 x y
- 40. k-平均法 試しにk=2でk-meansを行ってみましょう 1 2 34 5 0.01.02.03.0 x y こんな感じです。
- 41. で、codeはー? by : DGtalPlus Art & Photo
- 42.
- 43. • みんな大好きirisデータ • Fisherの研究で使われた,あやめ150サンプルです. Rでの実装例
- 44. • みんな大好きirisデータ • Fisherの研究で使われた,あやめ150サンプルです. Rでの実装例 - Sepal.Length : がく片の長さ - Sepal.Width : がく片の幅 - Petal.Length : 花びらの長さ - Petal.Width : 花びらの幅 - Species : 品種(setosa, versicolor, viginica)
- 45. • みんな大好きirisデータ • Fisherの研究で使われた,あやめ150サンプルです. Rでの実装例 - Sepal.Length : がく片の長さ - Sepal.Width : がく片の幅 - Petal.Length : 花びらの長さ - Petal.Width : 花びらの幅 - Species : 品種(setosa, versicolor, viginica)
- 46.
- 47. • statsパッケージ(デフォルトで入ってます)に 「kmeans」関数が用意されています. • nstartオプションは複数の初期値を試せるが,増やすと その分計算時間がかかります. Rでの実装例
- 48. • statsパッケージ(デフォルトで入ってます)に 「kmeans」関数が用意されています. • nstartオプションは複数の初期値を試せるが,増やすと その分計算時間がかかります. Rでの実装例
- 49. Rでの実装例 Sepal.Length 2.0 3.0 4.00.5 1.5 2.5 4.56.07.5 2.03.04.0 Sepal.Width Petal.Length 1357 4.5 6.0 7.5 0.51.52.5 1 3 5 7 Petal.Width k=3におけるk-meansによる, irisデータのクラスタリング
- 50.
- 51.
- 52. • 高次元のデータも視覚化すればクラスタ判断できるのでは？ • よく使われるのが,皆さんご存知「主成分分析」です. 次元削減による視覚化
- 53. • 高次元のデータも視覚化すればクラスタ判断できるのでは？ • よく使われるのが,皆さんご存知「主成分分析」です. • ここでは, 主成分分析を非線形化した 『カーネル主成分分析』を使ってみます. 次元削減による視覚化
- 54. • 高次元のデータも視覚化すればクラスタ判断できるのでは？ • よく使われるのが,皆さんご存知「主成分分析」です. • ここでは, 主成分分析を非線形化した 『カーネル主成分分析』を使ってみます. • kernlabパッケージに「kpca」関数が用意されています. 次元削減による視覚化
- 55. • ガウスカーネルの の選び方は,データ間の距離の中 央値を とするとき, 付近の値を用いると 良い結果が得られるそうです. • 「pcv」関数で, 固有ベクトル空間へ射影した結果が得 られます. 次元削減による視覚化
- 56. 次元削減による視覚化 X1 -0.8 -0.4 0.00.4 -0.20.00.1 -0.8-0.40.00.4 X2 -0.2 0.0 0.1 -2 -1 0 1 2 -2-1012 X3 カーネル主成分分析の第3主成分までのプロット
- 57. 次元削減による視覚化 X1 -0.8 -0.4 0.00.4 -0.20.00.1 -0.8-0.40.00.4 X2 -0.2 0.0 0.1 -2 -1 0 1 2 -2-1012 X3 カーネル主成分分析の第3主成分までのプロット • 第1, 2主成分より, データが大 きく2つのクラスタに分かれて いることがわかります.
- 58. 次元削減による視覚化 X1 -0.8 -0.4 0.00.4 -0.20.00.1 -0.8-0.40.00.4 X2 -0.2 0.0 0.1 -2 -1 0 1 2 -2-1012 X3 カーネル主成分分析の第3主成分までのプロット • 第1, 2主成分より, データが大 きく2つのクラスタに分かれて いることがわかります. • 第2, 3主成分より, 3つくらいの クラスタに分かれそうであるこ とがわかります.
- 59. 次元削減による視覚化 X1 -0.8 -0.4 0.00.4 -0.20.00.1 -0.8-0.40.00.4 X2 -0.2 0.0 0.1 -2 -1 0 1 2 -2-1012 X3 カーネル主成分分析の第3主成分までのプロット PC1 -1.0 0.0 1.0 -3-113 -1.00.01.0 PC2 -3 -1 1 2 3 4 -0.5 0.0 0.5 -0.50.00.5 PC3 主成分分析の第3主成分までのプロット • 第1, 2主成分より, データが大 きく2つのクラスタに分かれて いることがわかります. • 第2, 3主成分より, 3つくらいの クラスタに分かれそうであるこ とがわかります.
- 60. 次元削減による視覚化 X1 -0.8 -0.4 0.00.4 -0.20.00.1 -0.8-0.40.00.4 X2 -0.2 0.0 0.1 -2 -1 0 1 2 -2-1012 X3 カーネル主成分分析の第3主成分までのプロット PC1 -1.0 0.0 1.0 -3-113 -1.00.01.0 PC2 -3 -1 1 2 3 4 -0.5 0.0 0.5 -0.50.00.5 PC3 主成分分析の第3主成分までのプロット • 第1, 2主成分より, データが大 きく2つのクラスタに分かれて いることがわかります. • 第2, 3主成分より, 3つくらいの クラスタに分かれそうであるこ とがわかります.
- 61. 次元削減による視覚化 X1 -0.8 -0.4 0.00.4 -0.20.00.1 -0.8-0.40.00.4 X2 -0.2 0.0 0.1 -2 -1 0 1 2 -2-1012 X3 カーネル主成分分析の第3主成分までのプロット PC1 -1.0 0.0 1.0 -3-113 -1.00.01.0 PC2 -3 -1 1 2 3 4 -0.5 0.0 0.5 -0.50.00.5 PC3 主成分分析の第3主成分までのプロット • 第1, 2主成分より, データが大 きく2つのクラスタに分かれて いることがわかります. • 第2, 3主成分より, 3つくらいの クラスタに分かれそうであるこ とがわかります. カーネル主成分分析の方は 特徴が捉えられています.
- 62.
- 63.
- 64. クラスタ数の推定 • 主成分分析でも, ある程度のクラスタ数は予測できました. •データに適当な分布を仮定して, 情報量規準などで推定す るのもありです.
- 65. クラスタ数の推定 • 主成分分析でも, ある程度のクラスタ数は予測できました. •データに適当な分布を仮定して, 情報量規準などで推定す るのもありです. • 今回は, データに分布を仮定しない, ギャップ統計量を使い ます.
- 66. クラスタ数の推定 • 主成分分析でも, ある程度のクラスタ数は予測できました. •データに適当な分布を仮定して, 情報量規準などで推定す るのもありです. • 今回は, データに分布を仮定しない, ギャップ統計量を使い ます. • SLmiscパッケージに「kmeansGap」関数が用意されてい ます.
- 67. クラスタ数の推定 • 評価関数 はについて単調に減少するので, を基準とす ると, 以下のようになります. • データ とほぼ同じ範囲の一様乱数から生成 されたデータ集合 とします. • クラスタ数を とするとき, データ と のそれぞれをク ラスタリングして得られる評価関数の値を とします. 最適なクラスタ数 = データ数
- 68. クラスタ数の推定 • ギャップ統計量は以下の式で求めることができます. • が最大となるようなを推定値とする方法です.
- 69.
- 70. クラスタ数の推定 0510152025 k : numberof clusters frequency 2 3 4 5 6 7 8 9
- 71. まとめ • k-meansは, 事前にクラスタ数をと決めてクラスタリ ングを行う手法でした.
- 72. まとめ • k-meansは, 事前にクラスタ数をと決めてクラスタリ ングを行う手法でした. • クラスタ数によってやりたいようにできてしまいます.
- 73. まとめ • k-meansは, 事前にクラスタ数をと決めてクラスタリ ングを行う手法でした. • クラスタ数によってやりたいようにできてしまいます. • クラスタ数の決定が鍵となります.
- 74. まとめ • k-meansは, 事前にクラスタ数をと決めてクラスタリ ングを行う手法でした. • クラスタ数によってやりたいようにできてしまいます. • クラスタ数の決定が鍵となります. • クラスタに分けたあとのクラスタ毎の意味付け頑張って 下さい＾＾ (←これが一番大変だと思います. )
- 75. Have a niceclustering!!