Recommended
Recommended
More Related Content
Featured
Featured (20)
クラスタリング
- 2. クラスタ •データの集まり、グループ •なんらかの類似性をもつ データの仲間 •位置、⼤きさ、⾊など • データが似ているかどうかはデータ⾃体の ⼀部あるいは全成分の組合せにより定まる ことに注意
- 4. クラスタリングの役割 • データを分類することによって法則性を⾒出す。 ⇒ 知識創⽣、知識獲得 • パターン認識の前段階処理。クラスタリングの結果が認 識に直結あるいは間接的に識別を助ける材料を提供する。 • ⾃ら概念を獲得するロボットをつくろうとする場合には クラスタリングは重要な要素技術．
- 6. 「意味のある」クラスタリングとは？ • 特徴量や特徴ベクトルによって張られる特徴空間の設計が重要． ⇒クラスタリングの成否に大きく影響。 • クラスタリングの仕方は無数。どんな特徴を基準にどう分けるのが効果的なのか は、突き詰めれば目的次第。 • 汎用的に意味のあることもある ⇒ 低次元化 • もし同じデータを表現できるなら次元は少なければ少ないほどよい • クラスタリングは低次元化の一種 クラスタリング クラスター１ クラスター２ クラスター３ クラスター１ クラスター２ クラスター３ 形状 大きさ データが（形状、大きさ）の対で表現できるならば、画像 そのものよりも、その対で表現する方がきっと効率的
- 9. クラスタリング手法の分類 • 階層型クラスタリング • 分割型 全体が１つのクラスタという状態から始めて、順次分割していき、ク ラスタ階層を生成 • 凝集型 全データが別クラスタという状態から始めて、順次併合を繰り返して クラスタ階層を生成 • 分割最適化クラスタリング • クラスタの良さを表す尺度を定義し、その尺度で分割状態を最適化することに よりデータ全体をクラスタ分割する 例）K-means法
- 11. 階層型クラスタリング の例（凝集法） ③ 最も近かったクラスタ 対をまとめてひとつのクラス タとし、あらためて距離を計 算 クラスタ データ ④ クラスタ数が設定さ れた数に減るまで併合処 理を繰り返す e b c a d e b c a d e b c a d
- 12. デンドログラム • 全体が１つのクラスタとなる までの併合の様子を 木構造で表現したグラフ e b c a d cｂ e d a be bce ad abcd e 併合したクラスタ 間の距離を表す 4 3 2 1 併合ステップ
- 13. クラスタ間の距離の定義法 クラスタ間の距離をどう定義して併合をすすめるか •最短距離法 併合前の最も近いクラスタ間距離 •群平均法 併合前のクラスタのサイズに 比例した加重平均距離 •重心法 各クラスタの重心同士の距離 •メディアン法 各クラスタの中央値同士の距離 •ウォード法 併合後の分散 ー 併合前の分散の和 e b c a d 最短 重心間
- 14. 例 重心法を使ってD={0,2,5,9,12,14} のデンドログラムを作成せよ。 0 2 5 9 12 14 1 13 7/3 35/3
- 16. 分割最適化クラスタリング • ｎ個のデータをｋ個のクラスタに分割する方法はいくつ存 在するか？ • 答え 𝑆 𝑛, 𝑘 = 1 𝑘! ) (−1)-./ 𝐶/ 𝑚2 - - /34 要するにデータが増えればとてつもなく多くなるので、 総当たりはできない
- 17. k-means法 代表的な分割最適化手法 • 目的関数 • 意味 K個のクラスタの各代表を１個選び、クラスタ内各データとその代 表とのユークリッド距離の総和を全クラスタについて総和した値を 最小化するような分割法を求める ？ どうやって代表を決める ？ ？ どうやって各データの所属クラスタを決める ？ ) ) （𝑥̅- − 𝑥7)8 9:∈<= > -34 クラスタ内の各データについての和 全クラスタについての和
- 18. k-means法のアルゴリズム ① K個の代表点を適当に決める。 ② 各データとK個の代表点の距離を測り、最も近い代表点のクラスタ をそのデータの所属クラスタとする。 最初はクラスタが決まってないので適当に決めた代表が クラスタ全体の重心であろうはずがない そんな代表に近いからといって、その代表と同じクラスタに データを所属させるのが正しいとは限らない ③ 各クラスタの重心によって代表点を更新する。 代表が変わったので再度クラスタ割当を見直さないといけない ④ クラスタ割当の変化がなくなるまで②と③を繰り返す。
- 19. 例 D={2,4,6,10,12,14} k=2 代表の初期値 {7,15}
- 20. 初期代表点の選択法 ランダム選択 実装は容易だが、良いクラスタが得られる可能性は低い できるだけ離れた点を選択 1. 任意の点を定め、その点から最も遠い点を一つ目の代 表点とする。 2. すでに選ばれた代表点すべてからの平均距離の最も遠 い点を新しい代表点として選ぶ。この操作を代表点がK 個になるまで繰り返す。 良いクラスタが得られる可能性は高いが、計算量が k- means 法自体の計算量よりも大きくなってしまう。
- 21. k-means 法の特徴 • クラスタ分割の結果は局所最適解であり、初期代表点（初期クラス タ）に依存する。 • （超）球状のクラスタが得られやすい。 • 各クラスタは類似したサイズに分割される。 （上２つの特徴は代表点からの距離の総和を目的関数と することからの当然の帰結といえる。） https://gist.github.com/aquapathos/a16217 c180216777c01346f6298adbe9
- 22. 低次元化 • 本質的な情報を保存したままデータの次元数を減らすこと • 低次元化することで、データの背景にある法則性が浮かび上 がったり、解析しやすくなる。 例）画像や音声などのパターン情報は超高次元 １６００万画素 ＝ ４８００万次元 囲碁の対局場面を1000万画素で動画撮影したデータは1秒分で 30フレーム×3色×1000万次元×８ビットのデータ量 ⇒ 少なくとも １９×１９×３ビットまで圧縮可能 （それでもなお、10360もの局面があり、10,000年後のCPUで宇宙の寿命 が尽きるまでかかっても全解探索できないであろう。） • 次元圧縮という意味ではクラスタリングも低次元化の極端な 場合と言えなくはない。
- 23. 低次元化技術の代表例 •主成分分析 （PCA:Principal Component analysis) •自己組織化マップ （SOM;Self-Organizing Map） •深層学習 期末成績 中間成績 主成分 イヌ ネコ イカ
- 24. 深層学習 Deep Learning • 階層型ニューラルネットは一種の次元圧縮装置である • 従来は３層程度までしか学習がうまくいかなかったが、 ２０００年台後半からプレトレーニング（事前学習）やドロップ アウト（ユニットや結合を確率的に無効化する）など様々なブ レークスルー技術が生まれ、多層でも学習が可能となった。