Recommended
More Related Content
What's hot
What's hot (20)
Similar to データ解析技術2019
Similar to データ解析技術2019 (20)
More from Yusuke Yamamoto
More from Yusuke Yamamoto (20)
Recently uploaded
Recently uploaded (14)
データ解析技術2019
- 1. データ解析技術 山本 祐輔 静岡大学 情報学部 講師 yusuke_yamamoto@acm.org 2019年前期集中講義 本スライドは，クリエイティブ・コモンズ・ライセンス国際4.0のもとで， ライセンスされています．
- 2. 講義スタイル Hands-onデモ & 演習 with R 0：00 1:300：30 座学 デモ & 演習座学 デモ & 演習座学 デモ & 演習座学 デモ & 演習座学 クラスタリング はじめての機械学習 相関ルールマイニング 10:00 17:30 1コマの構成 「各種分析⼿法を使うと何が起こるか」の体験に焦点を当てる 1日の構成 上記スタイルで3つのトピックを学習 2
- 3. 講座で使⽤するもの（1/2） 画像出典: https://www.r-project.org 配布スライド（座学用） R & RStudio 3
- 5. データ分析技術（in データ⼯学）の⼀般的な学習トピック データラングリング 類似度・距離関数 相関ルールマイニング クラスタリング 例外発⾒ 回帰・分類 テキストデータ グラフ (ネットワーク) 時系列データ ストリームデータ 空間データ 汎用テクニック データ特化型マイニング … データ可視化 本講座の目標 ・ 実践的 & 汎用性が高いテクニックの直感的理解 ・ ケースに応じたデータ分析技術の選択 5
- 6. 本講座で学ぶ5つの技術 1. K-means(K平均法) 2. 階層的クラスタリング 3. DBSCAN 4. 決定木 5. 相関ルールマイニング 6
- 7. 本講座で学ぶ5つの技術 1. K-means(K平均法) 2. 階層的クラスタリング 3. DBSCAN 4. 決定木 5. 相関ルールマイニング A B D C E F G H I A B D C E F G H I N個のグループに分割 類似データを指定のグループ数に強引に分割 7
- 8. 本講座で学ぶ5つの技術 1. K-means(K平均法) 2. 階層的クラスタリング 3. DBSCAN 4. 決定木 5. 相関ルールマイニング A B D CE F GH I A B D C E F G H I 徐々にデータをマージ 類似データを徐々にグルーピング 8
- 9. 本講座で学ぶ5つの技術 1. K-means(K平均法) 2. 階層的クラスタリング 3. DBSCAN 4. 決定木 5. 相関ルールマイニング 密集しているものをグルーピング A B D C E F G H I A B D C E F G H I ある程度密に群がっている データのみグルーピング 9
- 10. 本講座で学ぶ5つの技術 1. K-means(K平均法) 2. 階層的クラスタリング 3. DBSCAN 4. 決定木 5. 相関ルールマイニング 結果を予測するための分岐ルールを構築 毒 柄色 柄形 臭い あり 紫 直線 あり なし 朱 末広 刺激 … … … … キノコの記録 毒キノコを分類するルールを抽出 臭い あり なし 柄の色が緑 yes no 毒あり1% 毒あり100% … 10
- 11. 本講座で学ぶ5つの技術 1. K-means(K平均法) 2. 階層的クラスタリング 3. DBSCAN 4. 決定木 5. 相関ルールマイニング X⇒Yのルールを効率よく抽出 客ID 日付 購入物 111 12/1 A, B, C 112 12/3 B, D 113 12/3 C, H, J … … … 商品の購買記録 一緒によく買われる商品を抽出 A, B ⇒ H B, I ⇒ J K, Y ⇒ A, H 11
- 13. 参考図書 画像出典2: https://www.amazon.co.jp/dp/B07GYS3RG7/画像出典1: https://www.amazon.co.jp/dp/B00MWODXX8 13
- 18. クラスタリングのアプローチ 1. 距離を計算できるようにデータを表現 2. 距離を定義し，データ間の距離を計算 3. 距離をもとにあるルールでデータをまとめる 鳴き声の⾼さ0 鳴き声の⼤きさ 鳴き声の⾼さ 鳴き声の⼤きさ XY平⾯上での距離 が近いものをまとめる 18
- 19. クラスタリングのアプローチ 1. 距離を計算できるようにデータを表現 2. 距離を定義し，データ間の距離を計算 3. 距離をもとにあるルールでデータをまとめる 鳴き声の⾼さ0 鳴き声の⼤きさ 鳴き声の⾼さ 鳴き声の⼤きさ XY平⾯上での距離 が近いものをまとめる ポイント クラスタリング手法の違いはデータをまとめるルールにある 19
- 21. K-meansクラスタリングの利⽤例（1/2） 出典： https://mercan.mercari.com/articles/2016-06-21-160000/ 「社会⼈？」クラスタの平均傾向 「主婦？」クラスタの平均傾向 メルカリを使う時間帯によって メルカリユーザを9つのグループに分割 ※ ユーザは「時間帯ごとのアクセス回数の⽐率」でベクトル化 21
- 38. 階層的クラスタリングの概要 入力 ベクトルの集合（表データ） 出力 各ベクトルが所属するクラスタ & その階層図（デンドログラム） 利用するケース A B D CE F GH I A B D C E F G H I 類似データを徐々にマージ ・クラスタ数を柔軟に決めたいとき ・クラスタが分かれていく様を 確認したいとき 38
- 55. デンドログラム ● クラスタが併合されていく様子を表した樹形図 ● 適当な高さで木を切ることで，任意の数のクラスタを抽出可 A E H BD G IC F 55
- 57. クラスタ間の距離の定義（1/3） 最長距離法 最短距離法 B A C D E B A C D E クラスタの要素間の最⻑距離 クラスタの要素間の最短距離 ○ 計算コストが⼩さい × クラスタ同⼠が離れやすい ○ 計算コストが⼩さい × クラスタが鎖状になりやすい 57
- 59. クラスタ間の距離の定義（3/3） B A C D E B A F G I H ウォード法 ● 2つのクラスタを併合したと仮定したときの， クラスタ内の要素の散らばり具合 < ● 計算コストは⾼いが，分類感度がよい × × 59
- 67. DBSCAN (Density-based spatial clustering of applications with noise)の概要 入力 ・ベクトルの集合（表データ） ・密度の閾値 出力 各ベクトルが所属するクラスタ & ノイズデータ 利用するケース クラスタ数は未知だが， 密集度でクラスタリングしたいとき A B D C E F G H I A B D C E F G H I ある程度密に群がっている データのみグルーピング 67
- 68. 密度ベースクラスタリングの利⽤例 米国のGPSの位置情報データをクラスタリングして 人が密集している地域を抽出 L. Cao et al., 2009. Enhancing semantic and geographic annotation of web images via logistic canonical correlation regression. In Proceedings of the 17th ACM international conference on Multimedia (MM '09). 68
- 69. DBSCANの直感的アイデア あるデータの一定の距離内にデータが一定数以上 あれば，それらデータは同じクラスタに属するとみなす ⼀定の範囲に データが3個以上 3個は⾚⾊データと 同じクラスタに 69
- 87. クラスタリング⼿法の⽐較 K-means 階層的クラスタリング DBSCAN ケース クラスタ数を指定して データを分割したい データが分割される 様子を確認したい 密度を基に クラスタリングしたい クラスタ数の指定 Yes No No その他パラメータ • コア点から到達可 能なデータの個数 （minPts） • 距離の閾値（eps） 計算量 ○ △ × クラスタの形状 超球状 超球状（クラスタ 距離の定義による） 任意 メリット 良い意味で単純 クラスタが作られる 様子が把握できる （デンドログラム） • 任意の形状のクラ スタが抽出可 • 外れ値（ノイズ）を 考慮できる デメリット クラスタ数の指定が 必要 データ数が多いと 解釈が難しい パラメータ調整が 難しい 87
- 88. より性能がよいクラスタリング⼿法 K-means X-means EMアルゴリズム DBSCAN OPTICS クラスタ数指定なし & ⾼速化 • データが複数クラスタに属してもOK • クラスタの形状を柔軟に DBSCANのパラメータ問題を解決 88
- 90. AI! ⼈⼯知能! ディープラーニング!! ???? 画像出典：NHKスペシャル「AIに聞いてみた どうすんのよ!? ニッポン」 画像出典：https://www.amazon.co.jp/dp/B07JYYCG1D 90
- 91. ⼈⼯知能（AI） 人工知能 強いAI 弱いAI （Artificial Intelligence） ⼈間のような⾃意識を持ち，⼈間の ような知能をもって作業が可能な機械 ⼈間の知的処理の⼀部を模倣する 特定問題解決器 ・ 現在行われているAI研究の大半は弱いAIの研究 参考：⼈⼯知能研究（https://www.ai-gakkai.or.jp/whatsai/AIresearch.html） ・ 強いAI研究の成果（e.g. 推論）も人間の知能には遠く及ばず 91
- 92. ⼈⼯知能の研究トピック 人工知能 推論 探索 機械学習 知識表現 … 教師あり学習教師なし学習 強化学習 ・クラスタリング ・データ圧縮 ・分類 ・回帰 92
- 97. 97
- 99. 決定⽊の概要 入力 分類ラベルのついた ベクトルの集合（表データ） 出力 ラベルを予測するための ルールを要約した⽊ 利用するケース 予測モデルに加えて， 分類ルールを確認したいとき 毒 柄色 柄形 臭い あり 紫 直線 あり なし 朱 末広 刺激 … … … … キノコの記録 毒キノコを分類するルールを抽出 臭い あり なし 柄の色が緑 yes no 毒あり1% 毒あり100% … 99
- 103. 予測⽊の成⻑の抑制（1/2） 予測木をできるだけ汎用的にするために 木の大きさを制限する（過学習の防止） ● ⽊の葉っぱに含まれているデータの数 ● 不純度の変化量 ● ⽊の深さ ● ⽊の葉っぱでの誤り率 103
- 109. おススメの機械学習アルゴリズム（2/3） Q. ある程度データがあり，⼿軽に精度よく予測したい!! A. ランダムフォレスト Q. どんな特徴量が予測に効いているのか知りたい!! A. ランダムフォレスト 109
- 110. おススメの機械学習アルゴリズム（3/3） Q. 超⼤量にデータはあり，可能な限り精度を出したい!! A. ディープラーニング （計算資源と計算時間が必要） Q. データ数が少ないが，精度よく予測したい!! A. サポートベクターマシン （パラメータチューニングが必要） これらの方針は絶対ではないので， データ特性をふまえて手法を選択する必要あり 110
- 113. POSデータは宝の⼭ 客ID 日付 購入物 111 10/1 おにぎり, 切手 コーラ, 週刊マガジン 112 10/2 コーラ, 週間マガジン 113 10/2 コーラ, 歯ブラシ，週 刊マガジン … … … トランザクションデータ コーラを購入する人は 高い確率で 週刊マガジンを購入している!? 113
- 115. 相関ルールマイニングの概要 入力 トランザクションデータの集合 出力 X⇒Y形式の相関ルールの集合 利用するケース ⼤量のトランザクションデータから， 相関ルールを網羅的に抽出したい場合 客ID 日付 購入物 111 12/1 A, B, C 112 12/3 B, D 113 12/3 C, H, J … … … 商品の購買記録 一緒によく買われる商品を抽出 A, B ⇒ H B, I ⇒ J K, Y ⇒ A, H 115
- 116. 相関ルールの価値指標（1/3） 支持度 （support） おむつ ビール ＝ 全トランザクション数 全トランザクションの中で XとYの組合せが登場する割合 X Y おむつ ビール X Y X⇒Yの 116
- 118. 相関ルールの価値指標（3/3） リフト （lift） ＝ Yの出現に対する Xの出現の貢献度 X⇒Yの ビール Y 全トランザクション数 おむつ ビール X Y Confidence (X⇒Y) 118
- 119. 相関ルール分析のアルゴリズム {A, B, C, D, E} {B, D, E} {B, C} {A, C, E} {D, F, H, M} … トランザクション集合 相関ルール 支持度 確信度 リフト A⇒B 0.2 0.1 0.4 A⇒C 0.3 0.7 1.2 A, C⇒E 0.1 0.80 1.8 … … … … 1. トランザクション集合から，考えられうる 相関ルール候補をピックアップ 2. 相関ルール候補群に対して⽀持度，確信度および リフトの値を計算 3. 各種スコアが閾値を超えたルールを抽出 119
- 120. 素朴な疑問 相関ルールの候補数が莫大で 計算が終わらないのでは？Q. A B C D E F G H I J 考えられる相関ルール候補数は アイテム数10でも57,000! 120
- 122. アプリオリ・アルゴリズム 支持度 ＝ A⇒B 全トランザクション数 A B A⇒Bの支持度が閾値以下なら， {A, … }⇒Bは調べる必要はない 支持度 ＝ A,C⇒B 全トランザクション数 A B C ＞ 「{A,C}⇒Bの⽀持度」は 「A⇒Bの⽀持度」より必ず⼩さくなる 122
- 126. 不⾜するビッグデータ分析⼈材 126
- 130. データサイエンス = 機械学習? = 統計学? = プログラミング? 130
- 131. データサイエンス = 機械学習? = 統計学? = プログラミング? = 計算機科学!! 131
- 133. ● データベース ● センサーネットワーク データ 構築 前処理 アルゴリズム 適用 評価・分析 データサイエンスに必要となるスキル ● データラングリング ● 自然言語処理 ● 音声・画像処理 ● 機械学習 ● データマイニング ● 分散処理 ■ 必ず必要となる専門スキル ■ オプションとして必要となる専門スキル 専門スキルを支えるための基本スキル ● データ構造 ● プログラミング ● 線形代数学 ● 離散数学 ● 数理・統計 133
- 134. ● データベース ● センサーネットワーク データ 構築 前処理 アルゴリズム 適用 評価・分析 データサイエンスに必要となるスキル ● データラングリング ● 自然言語処理 ● 音声・画像処理 ● 機械学習 ● データマイニング ● 分散処理 ■ 必ず必要となる専門スキル ■ オプションとして必要となる専門スキル 専門スキルを支えるための基本スキル ● データ構造 ● プログラミング ● 線形代数学 ● 離散数学 ● 数理・統計 社会が考えるデータサイエンスはこれ 134
- 137. データサイエンスの不都合な真実 https://tjo.hatenablog.com/entry/2018/04/02/190000 o 同僚・上司からの期待感が 現実とマッチしない o 社内政治が最優先される o データに関わるもの全てを 扱う何でも屋扱いされる o 他の事業から孤立した チームで働かされる 137
- 138. データサイエンスはどこにある？ 機械学習 計算機科学 データ分析の対象 となる分野 数学 統計学 データサイエンス Jeff Ulman, “Data Science: Is It Real?”より 138