Download to read offline
![[DSO]勉強会_データサイエンス講義_Chapter1,2](https://cdn.slidesharecdn.com/ss_thumbnails/dsodatasciencelecturechapter12-190617122319-thumbnail.jpg?width=640&height=640&fit=bounds)
データ分析勉強会
- 1.
- 2. アジェンダ • 序論 データサイエンスとは •第Ⅰ部 データ分析プロジェクトを知る • 第Ⅱ部 効率の良い勉強方法 2
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15. 自殺行為！Danger Zone! ～Hacking Skills+ Substantive Expertise～ 数理統計学を知らない人が分析方法を指示すると起きる 15
- 16. 自殺行為！Danger Zone! ～Hacking Skills+ Substantive Expertise～ 数理統計学を知らない人が分析方法を指示すると起きる ○○市場の予測がしたい！ AIでちょっとやってよ！ いただいたデータで分析した所、 精度は60％が限界ですね 精度は80％以上出してほしい 次はDeep Learningでやってみてよ！ AIといえばDeep Learning! 16
- 17. 自殺行為！Danger Zone! ～Hacking Skills+ Substantive Expertise～ 17 精度の保証はできない ※最初にハードルを下げましょう
- 18.
- 19. 誤解注意！Machine Learning ～Hacking Skills+ Math & Statistics Knowledge～ 機械学習させれば正しい答えが得られる訳ではない 19
- 20. 誤解注意！Machine Learning ～Hacking Skills+ Math & Statistics Knowledge～ 機械学習させれば正しい答えが得られる訳ではない 学習データを学習して作ったモデルに従って答えを返す 20
- 21. 誤解注意！Machine Learning ～Hacking Skills+ Math & Statistics Knowledge～ 機械学習させれば正しい答えが得られる訳ではない 学習データを学習して作ったモデルに従って答えを返す 学習データにノイズが含まれていると、 ノイズの影響もしっかり受ける 21
- 22. 誤解注意！Machine Learning ～Hacking Skills+ Math & Statistics Knowledge～ 22 モデル作成イメージ
- 23. 誤解注意！Machine Learning ～Hacking Skills+ Math & Statistics Knowledge～ 23 モデル作成イメージ 学習データ 異常値？
- 24. 誤解注意！Machine Learning ～Hacking Skills+ Math & Statistics Knowledge～ 24 モデル作成イメージ 学習データ 予想モデル （線形回帰） 異常値？
- 25. 誤解注意！Machine Learning ～Hacking Skills+ Math & Statistics Knowledge～ 25 モデル作成イメージ 学習データ 学習済みモデルイメージ 異常値？ 異常値の 影響受ける 予想モデル （線形回帰） モデル （線形回帰）
- 26.
- 27. 27 時代遅れ？Traditional Research ～Math &Statistics Knowledge + Substantive Expertise～ 標本 母集団 標本から母集団を推定 推定した予測の 不確実性を仮説検定 従来の統計学では力不足？
- 28. 28 時代遅れ？Traditional Research ～Math &Statistics Knowledge + Substantive Expertise～ 従来の統計学では力不足？ 標本 母集団 標本から母集団を推定 推定した予測の 不確実性を仮説検定 ビッグデータの登場！ 標本 ビッグデータ 母集団 計算機の処理能力も向上し、 標本でモデル作成が可能 標本を母集団とみなせる
- 29. 29 時代遅れ？Traditional Research ～Math &Statistics Knowledge + Substantive Expertise～ 従来の統計学では力不足？ 標本 母集団 標本から母集団を推定 推定した予測の 不確実性を仮説検定 ビッグデータの登場！ 標本 ビッグデータ 母集団 計算機の処理能力も向上し、 標本でモデル作成が可能 アルゴリズムが重要 標本を母集団とみなせる
- 30. 30 • データサイエンティストに必要なスキルは定義さ れている • データ分析はチームで取り組む •機械学習は学習データに依存するモデルを作る • ビッグデータの登場で、従来の統計学では力不足 • 数理統計学の知識がない人が分析方法の指示を出 すとみんな不幸になる 序論まとめ
- 31.
- 32.
- 33.
- 34.
- 35. CRISP-DMとは？ CRoss-Industry Standard Processfor Data Mining どの産業においても 共通の分析フェーズ 35
- 36. CRISP-DMとは？ CRoss-Industry Standard Processfor Data Mining ビジネスの理解 課題設定 36
- 37. CRISP-DMとは？ CRoss-Industry Standard Processfor Data Mining 課題解決するため のデータを理解 37
- 38. CRISP-DMとは？ CRoss-Industry Standard Processfor Data Mining データが揃っていれば、 モデルを作るための データ準備 38
- 39. CRISP-DMとは？ CRoss-Industry Standard Processfor Data Mining データ準備ができたら、 モデル作成 39
- 40. CRISP-DMとは？ CRoss-Industry Standard Processfor Data Mining モデルを評価 ※精度が良いとは 限らない 40
- 41. CRISP-DMとは？ CRoss-Industry Standard Processfor Data Mining 精度が良ければ デプロイ・納品 41
- 42. CRISP-DMとは？ CRoss-Industry Standard Processfor Data Mining 次の課題設定 42
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.
- 54.
- 55.
- 56.
- 57.
- 58.
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66.
- 67.
- 68.
- 69.
- 70. モデル精度のカラクリを知る 予測/観測 1(Positive) 0(Negative) 1(Positive)True Positive False Positive 0(Negative) False Negative True Negative モデルの精度は予測と観測が一致する 割合で決まる 70
- 71. モデル精度のカラクリを知る 予測/観測 1(Positive) 0(Negative) 1(Positive)予測成功 予測失敗 0(Negative) 見落とし 予測成功 モデルの精度は予測と観測が一致する 割合で決まる 71
- 72.
- 73.
- 74.
- 75. モデル精度のカラクリを知る 予測/観測 1(Positive) 0(Negative) 1(Positive)10 90 0(Negative) 0 0 全て１(優良)の場合 精度10％ 75
- 76. モデル精度のカラクリを知る 予測/観測 1(Positive) 0(Negative) 1(Positive)0 0 0(Negative) 10 90 全て0(優良じゃない)の場合 精度90％←下限 76
- 77. • 同じアプローチでできる別のコンテストに挑戦する • 同じ問題を別のアプローチで解く •グラフ描画等、可視化する 次のステップは？ 77
- 78.
- 79.