Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

機械学習の全般について 4

4,791 views

Published on

Genral Knowledge about Machine Learning

Published in: Data & Analytics
  • Be the first to comment

機械学習の全般について 4

  1. 1. 1 機械学習の全般知識 2017/01/31 mabonki0725
  2. 2. 2 機械学習との関わり • データ分析と統計モデル構築15年 • 吟味したデータで構築したモデルは実運用でも精度を維持する • 現在は自前で構築したモデルよりフリーのモデルの方が高精度 • 統計数理研究所の機械学習ゼミに4年間在籍 • PRMLを読み殆どの統計モデルをスクラッチで構築   判別木 SVM ベイジアンネット DeepLearning(CNN LSTM) 本資料のモデルや図は全てこの当時作成したもの • 所属ゼミでは最近まではDeepLearningが禁止だった   • AI論文は月に2000本発表される。しかし日本人の 投稿は殆どない • 日米の投資額の差(1000倍) • 単一民族の日本人は多様性を捉える統計が馴染まない
  3. 3. 3 機械学習の進展 1)2000年頃までは古典的な頻度統計が主流だった • データが貴重で計算機のパワーも低い時代の統計 • 仮説検定やP値など結果の解釈が難解であった 2)2000年以降ベイズ統計が発展する • 豊富なデータと計算機パワーで繰返し計算でモデルを精緻化する • 隠れた変数(見えない因子)をモデルに入れることに成功 3)DeepLearningの特徴量抽出能力が認識される • Hintonの教師なしモデル(RBM)が飛躍的に性能を向上させる 4)強化学習+DeepLearningのAlpha碁が出現 • DeepMind社が状況認識と適応行動を合体する(DQNモデル) • 計算機どうし対戦で能力を向上(敵対的モデルが注目される)  5) オープン・イノベーションによってツールが殆どFreeになる • 機械学習やAIがロジックからツール主導になる。 • Pythonは全ての言語の長所が反映され、ツールの充足が高い
  4. 4. 4 機械学習モデル構築の工程 • 機械学習ツールを使う前処理が大部分を占る • 機械学習のツールを使うのは全体の5%のみ • 実用上は運用データでの精度が大事 課題 工数 課題例(企業審査モデル) 区分 負荷 分析方針 5 審査モデル可能性の調査 計画 5.0% データ所在調査 5 与信先のデータの調査 データ取得 10 与信先のデータの集積 データの解釈 10 データの整合性の検討 データの統合 10 有意なデータの選択と統合 データ分割 10 与信先のタイプで区分 データ加工 20 信用を説明する有意なデータの加工 モデル化 5 モデルを適用 モデル適用 5.0% モデル精度検証 10 過学習、劣学習を検証 モデル検証 10.0% モデル実装 5 審査モデルを実装 モニタリング 10 運用データでの精度をモニタリング データ加工 後処理 65.0% 15.0%
  5. 5. 5 学習モデルの大分類 K-means  LDA EM 隠れた判別変数を見出し、収束状態で判断非教師モデル 大分類 説明 頻度統計モデル モデルを決めるパラメータを一度で最適化する 教師データ有 モデル ベイズ統計モデル 教師付モデル 教師データが判断別基準 データの背後に隠れた変数を逐次最適化する 教師データ無  判別ツリー SVA  教師 半教師モデル 一部の教師データで全データを推定する 識別 生成 VAE 統計 グラフィカルモデル データをグラフ化して分析する ベイジアンネット SEM 自然言語処理 文章データを分類、意味解析する 機械翻訳 word2vec   非統計モデル データは独立していると仮定 ニューロ  計画法  時系列モデル 時系列のデータから将来予測 ARMA カルマンフィルター 非 数値 1 2 3 4 5 6 7 8 9 10 DeepLearning 画像 音声 言語の識別 CNN LSTM 11 強化学習 報酬(得点 勝敗)の最大化を目指し意思決定 ロボテックス アルファ碁
  6. 6. 6 1-a 教師付モデル(判別ツリー) 正解ラベルがあるデータで学習するモデル 相関(AIC)分析の結果 見に来た人と属性の相関ランク 上位ランク:家の形態 地域 判別木の結果 借家・北部地域・月収22万超の 人が87%見学している
  7. 7. 7 1-b 教師付モデル(SVM) 直線で分離できない AとBを分離できる様に 高次元に写像(カーネル) 平面で分離
  8. 8. 8 スパース法実装例2 ARD(関連度自動決定)RVM download http://www1.m.jcnnet.jp/mabonki/download.htm RVM回帰 出来るだけ少ない点で回帰する   下記例では◎の3点のみで回帰 RVM識別 □とXのみで識別 RVM識別の結果 Z軸は確率値 1-c 教師付モデル(LASSO)
  9. 9. 9 2 教師なしモデル(K-means) 正解ラベルが無いデータで区分する K-Means法 花びらの幅、長さ、ガク片の長さで 3種類のPLOT図 正解の種類別の PLOT図
  10. 10. 10 3 半教師付モデル(VAE) 一部の手書数字で全数字の手書きを推定する 教師データ 推定結果
  11. 11. 11 頻度統計とベイズ統計の比較 頻度統計 (識別モデル) ベイズ統計 (生成モデル) モデル適合度P値が必要 モデル適合度はモデル 改善指標AIC,BIC 4  頻度統計とベイズ統計モデル 最適な網目を 一度で計算 網目調整 繰返し 計算 結果の状態評価 適当な網目で開始 (事前確率) 最適な網目 (事後確率最大化)
  12. 12. 12 5 ベイズ統計モデル・確率勾配法(SGD) 最近の機械学習の殆どはこの方式
  13. 13. 13 6 時系列解析 定常波による予測:ARMA 長期トレンド除去→定常波 非定常波の予測:カルマンフィルター
  14. 14. 14 7-a 非統計モデル(ニューロ) ニューロモデル sinにノイズを与えたデータをで予測 非線形計画法 非線形関数領域内を制約とする x+yの最大値
  15. 15. 15 7-b 非統計モデル(最短経路) 東京地下鉄の最短経路探査 ダイクストラ法
  16. 16. 16 8 グラフィカルモデル タイタニック号の乗船名簿と生死 からベイジアンネットを推定 性別による生死の予測 収入・学歴・会社規模・人脈・有名度 の相関より「地位」の隠れ因子を仮定 隠れ因子「地位」と各々の関係度を計測
  17. 17. 17 9 word2vec • 大量の文書をよんで文字をvectorで表現にする – vectorなので加減算で推論・推薦ができる • 連想   vec(日本) - vec(東京) + vec(パリ) → vec(フランス) • 推奨 映画のBackoFutureにviolenceを強くした映画は?   vec(バックツウザフューチャ) + 2×vec(暴力) → vec(ターミネータ) + =2×violence
  18. 18. 18 10-a DeepLearning CNN 画像認識
  19. 19. 19 10-b DeepLearning LSTM 言語認識
  20. 20. 20 10 DeepLearning 画像+言語認識
  21. 21. 21 11 強化学習 DQN  DeepLearning+強化学習 Sarsaλ 強化学習
  22. 22. 22 まとめ • 機械学習のモデルは淘汰が進んでいる – 教師あり XGBoost(ランダム・フォレスト+ブースティング) – 教師なし Stan(MCMC) – 画像・音声認識 DeepLearning • 学術上では未だ百花繚乱の状態 – 計算機の向上と多くの天才の参入によって予断できない – DeepLearningの理論的背景がまだ解明されない • オープン・イノベーションで誰でもチャンスがある – データ分析(機械学習ツール)は基本的にフリー – 理論は難しいが応用を重ねていくと面白いと感じるはず – 理論主導の時代は終焉し、ツールや応用主導の時代

×