Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Tfug20181105

696 views

Published on

isolation forest

Published in: Engineering
  • Be the first to comment

Tfug20181105

  1. 1. Isolation Forestについて 株式会社パソナテック IoEソリューション事業部 Qumicoプロダクトマネージャー 夏谷 実 1 2018年11月5日 NN論文を肴に酒を飲む会 #7
  2. 2. 2 自己紹介
  3. 3. 自己紹介  夏谷実  株式会社パソナテック  株式会社パソナテック  IoEソリューション事業部  TFUG KANSAI  最近はデータサイエンティスト?  半導体もやります。  FPGAが好き  プログラミングも好き  好きな言語  C, Tcl/Tk, Common Lisp, Scheme(Gauche), Python, F#, Rust  Deep Learningも好き 3
  4. 4. 過去の経歴 4 カメラで橋を撮影 動画 静止画 f(x) 画像処理+ 統計処理 結果確認・レポート
  5. 5. Deep Leaningのすごさ 5 従来の手法の特徴 エッジ強調 二値化 動的フィルター 特徴点抽出 パターンマッチング ダメージ検出 ひび割れ検出 白線かすれ検出 ①見つけたい対象によってアルゴリズムが違う ②入力には高解像度の画像が必要 ③精度が撮影条件に左右される。 天気、距離、撮影者など・・・ 4K画像 https://github.com/sekilab/Ro adDamageDetector#downloa d-road-damage-dataset
  6. 6. Deep Learningのすごさ 6 データ ①異なる検出対象を一つのアルゴリズムで検出可能 パラメータのチューニングはDeep Learningが自動的に行う ②低解像度でも検出可能 VGAクラスで十分 ③撮影条件に左右されにくい ④データがあれば、新しい検出対象を簡単に追加できる。 → 道路のダメージ検出以外にも簡単に応用できる。 ニューラルネットワーク 600 600 https://github.com/sekilab/Ro adDamageDetector#downloa d-road-damage-dataset
  7. 7. 論文これです。  Title:Road Damage Detection Using Deep Neural Networks with Images Captured Through a Smartphone  https://arxiv.org/abs/1801.09454 7 https://qiita.com/IshitaTakeshi/items/915de731d8081e711ae5
  8. 8. 8 今日話す事
  9. 9. 今日話すこと  Isolation Forest  https://cs.nju.edu.cn/zhouzh/zhouzh.files/p ublication/icdm08b.pdf 9
  10. 10. Isolation Forestとは 10 ツリー構造を使った異常検知(anomaly detection) 教師無し学習
  11. 11. Isolation Forestの考え方  正常値  数が多く固まっている。  異常値  数が少なくばらけている 11
  12. 12. Isolation Forestの考え方  正常値  数が多く固まっている。  異常値  数が少なくばらけている 12 この塊を正常値とする。
  13. 13. Isolation Forest 13 Figure 1 https://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/icdm08b.pdf
  14. 14. Isolation Forest 14 異常値 正常値 異常値はツリーの上(Root近く)、正常値はツリーの下(Rootから遠く)に割り 当てられる。
  15. 15. Isolation Forest 15 異常値 正常値 閾値を決めて、それ以上を異常値、それ以外を正常値とする。 どこかに閾値 を決める
  16. 16. Isolation Forest 16 異常値 正常値 どこかに閾値 を決める 雑じゃない?
  17. 17. 17 やってみた
  18. 18. データ数129個 18 ちょっと微妙
  19. 19. データ数1066個 19 データを増やすと良くなる
  20. 20. Isolaton Forestの特徴  論文によるとこういう特徴があります。  データが増えても処理時間や使用メモリが増えな い  速度が速い  特徴量が増えても上手く行く  特徴量の二乗はデータが必要  実際にやってみた感想  ハイパーパラメータが閾値の一つしかないので使 いやすい  とりあえずデータ突っ込めばOK  データ数が少ないと上手く動かない 20
  21. 21. Isolation Forestの苦手なところ 21 ごちゃごちゃした ところにある異常 値が苦手 ・アルゴリズム的に、ごちゃごちゃしところにあるのは正常値になる。 http://scikit-learn.org/stable/modules/outlier_detection.html#one-class-svm- versus-elliptic-envelope-versus-isolation-forest-versus-lof
  22. 22. ご静聴ありがとうございました。 22 中部地区、関西地区、福岡でDLをやりたい人を絶賛募集中です。 興味がある方はWantedlyをパソナテックで検索! もしくは私までご連絡ください。 mnatsutani@pasonatech.co.jp

×