エクテックカジュアル勉強会 『機械学習と異常検知(第1回)』 投影資料になります。

1. カジュアル勉強会 @仙台
機械学習と異常検知 第1回
株式会社 エクテック
取締役 兼データサイエンティスト

2. エクテックのミッション
(Introduction)

3. 東北を、仙台を、
データサイエンスで
盛り上げる

4. 始 動: 2019年10⽉
拠 点: 仙台市内 2拠点
資本⾦: 2,000,000円 (⾃⼰資本)
社員数: 3名(+若⼲名)
株式会社 エクテック

5. 自己紹介
⼤⼿通信キャリアにて
NWエンジニア・データエンジニアを
国内No.1 名刺管理クラウド企業にて
データサイエンス関連の研究員 を経て

6. 自己紹介
⼤⼿通信キャリアにて
NWエンジニア・データエンジニアを
国内No.1 名刺管理クラウド企業にて
データサイエンス関連の研究員 を経て
現在は東北を、仙台を、
データサイエンスで盛り上げるため
様々な取り組みを⾏っています

7. プライベートな趣味として
データサイエンスはもちろん,
PUBG(Player Unknown Battle Ground),
Monster Hunter PS4, 第五⼈格
お酒全般,
新しい物好き,
⽇本史好きです
自己紹介

8. 第8回までの流れ
第1回
第2回
第3回
第4回
第5回
第6回
第7回
第8回
異常検知の基本的な考え方
１変数正規分布に基づく異常検知
カイ二乗分布とホテリングT^2法(1変数)
ホテリングT^2(多変数)
マハラノビス=タグチ法
非対称な分布における異常検知
期待値-最大化法(1次元)
k近傍法
性能評価の方法
正常標本精度と異常標本精度
異常検出の様々な指標
モデル精度の検証
正規混合分布モデル
サポートベクタによる異常検知
k平均法
不要な次元を含むデータの異常検知
次元削減
主成分分析を利用した正常標本の算出
主成分分析やカーネル主成分分析による異常検知
Input/Outputがあるデータの異常検知
線形回帰モデルによる異常検知
リッジ回帰モデルによる異常検知
ベイズ的線形回帰モデルによる異常検知
時系列データの異常検知
近傍法による異常部位検出
特異スペクトル変換法
自己回帰モデルによる異常検知
総括

9. 前段

10. 勉強会に参加する以上...

11. 『なにか』を
持って帰って欲しい

12. 『すべて』は難しいけれど
気になった、興味をもった
キーワードでも良いので
⼿元に持って帰って
いただけると幸いです

13. 初回、第１回⽬ですので、
導⼊な話がメインとなってしまいます。
ご了承ください。

14. 異常検知の基本的な考え⽅
(Basic Idea of Anomaly Detection)

15. IoT
Fin-tech
Manufacture
Web
HR-tech

16. 異常とは？

17. （１分間）

20. 普段とは異なるパターンや振る舞い
イベント, アイテム, 観測結果, ...

21. 『異常』

23. Webサービスの不正アクセス
⾦融機関の不正利⽤
ラインにある製品の不良品判定
センサーデバイスからの異常検知
ヒトや⾞の交通量変化検知
…etc

24. あらゆるビジネスの現場で
変化あるいは異常の兆候を
捉えること

25. ⾮常に重要な課題

26. プログラムによる条件分岐
や統計学によって１世紀にわたり
試⾏錯誤されてきた
※おもちゃの問題、ルールベース、エキスパートエンジン

27. ルールベースでいく？

28. ルールベースでいく？
IF (気温 ≧ 28℃) AND (湿度 ≧ 75%)
THEN 不快.

29. 職⼈技で、過去の事例を「ルール」という
形で蓄えることで対処すること

30. 取得できるデータが多くなく、データの
性質について⼗⼆分な知識がある場合、
⼿作業的にルールを作成しても⼗分

31. IF-THENルール
わかりやすさでいえば魅⼒的である
⼀⽅で...

32. ただ実⽤上のほとんどの場合、⼈間の経験を
直接ルール化するのは難しい。

33. (⼈間を主たる判定ルール⽣成源として
監視システムを構築するアプローチはほぼ必ず
失敗することがわかっている)

34. なぜなら、⼈間が明⽰的に意識できる
ルールは実世界の多様性に⽐べれば
桁違いに乏しいから。

35. 『知識獲得のボトルネック』

36. この問題を解決するために、
統計的機械学習の技術が進歩してきた

37. 機械学習により、近年
異常検知や変化検知にも
様々な取り組みがされてきている

38. 実⽤的な監視システムの構築には
データからパターンを⾃動学習する、とか

40. ⼈⼯知能
(Artificial Intelligence)

41. ヒトの脳を模して
学習するコンピュータ

42. 現実的な課題、理論的な
膨⼤な計算は AIに任せませんか？
な雰囲気になってきた

43. 異常検知と変化検知のいろいろな問題

44. 『仲間から値が外れている』
外れ値検出(Outlier Detection)

45. 『周波数の振る舞いの変化データ』
変化点検出(Change-point Detection)

46. 『⼼電図データの異常』
異常部位検出(Discard Detection)

47. スパムメール(広告メール)の判定問題
(⽂字列の数値ベクトルから異常を判定)

48. 統計学的機械学習に基づく
異常検知や変化検知の問題

49. データの性質に応じて確率分布を
何のように「学習」するか

50. データの性質

51. ラベル付き？ラベルなし？
教師あり学習？教師なし学習？

52. そのデータは、正規分布に従う？
それとも⾮対称で重なり合う分布？

53. そのデータは、「正常」なデータのみ？
それとも「異常」なデータを含む？

54. 第1回
第2回
第3回
第4回
第5回
第6回
第7回
第8回
異常検知の基本的な考え方
１変数正規分布に基づく異常検知
カイ二乗分布とホテリングT^2法(1変数)
ホテリングT^2(多変数)
マハラノビス=タグチ法
非対称な分布における異常検知
期待値-最大化法(1次元)
k近傍法
性能評価の方法
正常標本精度と異常標本精度
異常検出の様々な指標
モデル精度の検証
正規混合分布モデル
サポートベクタによる異常検知
k平均法
不要な次元を含むデータの異常検知
次元削減
主成分分析を利用した正常標本の算出
主成分分析やカーネル主成分分析による異常検知
Input/Outputがあるデータの異常検知
線形回帰モデルによる異常検知
リッジ回帰モデルによる異常検知
ベイズ的線形回帰モデルによる異常検知
時系列データの異常検知
近傍法による異常部位検出
特異スペクトル変換法
自己回帰モデルによる異常検知
総括

55. 第1回
第2回
第3回
第4回
第5回
第6回
第7回
第8回
異常検知の基本的な考え方
１変数正規分布に基づく異常検知
カイ二乗分布とホテリングT^2法(1変数)
ホテリングT^2(多変数)
マハラノビス=タグチ法
非対称な分布における異常検知
期待値-最大化法(1次元)
k近傍法
性能評価の方法
正常標本精度と異常標本精度
異常検出の様々な指標
モデル精度の検証
正規混合分布モデル
サポートベクタによる異常検知
k平均法
不要な次元を含むデータの異常検知
次元削減
主成分分析を利用した正常標本の算出
主成分分析やカーネル主成分分析による異常検知
Input/Outputがあるデータの異常検知
線形回帰モデルによる異常検知
リッジ回帰モデルによる異常検知
ベイズ的線形回帰モデルによる異常検知
時系列データの異常検知
近傍法による異常部位検出
特異スペクトル変換法
自己回帰モデルによる異常検知
総括
全８回を通して
学んでいきます

56. 密度推定問題

57. 密度推定問題
⼊出⼒に区別がなく、データの観測
順序が重要でない場合

58. 次元削減問題

59. 次元削減問題
データが多次元だけれど、データの
パターン把握に役⽴つ次元とそうでない
次元が混在している場合

60. 回帰問題

61. 回帰問題
ある⼊⼒に対して出⼒に興味があるけど
観測データの順序が特に重要でない場合

62. 分類問題

63. 分類問題
ある⼊⼒に対して出⼒に区別があって
観測データからその区別に分類したい場合

64. 時系列問題

65. 時系列問題
観測データの順序に意味があって
特にデータが典型的な時系列データに
なっている場合

66. 環境について
(Surroundings)

67. Python
パイソン

68. R
アール

69. Windows -> Anaconda
Mac -> Anaconda
Linux -> Anaconda

71. Data science technology for
groundbreaking research.
a competitive edge.
a better world.
human sensemaking.
A movement that brings together millions of data
science practitioners, data-driven enterprises, and
the open source community.

72. Data science technology for
groundbreaking research.
a competitive edge.
a better world.
human sensemaking.
A movement that brings together millions of data
science practitioners, data-driven enterprises, and
the open source community.
要は、データ分析環境を
提供してくれるもの

74. 『Pandas(ぱんだ)』です

76. Pandasって？？

77. pandas: powerful Python data
analysis toolkit Release 1.0.3
Wes McKinney and the Pandas Development Team
Mar 18, 2020

78. データ操作に
よく⽤いられるパッケージ

79. データの読み込みや、
条件を指定しての⼀部データの抽出
機械学習⼿法で取り扱うデータを
整理するのに便利

80. オープンソース(BSDライセンス)で
公開されており、個⼈／商⽤問わず、
誰でも無料で利⽤できる...!!!

81. Pandasには、⼤きく
“Series” (シリーズ)
“DataFrame” (データフレーム)
があります...!!!

82. どちらもデータ構造を指してます

83. Series
⼀次元のデータ構造

84. DataFrame
多次元のデータ構造

86. プログラミング⾔語Python
科学計算⽤ライブラリNumPy

87. これらのための
描画サポートライブラリ

88. BSDライセンス
無償で利⽤できる

89. MATLABとの類似性

91. あまりメジャーじゃない...？？

92. https://qiita.com/taai/items/
bdcdb96513c93f7ba5a6

93. matplotlibに基づく
Pythonデータ可視化ライブラリ

94. 魅⼒的で有益な統計グラフィックス
⾼レベルのインターフェイス

95. １変数正規分布に基づく異常検知
(Basic Idea of Anomaly Detection)

96. カイ⼆乗分布とホテリングT^2法(1変数)
(Basic Idea of Anomaly Detection)

97. Jupyter Notebook
を使っていきます
(環境が⽤意できていないかた→ブラウザから⾒れます)

98. EoF