SlideShare a Scribd company logo
1 of 13
Download to read offline
Jubatus で始める機械学習
と
そのアルゴリズム
株式会社 Preferred Infrastructure 柏原秀蔵
2013 年 6 月 28 日
〜 Jubatus の使い方は説明しません〜
自己紹介
 柏原 秀蔵 (@suma90h)    
 Jubatus 中の人( 2012 年 5 月頃から参加)
 JubatusOSS(github) のリリースマネジメント
 アーキテクチャ設計など
 専門
 分散システム・システムプログラミング
 セキュリティとの関わり
 趣味で難読化、パッカー作成、マルウェア解析(最近はご無沙汰)
 2005 年 セキュリティキャンプ参加 (2006 年チューター )
 2008 〜 2010 年: 某セキュリティ会社にて製品開発
 AVTokyo 2008, AVTokyo 2012 発表
2
アジェンダ
 機械学習の導入(スキップ ? )
 http://www.slideshare.net/pfi/
 機械学習の理論と実践 など !
 Jubatus
 概要
 分散の仕組み
 分類器のアルゴリズム紹介
 開発コミュニティ(中の人より)
 セキュリティと機械学習への期待
3
機械学習とセキュリティ
4
セキュリティに対する期待
 製品化・実用化はあまり進んでいない?
 機械学習とセキュリティに関する研究も見かける
 ただ、製品・実運用で耐えうるレベルへ活用しきれていない印象
 参入のチャンス!
 セキュリティ以外の事例
 自然言語処理の分野は、機械学習によって既存研究・製品が荒らさ
れたらしい
 これからセキュリティにも波がきてもおかしくない!
5
セキュリティへの応用はこれから進む?
 研究レベル
 ウェブのストリームからの攻撃検知(特徴抽出)
 マルウェアのクラスタリングや分類
 プログラム実行ファイル (PE ヘッダ ) からの特徴抽出
 データセット

DARPA データセット ( パケット ) ← 入手しやすい

日本国内 : MWS Dataset, CCC Dataset
 Malware Analytics at Stream Rate: Higher Analyst Productivity and
Reduced Threat Exposure [Harold Jones, GFIRST 2012]

イギリス BAE System 社による IDS/IPS へ機械学習の適用例
セキュリティあるある
 未知の攻撃 / マルウェアを発見したい!

ルールベースでは未知の物に対応できない

欠点:精度が高くても、誤検知は避けられない
– 99.9% の精度で、 10,000 件につき 1 件は誤検知する可能性
 誤検知が増えても、人手で処理しきれない
 ルールベースでも、人手が入るとそこがボトルネックになる

未知の物は人手で確認しないと判断がつかない・機械には無理・人間
でも判断に迷うことがある

問題設定や、トレードオフを見極める必要がある

誤検知が多いことを許容したシステム?

「誤検知からいかに未知のマルウェアを発見するか・受け身に回らな
いで攻めに転じるか」策?
7
例:機械学習を用いた検出エンジン (IDS)
 IDS に期待される要望
 攻撃らしき怪しいデータを即座(リアルタイム)に検知したい
 被害が出る前・広がる前に見つけたい。すぐに止めたい
 機会学習と検索を用いた IDS
 …でも誤検知は ?
 1 回目の攻撃からすぐに防ぐというのは諦める

専門家が絶対に怪しいと感じるデータを 1 回発見できたとする

しかし未知のデータなので、単体では攻撃と断定できない!
– パケットを停止したときの被害 vs 攻撃を許したときの被害

では過去に、同じ IP アドレスから攻撃の予兆と断定できる痕跡が
あったとしたら? → 直感的には、どう考えてもアウト
 攻撃者視点で考える: 1 分以内に、攻撃・侵入・機密データを流出
させる仕組みを仕掛ける。機密データを盗むまでに N 分以内で終わ
らせる → 無理ゲー
8
例:機械学習と検索を用いた IDS
 機械学習と検索によるアプローチ
 ログには属性を付与し、後から追跡できるように蓄積する
 データがくるたびに機械学習は用いる

蓄積したログから検索・集計し、それを元にアラートを出すか判断

判断手法
– 人手・ルールベース・機械学習
– 組み合わせは自由・集計結果を機械学習の特徴にしても良い
 問題点

貯めたデータから即時に集計・検索するのは困難

→ ここで Preferred Infrastructure の Sedue( 次スライドへ )
9
セキュリティとビッグデータ
 ビッグデータ /Hadoop/ 他 , 製品群
 ストレージ屋さんが儲けている雰囲気?
 頑張って Hadoop 使わなくても実現できることは多い

採用事例が増えるほど、デファクトスタンダードとなった

企業・ OSS コミュニティ(エコシステム)の成熟
 SIEM(Security Information and Event Management)
 よくわかりません><
 貯まったデータをどう扱うか
 大規模なログデータから、即座に検索・集計するのは難しい
 → 解析ソリューション「 Sedue for BigData 」

Preferred Infrastructure までお問い合わせを
10
まとめ:頑張ればセキュリティでも実用化できそう
 機械学習とセキュリティには期待!
 セキュリティで実用化するには、工夫が必要
 何かの制約を捨てて、別のパフォーマンスを最大化する案
 時系列
 精度(検出率)が高い・低いだけの問題ではない

矛と盾のいたちごっこにおいて、効率的に盾を新調するには?

21 世紀だけどあと何年、人が張り付くことになるの? (´д ` )
 セキュリティって、コンピュータ技術で解決できる範囲は狭い
 『セキュリティはなぜ破られたのか』ブルース・シュナイアー
 とはいえ、コンピュータへの攻撃がある以上は、防ぎたい
コンテストを考える
 Poisoning Attacks against Support Vector Machines (Biggio+)
 機械学習の精度を落とすようなデータを学習させる
 解説: ICML2012 読み会で発表しました && SVM の性能をガタ落
ちさせるためには - kisa12012 の日記
 http://d.hatena.ne.jp/kisa12012/20120728/1343486425
 ( 「 ICML 機械学習 攻撃」 などで検索)
 コンテスト競技者への攻撃するのに使えるかも
 機械学習の普及とどうなるか?
12
Copyright © 2006-2013
Preferred Infrastructure All Right Reserved.

More Related Content

Similar to Jubatusで始める機械学習/セキュリティと機械学習

Microsoft Azure Machine Learning "ちょっと"だけ触ってみた
Microsoft Azure Machine Learning "ちょっと"だけ触ってみたMicrosoft Azure Machine Learning "ちょっと"だけ触ってみた
Microsoft Azure Machine Learning "ちょっと"だけ触ってみたYuki Katada
 
はじめてのAzure Azure的ピタゴラスイッチのススメ- PaaS・サーバーレス 初級編 -
はじめてのAzure Azure的ピタゴラスイッチのススメ- PaaS・サーバーレス 初級編 -はじめてのAzure Azure的ピタゴラスイッチのススメ- PaaS・サーバーレス 初級編 -
はじめてのAzure Azure的ピタゴラスイッチのススメ- PaaS・サーバーレス 初級編 -典子 松本
 
Community Open Day 2013 JP - EF CodeFirst DEMO
Community Open Day 2013 JP - EF CodeFirst DEMOCommunity Open Day 2013 JP - EF CodeFirst DEMO
Community Open Day 2013 JP - EF CodeFirst DEMOokumar savurou
 
Google Web Toolkit(GWT)入門
Google Web Toolkit(GWT)入門Google Web Toolkit(GWT)入門
Google Web Toolkit(GWT)入門Yuki Naotori
 
開発コンセプトシートの考え方(大川弥生)
開発コンセプトシートの考え方(大川弥生)開発コンセプトシートの考え方(大川弥生)
開発コンセプトシートの考え方(大川弥生)robotcare
 
構築者に知っておいてもらいたい 運用設計者が語るAWS @Developers.IO 2015
構築者に知っておいてもらいたい運用設計者が語るAWS @Developers.IO 2015構築者に知っておいてもらいたい運用設計者が語るAWS @Developers.IO 2015
構築者に知っておいてもらいたい 運用設計者が語るAWS @Developers.IO 2015Kazuki Ueki
 
設計について学ぼう (1).pdf
設計について学ぼう (1).pdf設計について学ぼう (1).pdf
設計について学ぼう (1).pdfssuserec9c6a
 
AI も IoT も Digital Twins も、すべてはデータモデルから
AI も IoT も Digital Twins も、すべてはデータモデルからAI も IoT も Digital Twins も、すべてはデータモデルから
AI も IoT も Digital Twins も、すべてはデータモデルからKnowledge & Experience
 
Azure Rock Star Community Day #2 - JAZUG
Azure Rock Star Community Day #2 - JAZUGAzure Rock Star Community Day #2 - JAZUG
Azure Rock Star Community Day #2 - JAZUGYui Ashikaga
 
Introduction to GAN model
Introduction to GAN modelIntroduction to GAN model
Introduction to GAN modelWEBFARMER. ltd.
 
賢くツールを使って脱人海戦術駆動テスト
賢くツールを使って脱人海戦術駆動テスト賢くツールを使って脱人海戦術駆動テスト
賢くツールを使って脱人海戦術駆動テストMitsuru Ogawa
 
Azureで実現簡単クラウドアプリケーション
Azureで実現簡単クラウドアプリケーションAzureで実現簡単クラウドアプリケーション
Azureで実現簡単クラウドアプリケーションTsukasa Kato
 
Elasticsearchの機械学習機能を使ってみた
Elasticsearchの機械学習機能を使ってみたElasticsearchの機械学習機能を使ってみた
Elasticsearchの機械学習機能を使ってみたYuichiArisaka
 
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナー
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナーソフトウェアエンジニアでなくてもアジャイルが分かるセミナー
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナーNaoya Maekawa
 
組込みだからこそアジャイルやろうよ! (JASA中部セミナー20131004)
組込みだからこそアジャイルやろうよ! (JASA中部セミナー20131004)組込みだからこそアジャイルやろうよ! (JASA中部セミナー20131004)
組込みだからこそアジャイルやろうよ! (JASA中部セミナー20131004)Naoya Maekawa
 
Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!
Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!
Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!Yasuaki Matsuda
 
脆弱性スキャナVulsを使ってDevSecOpsを実践!
脆弱性スキャナVulsを使ってDevSecOpsを実践!脆弱性スキャナVulsを使ってDevSecOpsを実践!
脆弱性スキャナVulsを使ってDevSecOpsを実践!Takayuki Ushida
 
Test & Feedbackツールのいい話
Test & Feedbackツールのいい話Test & Feedbackツールのいい話
Test & Feedbackツールのいい話Satoshi Matsunaga
 
ゲームインフラとGoogle Cloud Platformと酒!
ゲームインフラとGoogle Cloud Platformと酒!ゲームインフラとGoogle Cloud Platformと酒!
ゲームインフラとGoogle Cloud Platformと酒!Hasegawa Yusuke
 

Similar to Jubatusで始める機械学習/セキュリティと機械学習 (20)

Microsoft Azure Machine Learning "ちょっと"だけ触ってみた
Microsoft Azure Machine Learning "ちょっと"だけ触ってみたMicrosoft Azure Machine Learning "ちょっと"だけ触ってみた
Microsoft Azure Machine Learning "ちょっと"だけ触ってみた
 
はじめてのAzure Azure的ピタゴラスイッチのススメ- PaaS・サーバーレス 初級編 -
はじめてのAzure Azure的ピタゴラスイッチのススメ- PaaS・サーバーレス 初級編 -はじめてのAzure Azure的ピタゴラスイッチのススメ- PaaS・サーバーレス 初級編 -
はじめてのAzure Azure的ピタゴラスイッチのススメ- PaaS・サーバーレス 初級編 -
 
Community Open Day 2013 JP - EF CodeFirst DEMO
Community Open Day 2013 JP - EF CodeFirst DEMOCommunity Open Day 2013 JP - EF CodeFirst DEMO
Community Open Day 2013 JP - EF CodeFirst DEMO
 
Google Web Toolkit(GWT)入門
Google Web Toolkit(GWT)入門Google Web Toolkit(GWT)入門
Google Web Toolkit(GWT)入門
 
開発コンセプトシートの考え方(大川弥生)
開発コンセプトシートの考え方(大川弥生)開発コンセプトシートの考え方(大川弥生)
開発コンセプトシートの考え方(大川弥生)
 
構築者に知っておいてもらいたい 運用設計者が語るAWS @Developers.IO 2015
構築者に知っておいてもらいたい運用設計者が語るAWS @Developers.IO 2015構築者に知っておいてもらいたい運用設計者が語るAWS @Developers.IO 2015
構築者に知っておいてもらいたい 運用設計者が語るAWS @Developers.IO 2015
 
設計について学ぼう (1).pdf
設計について学ぼう (1).pdf設計について学ぼう (1).pdf
設計について学ぼう (1).pdf
 
AI も IoT も Digital Twins も、すべてはデータモデルから
AI も IoT も Digital Twins も、すべてはデータモデルからAI も IoT も Digital Twins も、すべてはデータモデルから
AI も IoT も Digital Twins も、すべてはデータモデルから
 
Azure Rock Star Community Day #2 - JAZUG
Azure Rock Star Community Day #2 - JAZUGAzure Rock Star Community Day #2 - JAZUG
Azure Rock Star Community Day #2 - JAZUG
 
試してGOTTEN READY! Azure Sphere
試してGOTTEN READY! Azure Sphere試してGOTTEN READY! Azure Sphere
試してGOTTEN READY! Azure Sphere
 
Introduction to GAN model
Introduction to GAN modelIntroduction to GAN model
Introduction to GAN model
 
賢くツールを使って脱人海戦術駆動テスト
賢くツールを使って脱人海戦術駆動テスト賢くツールを使って脱人海戦術駆動テスト
賢くツールを使って脱人海戦術駆動テスト
 
Azureで実現簡単クラウドアプリケーション
Azureで実現簡単クラウドアプリケーションAzureで実現簡単クラウドアプリケーション
Azureで実現簡単クラウドアプリケーション
 
Elasticsearchの機械学習機能を使ってみた
Elasticsearchの機械学習機能を使ってみたElasticsearchの機械学習機能を使ってみた
Elasticsearchの機械学習機能を使ってみた
 
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナー
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナーソフトウェアエンジニアでなくてもアジャイルが分かるセミナー
ソフトウェアエンジニアでなくてもアジャイルが分かるセミナー
 
組込みだからこそアジャイルやろうよ! (JASA中部セミナー20131004)
組込みだからこそアジャイルやろうよ! (JASA中部セミナー20131004)組込みだからこそアジャイルやろうよ! (JASA中部セミナー20131004)
組込みだからこそアジャイルやろうよ! (JASA中部セミナー20131004)
 
Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!
Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!
Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!
 
脆弱性スキャナVulsを使ってDevSecOpsを実践!
脆弱性スキャナVulsを使ってDevSecOpsを実践!脆弱性スキャナVulsを使ってDevSecOpsを実践!
脆弱性スキャナVulsを使ってDevSecOpsを実践!
 
Test & Feedbackツールのいい話
Test & Feedbackツールのいい話Test & Feedbackツールのいい話
Test & Feedbackツールのいい話
 
ゲームインフラとGoogle Cloud Platformと酒!
ゲームインフラとGoogle Cloud Platformと酒!ゲームインフラとGoogle Cloud Platformと酒!
ゲームインフラとGoogle Cloud Platformと酒!
 

More from Preferred Networks

PodSecurityPolicy からGatekeeper に移行しました / Kubernetes Meetup Tokyo #57
PodSecurityPolicy からGatekeeper に移行しました / Kubernetes Meetup Tokyo #57PodSecurityPolicy からGatekeeper に移行しました / Kubernetes Meetup Tokyo #57
PodSecurityPolicy からGatekeeper に移行しました / Kubernetes Meetup Tokyo #57Preferred Networks
 
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3Preferred Networks
 
Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...
Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...
Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...Preferred Networks
 
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...Preferred Networks
 
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55Preferred Networks
 
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Preferred Networks
 
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2Preferred Networks
 
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2Preferred Networks
 
スタートアップが提案する2030年の材料開発 - 2022/11/11 QPARC講演
スタートアップが提案する2030年の材料開発 - 2022/11/11 QPARC講演スタートアップが提案する2030年の材料開発 - 2022/11/11 QPARC講演
スタートアップが提案する2030年の材料開発 - 2022/11/11 QPARC講演Preferred Networks
 
Deep Learningのための専用プロセッサ「MN-Core」の開発と活用(2022/10/19東大大学院「 融合情報学特別講義Ⅲ」)
Deep Learningのための専用プロセッサ「MN-Core」の開発と活用(2022/10/19東大大学院「 融合情報学特別講義Ⅲ」)Deep Learningのための専用プロセッサ「MN-Core」の開発と活用(2022/10/19東大大学院「 融合情報学特別講義Ⅲ」)
Deep Learningのための専用プロセッサ「MN-Core」の開発と活用(2022/10/19東大大学院「 融合情報学特別講義Ⅲ」)Preferred Networks
 
PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)
PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)
PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)Preferred Networks
 
自然言語処理を 役立てるのはなぜ難しいのか(2022/10/25東大大学院「自然言語処理応用」)
自然言語処理を 役立てるのはなぜ難しいのか(2022/10/25東大大学院「自然言語処理応用」)自然言語処理を 役立てるのはなぜ難しいのか(2022/10/25東大大学院「自然言語処理応用」)
自然言語処理を 役立てるのはなぜ難しいのか(2022/10/25東大大学院「自然言語処理応用」)Preferred Networks
 
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語る
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語るKubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語る
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語るPreferred Networks
 
Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張
Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張
Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張Preferred Networks
 
PFNのオンプレ計算機クラスタの取り組み_第55回情報科学若手の会
PFNのオンプレ計算機クラスタの取り組み_第55回情報科学若手の会PFNのオンプレ計算機クラスタの取り組み_第55回情報科学若手の会
PFNのオンプレ計算機クラスタの取り組み_第55回情報科学若手の会Preferred Networks
 
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2Preferred Networks
 
Kubernetes Service Account As Multi-Cloud Identity / Cloud Native Security Co...
Kubernetes Service Account As Multi-Cloud Identity / Cloud Native Security Co...Kubernetes Service Account As Multi-Cloud Identity / Cloud Native Security Co...
Kubernetes Service Account As Multi-Cloud Identity / Cloud Native Security Co...Preferred Networks
 
KubeCon + CloudNativeCon Europe 2022 Recap / Kubernetes Meetup Tokyo #51 / #k...
KubeCon + CloudNativeCon Europe 2022 Recap / Kubernetes Meetup Tokyo #51 / #k...KubeCon + CloudNativeCon Europe 2022 Recap / Kubernetes Meetup Tokyo #51 / #k...
KubeCon + CloudNativeCon Europe 2022 Recap / Kubernetes Meetup Tokyo #51 / #k...Preferred Networks
 
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...Preferred Networks
 
独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50
独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50
独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50Preferred Networks
 

More from Preferred Networks (20)

PodSecurityPolicy からGatekeeper に移行しました / Kubernetes Meetup Tokyo #57
PodSecurityPolicy からGatekeeper に移行しました / Kubernetes Meetup Tokyo #57PodSecurityPolicy からGatekeeper に移行しました / Kubernetes Meetup Tokyo #57
PodSecurityPolicy からGatekeeper に移行しました / Kubernetes Meetup Tokyo #57
 
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
Optunaを使ったHuman-in-the-loop最適化の紹介 - 2023/04/27 W&B 東京ミートアップ #3
 
Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...
Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...
Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...
 
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
 
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
Kubernetes ControllerをScale-Outさせる方法 / Kubernetes Meetup Tokyo #55
 
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
 
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
 
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
Optuna Dashboardの紹介と設計解説 - 2022/12/10 Optuna Meetup #2
 
スタートアップが提案する2030年の材料開発 - 2022/11/11 QPARC講演
スタートアップが提案する2030年の材料開発 - 2022/11/11 QPARC講演スタートアップが提案する2030年の材料開発 - 2022/11/11 QPARC講演
スタートアップが提案する2030年の材料開発 - 2022/11/11 QPARC講演
 
Deep Learningのための専用プロセッサ「MN-Core」の開発と活用(2022/10/19東大大学院「 融合情報学特別講義Ⅲ」)
Deep Learningのための専用プロセッサ「MN-Core」の開発と活用(2022/10/19東大大学院「 融合情報学特別講義Ⅲ」)Deep Learningのための専用プロセッサ「MN-Core」の開発と活用(2022/10/19東大大学院「 融合情報学特別講義Ⅲ」)
Deep Learningのための専用プロセッサ「MN-Core」の開発と活用(2022/10/19東大大学院「 融合情報学特別講義Ⅲ」)
 
PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)
PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)
PFNにおける研究開発(2022/10/19 東大大学院「融合情報学特別講義Ⅲ」)
 
自然言語処理を 役立てるのはなぜ難しいのか(2022/10/25東大大学院「自然言語処理応用」)
自然言語処理を 役立てるのはなぜ難しいのか(2022/10/25東大大学院「自然言語処理応用」)自然言語処理を 役立てるのはなぜ難しいのか(2022/10/25東大大学院「自然言語処理応用」)
自然言語処理を 役立てるのはなぜ難しいのか(2022/10/25東大大学院「自然言語処理応用」)
 
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語る
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語るKubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語る
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語る
 
Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張
Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張
Matlantis™のニューラルネットワークポテンシャルPFPの適用範囲拡張
 
PFNのオンプレ計算機クラスタの取り組み_第55回情報科学若手の会
PFNのオンプレ計算機クラスタの取り組み_第55回情報科学若手の会PFNのオンプレ計算機クラスタの取り組み_第55回情報科学若手の会
PFNのオンプレ計算機クラスタの取り組み_第55回情報科学若手の会
 
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
 
Kubernetes Service Account As Multi-Cloud Identity / Cloud Native Security Co...
Kubernetes Service Account As Multi-Cloud Identity / Cloud Native Security Co...Kubernetes Service Account As Multi-Cloud Identity / Cloud Native Security Co...
Kubernetes Service Account As Multi-Cloud Identity / Cloud Native Security Co...
 
KubeCon + CloudNativeCon Europe 2022 Recap / Kubernetes Meetup Tokyo #51 / #k...
KubeCon + CloudNativeCon Europe 2022 Recap / Kubernetes Meetup Tokyo #51 / #k...KubeCon + CloudNativeCon Europe 2022 Recap / Kubernetes Meetup Tokyo #51 / #k...
KubeCon + CloudNativeCon Europe 2022 Recap / Kubernetes Meetup Tokyo #51 / #k...
 
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...
 
独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50
独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50
独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50
 

Jubatusで始める機械学習/セキュリティと機械学習

  • 1. Jubatus で始める機械学習 と そのアルゴリズム 株式会社 Preferred Infrastructure 柏原秀蔵 2013 年 6 月 28 日 〜 Jubatus の使い方は説明しません〜
  • 2. 自己紹介  柏原 秀蔵 (@suma90h)      Jubatus 中の人( 2012 年 5 月頃から参加)  JubatusOSS(github) のリリースマネジメント  アーキテクチャ設計など  専門  分散システム・システムプログラミング  セキュリティとの関わり  趣味で難読化、パッカー作成、マルウェア解析(最近はご無沙汰)  2005 年 セキュリティキャンプ参加 (2006 年チューター )  2008 〜 2010 年: 某セキュリティ会社にて製品開発  AVTokyo 2008, AVTokyo 2012 発表 2
  • 3. アジェンダ  機械学習の導入(スキップ ? )  http://www.slideshare.net/pfi/  機械学習の理論と実践 など !  Jubatus  概要  分散の仕組み  分類器のアルゴリズム紹介  開発コミュニティ(中の人より)  セキュリティと機械学習への期待 3
  • 5. セキュリティに対する期待  製品化・実用化はあまり進んでいない?  機械学習とセキュリティに関する研究も見かける  ただ、製品・実運用で耐えうるレベルへ活用しきれていない印象  参入のチャンス!  セキュリティ以外の事例  自然言語処理の分野は、機械学習によって既存研究・製品が荒らさ れたらしい  これからセキュリティにも波がきてもおかしくない! 5
  • 6. セキュリティへの応用はこれから進む?  研究レベル  ウェブのストリームからの攻撃検知(特徴抽出)  マルウェアのクラスタリングや分類  プログラム実行ファイル (PE ヘッダ ) からの特徴抽出  データセット  DARPA データセット ( パケット ) ← 入手しやすい  日本国内 : MWS Dataset, CCC Dataset  Malware Analytics at Stream Rate: Higher Analyst Productivity and Reduced Threat Exposure [Harold Jones, GFIRST 2012]  イギリス BAE System 社による IDS/IPS へ機械学習の適用例
  • 7. セキュリティあるある  未知の攻撃 / マルウェアを発見したい!  ルールベースでは未知の物に対応できない  欠点:精度が高くても、誤検知は避けられない – 99.9% の精度で、 10,000 件につき 1 件は誤検知する可能性  誤検知が増えても、人手で処理しきれない  ルールベースでも、人手が入るとそこがボトルネックになる  未知の物は人手で確認しないと判断がつかない・機械には無理・人間 でも判断に迷うことがある  問題設定や、トレードオフを見極める必要がある  誤検知が多いことを許容したシステム?  「誤検知からいかに未知のマルウェアを発見するか・受け身に回らな いで攻めに転じるか」策? 7
  • 8. 例:機械学習を用いた検出エンジン (IDS)  IDS に期待される要望  攻撃らしき怪しいデータを即座(リアルタイム)に検知したい  被害が出る前・広がる前に見つけたい。すぐに止めたい  機会学習と検索を用いた IDS  …でも誤検知は ?  1 回目の攻撃からすぐに防ぐというのは諦める  専門家が絶対に怪しいと感じるデータを 1 回発見できたとする  しかし未知のデータなので、単体では攻撃と断定できない! – パケットを停止したときの被害 vs 攻撃を許したときの被害  では過去に、同じ IP アドレスから攻撃の予兆と断定できる痕跡が あったとしたら? → 直感的には、どう考えてもアウト  攻撃者視点で考える: 1 分以内に、攻撃・侵入・機密データを流出 させる仕組みを仕掛ける。機密データを盗むまでに N 分以内で終わ らせる → 無理ゲー 8
  • 9. 例:機械学習と検索を用いた IDS  機械学習と検索によるアプローチ  ログには属性を付与し、後から追跡できるように蓄積する  データがくるたびに機械学習は用いる  蓄積したログから検索・集計し、それを元にアラートを出すか判断  判断手法 – 人手・ルールベース・機械学習 – 組み合わせは自由・集計結果を機械学習の特徴にしても良い  問題点  貯めたデータから即時に集計・検索するのは困難  → ここで Preferred Infrastructure の Sedue( 次スライドへ ) 9
  • 10. セキュリティとビッグデータ  ビッグデータ /Hadoop/ 他 , 製品群  ストレージ屋さんが儲けている雰囲気?  頑張って Hadoop 使わなくても実現できることは多い  採用事例が増えるほど、デファクトスタンダードとなった  企業・ OSS コミュニティ(エコシステム)の成熟  SIEM(Security Information and Event Management)  よくわかりません><  貯まったデータをどう扱うか  大規模なログデータから、即座に検索・集計するのは難しい  → 解析ソリューション「 Sedue for BigData 」  Preferred Infrastructure までお問い合わせを 10
  • 11. まとめ:頑張ればセキュリティでも実用化できそう  機械学習とセキュリティには期待!  セキュリティで実用化するには、工夫が必要  何かの制約を捨てて、別のパフォーマンスを最大化する案  時系列  精度(検出率)が高い・低いだけの問題ではない  矛と盾のいたちごっこにおいて、効率的に盾を新調するには?  21 世紀だけどあと何年、人が張り付くことになるの? (´д ` )  セキュリティって、コンピュータ技術で解決できる範囲は狭い  『セキュリティはなぜ破られたのか』ブルース・シュナイアー  とはいえ、コンピュータへの攻撃がある以上は、防ぎたい
  • 12. コンテストを考える  Poisoning Attacks against Support Vector Machines (Biggio+)  機械学習の精度を落とすようなデータを学習させる  解説: ICML2012 読み会で発表しました && SVM の性能をガタ落 ちさせるためには - kisa12012 の日記  http://d.hatena.ne.jp/kisa12012/20120728/1343486425  ( 「 ICML 機械学習 攻撃」 などで検索)  コンテスト競技者への攻撃するのに使えるかも  機械学習の普及とどうなるか? 12
  • 13. Copyright © 2006-2013 Preferred Infrastructure All Right Reserved.