人工知能 機械学習 Meetup 資料

1. Big Data & Security
Signature & Model Hybrid Platform
サイバーセキュリティクラウド 渡辺洋司
2016/07/17

2.  ビッグデータ、セキュリティとの関わり
 直近（前職）では、並列分散ストリーム処理技術を基盤技術として、
機械学習のモデルを用いたアノマリ検知の研究開発、標的型攻撃検知
の研究開発
 ２０１６年４月 サイバーセキュリティクラウド CTO
 直近３カ月はプロダクトの把握と開発、インフラ整備、採用
 本日は今までの知見と今後の展望についてお話しさせていただきます
自己紹介：渡辺洋司

3. サイバーセキュリティクラウド
世界中の人々が安心安全に
使えるサイバー空間を創造する
クラウド型 WAFサービスの提供
攻撃遮断くん
攻撃見えるくん（無料）
※ WAF : Web Application Firewall

4. クラウド型 WAFの概要

5. 本日のテーマ
シグネチャベースの検知処理
今後のビッグデータの活用方向は？
その時のプラットフォームの姿とは？

6. 攻撃遮断くんのデータ
 ログの種類とデータ量
 HTTPサーバログ、syslog（sshd, smtpd, popd, など)
 約４０億件～／月
 攻撃検知数
 １００万件～／月
 今後のデータ量の増加
 今後顧客数増大を目指しているので数倍～数十倍に

7. ログと検知データを扱った取組み
 月毎の検知レポートの自動生成（先日リリース）
 サーバの検知状況に応じたレポートを人手での作成から自動化へ
 人手でのノウハウをモデル化して適用
 ゼロデイの検知（今後）
 サーバーにおける過去のアクセスと異なるアクセスの発見
 全体での共通発生的なアクセスの発見
 誤検知精度の向上（今後）
 ユーザからのフィードバックを自動で受け付けられる仕
組み（CAPTHA認証で教えてもらう）（教師データの精
度向上）

8. 機械学習における課題（１）
 ゼロデイ検知のためのモデル構築タスクを実現するには？
 最適な特徴量と手法の見極めが難しい
HTTPアクセスにおいて、未知の攻撃を発見するために必要な
特徴量（と手法）はなにか？

9. 機械学習における課題（２）
 教師あり学習でのアプローチ
 教師付データの入手
 過去の検知データが正解データとしてあるのは強みだが、誤検知もそれな
りに含んでいる
 既知の亜種なら過去の知見から比較的実現しやすい
でもそれって本当にやりたいこと？
 やれないよりはいいですが。
 検証、説明の難しさ
モデルの検証につかう未知の攻撃データって？

10. 機械学習における課題（３）
 教師なし学習でのアプローチ
 特徴量の発見の難しさ
基本的には異常検知がベース
構築したモデルに対して「違う」かどうか
そもそもこのログの情報で十分なんだっけ？
 検証、説明の難しさ
モデルの検証につかう未知の攻撃データって？
異常を検知したとおもったら、サーバーのパラメータ増えてただけ
だった。

11. シグネチャ＆モデルのハイブリッド型へ
 シグネチャ型
 Good ：検知のルールが明確、軽量（CPU, メモリ）
 Bad ：シグネチャにない未知の攻撃は検知できない
 モデル型
 Good ：未知の攻撃の検知が可能に
 Bad ：検知の理由が不明確（モデルと事象の関係）
ハイブリッド型でリアルタイムかつスケーラブルに
プラットフォームの必要性！！

12. Apache METRON
 FOR BIG DATA CYBER SECURITY ANALYTICS
 Automated, Global Cross-Referencing to Detect
Security Threats in Real-Time
 Apache Hadoop 関連で活躍中の Hortonworks が主体
 Codebase は、Cisco が主体となっていた OpenSOC
 2015年12月にApache Software Foundationのインキュベー
ター・ステータスを獲得
 現在、TP(Technical Preview)2 で公開

13. Apache METRON Overview
 nifi やその他の通信から、Kafka のMQ にいれ、Storm でトポロ
ジを構築する。可視化には標準では Kibana。

14. 攻撃遮断くん with Apache METRON
 アクセスログ
 Syslog
 デーモンログ
攻撃検知の可視化
攻撃検知の可視化・遮断
フィードバック（正常、誤検知、攻撃）
モデル構築、リファイン

15. ありがとうございました
 サイバーセキュリティクラウドでは一緒に働いてくれる仲間を募集
しています！
 特に今後のビジネスを推進するビッグデータを一緒にいじり倒して
くれるエンジニア
 ちょっとスキルは足りないけどやってみたい！というエンジニア
攻撃遮断くん
攻撃見えるくん（無料）