論文紹介: Machine Learning for Encrypted Malware Traffic Classification: Accounting for Noisy Labels and Non-Stationarity
•Download as PPTX, PDF•
0 likes•86 views
以下の論文紹介のスライドです。 Blake Anderson and David McGrew. Machine Learning for Encrypted Malware Traffic Classification: Accounting for Noisy Labels and Non-Stationarity. ACM KDD ‘17, 1723-1732, https://doi.org/10.1145/3097983.3098163
Recommended
More Related Content
Similar to 論文紹介: Machine Learning for Encrypted Malware Traffic Classification: Accounting for Noisy Labels and Non-Stationarity
Similar to 論文紹介: Machine Learning for Encrypted Malware Traffic Classification: Accounting for Noisy Labels and Non-Stationarity (20)
Recently uploaded
Recently uploaded (9)
論文紹介: Machine Learning for Encrypted Malware Traffic Classification: Accounting for Noisy Labels and Non-Stationarity
- 1. 論文紹介: Machine Learning for Encrypted Malware Traffic Classification: Accounting for Noisy Labels and Non-Stationarity 小谷 大祐 (京都大学)
- 2. 文献 Blake Anderson and David McGrew. Machine Learning for Encrypted Malware Traffic Classification: Accounting for Noisy Labels and Non-Stationarity. ACM KDD ‘17, 1723-1732 https://doi.org/10.1145/3097983.3098163 Cisco の論文。暗号化トラフィック分析関連っぽい https://www.cisco.com/c/ja_jp/solutions/enterprise-networks/enterprise-network-security/eta.html 2018/12/16論文を肴に酒を呑む会 2
- 3. 侵入検知・防止システム (IDS/IPS) IDS/IPS: ネットワーク上の通信を監視し、悪意のある通信 (例: マルウェアの通信) を発見（・遮断）するシステム 課題: 暗号化トラフィックの増加 マルウェアも当然通信を暗号化する ペイロードのパターンマッチングが使えない Man-in-the-middle に頼ることは現実的でない プライバシー上の懸念、法的・技術的な問題 IDS/IPS 通信のメタデータと 機械学習を使って 振る舞い検知 2018/12/16論文を肴に酒を呑む会 3
- 4. 機械学習を用いる際の課題 高い True positive rate を保ちながら False positive rate を適切なレベル にするのは難しい 理由1: 正確な正解データが得られない マルウェアはインターネット接続の確認に有名なサイトへのアクセ スを試行する → Sandbox の通信が全て悪性というわけではない 普段のネットワークに無視できない割合で不審な通信がある →普段のネットワークの通信を全て良性とみなすことは難しい 理由2: ネットワークのデータは定常ではない ユーザが利用するサービスを変更すると通信パターンは変化する 例: box から Google Drive に利用するサービスを変更 新しいプロトコル (HTTP2, TLS1.3 など) の導入 2018/12/16論文を肴に酒を呑む会 4
- 5. 本論文の内容 機械学習の6つのアルゴリズムの性能を、 正確ではない正解データや定常でない通信データによる 影響の受けやすさをネットワークセキュリティの観点で調査 いくつかのアルゴリズムは上記の影響を受けやすいことが分かった 特徴量を変えて比較 よく使われる特徴量 Domain Expert と一緒に検討しいくつか追加した特徴量 後者を使ったほうが前者を使ったときよりもぐんと性能がよい 12ヶ月間に収集した数百万の TLS セッションを利用した 長期の評価 2018/12/16論文を肴に酒を呑む会 5
- 6. Transport Layer Security (TLS) 赤は平文、青は暗号文 Client Hello: サポートする Cipher Suite リスト サポートする TLS 拡張 (SNI など) Server Hello: 利用する Cipher Suite 利用する TLS 拡張 (以降略) TLS 1.3 は より多くの Handshake メッセージが暗 号化される 2018/12/16論文を肴に酒を呑む会 6 本論文の Figure 1 より引用
- 7. 利用したアルゴリズム 線形回帰 L1/L2正則化ロジスティック回帰 決定木 利用する特徴量の数: 全て、総数の平方根、log2(総数) 木の深さの上限: なし、データ数の平方根、log2(データ数) ランダムフォレスト 利用する特徴量の数と木の深さの上限は決定木と同様 木の数: 25 から 200 の間で 25 刻み パラメータの調整は Grid Search と Cross Validation で 2018/12/16論文を肴に酒を呑む会 7
- 8. 利用したアルゴリズム Support Vector Machine カーネル: ガウスカーネル, 多項式カーネル (2次, 3次) ソフトマージンとガウスカーネルのパラメータ: 10n (n は -5 ≦ n ≦ 5 の整数) Multi-Layer Perceptron 隠れ層: 2 以上 5 以下の自然数 各レイヤーのニューロン数: 32 から 512 まで2の累乗 Dropout Regularization Parameter: 0.1 から 0.5 の間で 0.05 単位 パラメータの調整は Grid Search と Cross Validation で 2018/12/16論文を肴に酒を呑む会 8
- 9. 利用したデータ 2つの異なる大陸にある同じ企業の エンタープライズネットワークのインターネット接続口 500-1000 active users 45% ほどが Windows 7 または 10 40% ほどが OS X 残りはモバイルデバイス, Linux, Windows XP 1箇所は 2016年4月〜, 1箇所は 2016年9月〜 ブラックリストに掲載されている通信は遮断 マルウェア分析のための Sandbox 5分間実行 Windows XP (75% ほど) または Windows 7 2015年8月〜 バイアス: 同じ企業 (端末の設定が類似)、5分間の制限 2018/12/16論文を肴に酒を呑む会 9
- 10. 利用したデータ TLS セッションのみ抽出して利用 2018/12/16論文を肴に酒を呑む会 10 本論文の Table 1 より引用
- 11. 利用した特徴量 Standard: 最小・中央・最大・標準偏差 クライアント → サーバのパケット長、パケット到着間隔 サーバ → クライアントのパケット長、パケット到着間隔 プロトコル、セッション継続時間、各方向のパケット数とサイズ Enhanced: Bestafera の検知に有用という観点で検討 Standard に加えて 最初の50パケットのペイロード長とマルコフ連鎖 (150バイト単位) TLS ハンドシェイクの Client Hello の Cipher Suite リスト 使っているライブラリや設定によって異なる 2018/12/16論文を肴に酒を呑む会 11 本論文の Figure 2 より引用 アップロード ダウンロード
- 12. 結果: Accuracy 2018/12/16論文を肴に酒を呑む会 12 Standard Representation Enhanced Representation 本論文の Figure 3 の一部 より引用 FDR: False Discovery Rate t検定, 有意水準5% 有意差はない アルゴリズムより 特徴量が効いている
- 13. 結果: 性能の時間変化 (Standard Representation) 2018/12/16論文を肴に酒を呑む会 13 本論文の Figure 3 の 一部より引用 • ランダムフォレスト強いけど、時間経過すると Malware の検知率が下がる • 線形回帰と SVM は結果が偏っている
- 14. 結果: 性能の時間変化 (Enhanced Representation) 2018/12/16論文を肴に酒を呑む会 14 ランダムフォレスト強い 本論文の Figure 3 の 一部より引用
- 15. 結果: 異なるネットワークでの適用 2018/12/16論文を肴に酒を呑む会 15 本論文の Table 2 より引用 ランダムフォレスト強い
- 16. 結果: 不正確な教師データによる影響 教師データのラベルの一部を反転させて学習 2018/12/16論文を肴に酒を呑む会 16 本論文の Figure 4 より引用 L1/L2正則化ロジスティック回帰、 線形回帰、ランダムフォレストは頑健 ロジスティック回帰はノイズを入れる ことで Enterprise の性能が向上
- 17. 関連研究 William ら (2006): naïve Bayes, C4.5, Bayesian Network, naïve Bayes Tree でアプリケーション 識別。 Accuracy は変わらず、計算時間だけが違う Label Noise 特徴量の設計 (著者らの過去の研究) TLS Handshake の情報が有用だとは示してなかった 2018/12/16論文を肴に酒を呑む会 17
- 18. その他 Reproducibility データセットは機密性が高いので公開できない Malware の Sandbox は OSS がある 分析に利用したツール (Joy, Keras, Scikit-learn) は OSS Ethical Consideration 収集したパケットは所属組織の規程に従って処理をした後に分析 仮名化 データへの厳重なアクセスコントロール TLS を破ろうとしているわけではない 2018/12/16論文を肴に酒を呑む会 18
- 19. 結論 6つの機械学習のアルゴリズムで侵入検知の性能を評価・比 較 現実に近い前提の評価 教師データが完全に正確とは限らない ランダムフォレスト強い だけど特徴量の選択のほうが性能に大きく影響する 2018/12/16論文を肴に酒を呑む会 19