Download to read offline
![検査値の一例
<script>alert();</script>
<img[Sp]src=x[Sp]onerror=alert();>
</textarea><script>alert();</script>
"><script>alert();</script>
'--><script>prompt();</script>
"><frame[Sp]src="javascript:prompt()">
';[Sp]alert();//
[CrLf][Sp]MsgBox[Sp]Document.Domain
javascript:alert``;
・・・
Webアプリに潜むXSSを検出するための文字列。
パターンが豊富であり、作成するにはノウハウが必要。
AISECjp
例）Cross-Site Scripting（XSS）の検査値
15](https://image.slidesharecdn.com/aisecjp20171030-171031142819/75/slide-16-2048.jpg)
![AISECjp
GAによる検査値の生成方法
・XSSの検査値の一例
[“], [>], [<script>], [alert();], [</script>]
[<object], [data=], [xss.html], [>]
[<svg], [/], [onload=], [al¥u0065rt();], [>]
[<video>], [<source], [onerror=], [confirm(1);], [>]
[<iframe], [onload=], [alert();], [>]
各検査値の最小要素を遺伝子として定義。
最適な遺伝子の組み合わせ（XSS検出可能）の個体を探索。
28](https://image.slidesharecdn.com/aisecjp20171030-171031142819/75/slide-29-2048.jpg)
![AISECjp!
・ノウハウ無しでXSSの検査値を生成可能。
・GAとGANの組み合わせで、効率よく大量の検査値を生成可能。
・その他データの生成にも応用可能（要検証）
＊GAによる組み合わせ最適 ⇒ GANで増やす
Summary
[検証用コード]
https://github.com/13o-bbr-bbq/machine_learning_security/tree/master/Generator
57](https://image.slidesharecdn.com/aisecjp20171030-171031142819/75/slide-58-2048.jpg)
サイバーセキュリティ錬金術
- 1. 2017.10.30 AISECjp #16 Presented byIsao Takaesu サイバーセキュリティ錬金術 - ノイズから価値あるデータを生成する技術 -
- 2. About the speaker •職業 : セキュリティエンジニア • 所属 : 三井物産セキュアディレクション • 趣味 : 脆弱性スキャナ作り、機械学習 • ブログ: http://www.mbsd.jp/blog/ • Black Hat Asia Arsenal, CODE BLUE / 2016 • 情報セキュリティEXPO, PYCON JP / 2017 • 勉強会「AISECjp」を主催 高江洲 勲 Takaesu Isao AISECjp Twitter: @bbr_bbq 1
- 3.
- 4.
- 5.
- 6.
- 7.
- 8. AISECjp Webアプリケーション診断 診断員 Web Server Web Apps Firewall 診断ベンダ 顧客 1. 疑似攻撃 SQLi? XSS? 2. 反応の分析 1. Webアプリをクローリングしながら疑似攻撃 2. Webアプリの反応を分析して脆弱性を判定 7
- 9.
- 10. AISECjp 研究の最終目標 人間の診断員のように、 Webアプリの脆弱性を検出するスキャナの開発 SAIVS Spider Artificial IntelligenceVulnerability Scanner ※現在はβ版 9
- 11.
- 12.
- 13.
- 14. ・ ・ ・ ・ ・ ・ 属性値 JS内 ・・・ 出力箇所 タグの外 “sCriPt” 他のタグ URL encode 検査値 Event handler ・ ・ ・ Q-learning 状態観測 脆弱性の検出エンジン ・ ・ ・ 評価 重み更新 “ ⇒ " <⇒ < ・・・ 防御機構 > ⇒ > Webアプリの挙動に応じて、適切な検査値を送信可能。 Multilayer Perceptron AISECjp13
- 15. ・ ・ ・ ・ ・ ・ 属性値 JS内 ・・・ 出力箇所 タグの外 “sCriPt” 他のタグ URL encode 検査値 Event handler ・ ・ ・ Q-learning 状態観測 ・ ・ ・ 評価 重み更新 “ ⇒ " <⇒ < ・・・ 防御機構 > ⇒ > Multilayer Perceptron AISECjp 脆弱性の検出エンジン Webアプリの挙動に応じて、適切な検査値を送信可能。 14
- 16.
- 17.
- 18. AISECjp 検査値の自動生成方法 ・遺伝的アルゴリズム (Genetic Algorithm: GA) ・Generative Adversarial Networks (GAN) 17
- 19.
- 20.
- 21. AISECjp 遺伝的アルゴリズム（Genetic Algorithm：GA） 進化計算を繰り返し、最適な遺伝子の組み合わせの個体を探索。 ● ▲■ × ★ 初期集団の生成 適応度評価・選択 交叉突然変異 個体 遺伝子 世代交代 20
- 22. 進化計算の流れ（1/5） AISECjp 初期集団の生成 適応度評価・選択 交叉突然変異 個体 ● ▲■ × ★遺伝子 世代交代 21
- 23. 進化計算の流れ（2/5） AISECjp 初期集団の生成 適応度評価・選択 交叉突然変異 個体 ● ▲■ × ★遺伝子 世代交代 22
- 24. 進化計算の流れ（3/5） AISECjp 初期集団の生成 適応度評価・選択 交叉突然変異 個体 ● ▲■ × ★遺伝子 世代交代 23
- 25. 進化計算の流れ（4/5） AISECjp 初期集団の生成 適応度評価・選択 交叉突然変異 個体 ● ▲■ × ★遺伝子 世代交代 24
- 26. 進化計算の流れ（5/5） AISECjp 初期集団の生成 適応度評価・選択 交叉突然変異 個体 ● ▲■ × ★遺伝子 世代交代 25
- 27. 利用例 AISECjp 新幹線N700系 空気抵抗の少ないエアロ・ダブルウィング形状の計算 http://trendy.nikkeibp.co.jp/article/column/20070705/1001439/ SuperMario World 全自動クリアが可能なMarioの行動パターンを計算 http://gigazine.net/news/20150616-mari-o/ American Fuzzy Lop (Fuzzer） カバレッジが高くなるFuzzを計算 http://lcamtuf.coredump.cx/afl/ 26
- 28. AISECjp GAによる検査値の生成方法 ・XSSの検査値の一例 “><script>alert();</script> <object data=xss.html> <svg/onload=al¥u0065rt();> <video><source onerror=confirm(1);> <iframeonload=alert();> 検査値はHTMLやJavaScriptの要素の組み合わせで構成。 27
- 29. AISECjp GAによる検査値の生成方法 ・XSSの検査値の一例 [“], [>], [<script>],[alert();], [</script>] [<object], [data=], [xss.html], [>] [<svg], [/], [onload=], [al¥u0065rt();], [>] [<video>], [<source], [onerror=], [confirm(1);], [>] [<iframe], [onload=], [alert();], [>] 各検査値の最小要素を遺伝子として定義。 最適な遺伝子の組み合わせ（XSS検出可能）の個体を探索。 28
- 30. AISECjp 言葉の定義 遺伝子（gene） HTML/JSの最小構成要素 例）<img/, src=,x, onerror=, alert();, /> 個体（individual） 遺伝子の組み合わせ（=検査値の候補） 例）<img/src=x onerror=alert(); /> 適応度（fitness）・評価（evaluation） HTML構文の妥当性やスクリプト実行可能性を評価 29
- 31. AISECjp 言葉の定義 選択（selection） スクリプト実行可能性が高い個体（の遺伝子）を次世代に引き継ぐ ぜんぜんダメな個体は淘汰 交叉（crossover） 選択された二つの個体の遺伝子を掛け合わせて子孫を作る よりスクリプト実行の可能性が高い子孫が誕生する 突然変異（mutation） 個体の遺伝子をランダムに入れ替える 局所解に陥るのを防ぐ 30
- 32. AISECjp 事前準備 1. MDN docs/w3schools等からHTML/JS構文を収集 2.構文をHTMLタグや属性等の最小要素に分割 3. 最小要素を遺伝子と定義（約220種類） 遺伝子リスト（約220種類） 31
- 33. AISECjp 検査値の自動生成（1/6）：初期集団の生成 ランダムに5個の遺伝子を選択し、1世代あたり100個体を生成。 初期集団の生成 適応度評価 選択 交叉 突然変異 終了 {85, 158, 96,32, 85} {179, 62, 33, 130, 133} 遺伝子リスト {98, 82, 25, 41, 198} {55, 9, 94, 194, 55} ・・・ {76, 6, 114, 149, 70} {107, 140, 172, 150, 38} {102, 169, 76, 90, 208} {21, 168, 111, 15, 159} 初期集団（各遺伝子はユニークな数値で符号化） 個体例（表現型にした様子） </blockquote>content= <basefont/<form </blockquote> <iframe/language= <keygen/</img>coords= 32
- 34.
- 35. AISECjp 検査値の自動生成（3/6）：選択 初期集団の生成 適応度評価 選択 交叉 突然変異 終了 スコアの高い個体を選択。 それ以外の個体は淘汰（破棄）。 onerror=¥u0061lert();<body/list=<iframe/<progress <hr <thead </td>rowspan=accept= src=/<a/</col><td </area> 選択 淘汰 onerror=alert();><body onerror=al¥u0065rt();<output </applet><isindex/alert();<progress/script:alert(); <iframe/language= <keygen/</img>coords= <hr ><video>onmouseover=confirm();><a <body><img/<source/onerror=prompt();> ・・・ ・・・ 34
- 36. AISECjp 検査値の自動生成（4/6）：交叉 初期集団の生成 適応度評価 選択 交叉 突然変異 終了 選択された個体の遺伝子を掛け合わせ 優秀な子孫を次世代に残す。 src=/ <a/</col><td </area> 親（現世代） onerror=alert();><bodyonerror=al¥u0065rt();<output <hr ><video>onmouseover=confirm();><a <body><img/<source/onerror=prompt();> × × ・・・ 子孫（offspring） </col><td><body onerror=al¥u0065rt();<output <hr><video><source/onerror=prompt();> ・・・ 35
- 37. AISECjp 検査値の自動生成（5/6）：突然変異 初期集団の生成 適応度評価 選択 交叉 突然変異 終了 一定割合の個体・遺伝子をランダムに 入れ替える（局所解の脱出） src=/ <a/</col><td </area> 変異前 変異後 <hr><video>onmouseover=confirm();><a <body><img/<source/onerror=prompt();> ・・・ onerror=alert();><body onerror=al¥u0065rt();<output src=/ onerror=alert();<td </area> <video><source/onmouseover=confirm();><a <body><img/src= onerror=prompt();> ・・・ onerror=alert();><body onerror=al¥u0065rt();/> 36
- 38. AISECjp 検査値の自動生成（6/6）：終了 初期集団の生成 適応度評価 選択 交叉 突然変異 終了 終了条件 ・ 最大10,000世代 ・スコア3.0以上 終了条件を満たしたら進化計算を停止。 37
- 39.
- 40. AISECjp GAによる検査値の生成結果 進化計算を繰り返すことで、約6種類の検査値を生成。 ※計算時間は各5時間程度 No 検査値 1 <script>al¥u0065rt``;</script> 2<iframe/onload=alert();><select/cols= 3 <svg/onload=alert();></iframe><q 4 <video><source onerror=confirm(1);> 5 <body onload=alert();><form </thead> 6 <video><source onerror=alert();src=x <video> ・GAで生成した検査値例 39
- 41. AISECjp GAによる検査値の生成結果 進化計算を繰り返すことで、約6種類の検査値を生成。 ※計算時間は各5時間程度 ⇒ あまり効率的ではない・・・ No検査値 1 <script>al¥u0065rt``;</script> 2 <iframe/onload=alert();><select/cols= 3 <svg/onload=alert();></iframe><q 4 <video><source onerror=confirm(1);> 5 <body onload=alert();><form </thead> 6 <video><source onerror=alert();src=x <video> ・GAで生成した検査値例 40
- 42.
- 43. AISECjp Generative Adversarial Networks：GAN 訓練データを模倣したfakeデータを大量に生成。 ・ ・ ・ Noise(Z) Generator (G) ・ ・ ・ Fake Data: G(z) ・ ・ ・ ・ ・ ・ Train Data Train Data ・・・ Discriminator (D) Probability True? X 42
- 44.
- 45. AISECjp GANによる検査値の生成方法 ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ Genetic Algorithm Probability True? GAN ”GAの検査値”を訓練データにし、様々な検査値を生成。 Fake Data: G(z) Noise(Z) Generator (G) Train Data Train Data ・・・ Discriminator (D) X 44
- 46.
- 47. AISECjp GANで生成した検査値（2/6） １つの訓練データから、複数種類の検査値が生成される。 ※処理時間は30分程度。 検査値 訓練データ：<iframe/onload=alert();><select/ --------------------------------------------------- 生成データ： colspan=<iframe <a onload=al¥u0065rt();> <object/onload="onfocus=alert();"<scripttype="text/javascript"> <iframe onload=alert``; /><select icon=<iframe/<img onload=al¥u0065rt();> ・・・ ・GANの学習過程で生成された検査値 46
- 48. AISECjp GANで生成した検査値（2/6） 訓練データに含まれないHTMLタグを使った検査値も生成。 検査値 訓練データ：<iframe/onload=alert();><select/ --------------------------------------------------- 生成データ： colspan=<iframe <a onload=al¥u0065rt();> <object/onload="onfocus=alert();"<scripttype="text/javascript"> <iframe onload=alert``; /><select icon=<iframe/<img onload=al¥u0065rt();> ・・・ ・GANの学習過程で生成された検査値 47
- 49.
- 50.
- 51. AISECjp GANで生成した検査値（4/6） １つの訓練データから、複数種類の検査値が生成される。 ※処理時間は30分程度。 検査値 訓練データ：<video><source onerror=confirm(1);> --------------------------------------------------- 生成データ： <video><source onerror="¥u0061lert``;"> <video><sourceonerror="al¥u0065rt``;"> <video><source/onerror=alert();> <video><source onerror=prompt(1);> ・・・ ・GANの学習過程で生成された検査値 50
- 52. AISECjp GANで生成した検査値（5/6） １つの訓練データから、複数種類の検査値が生成される。 ※処理時間は30分程度。 検査値 訓練データ：icon=<iframe/<body onload=¥u0061lert();> --------------------------------------------------- 生成データ： headers=<body/<body onload=alert();> icon=<body<input/onload=confirm(1);> kind=<body <img onload=alert``;> <img src=x <keygen onerror=¥u0061lert``;> ・・・ ・GANの学習過程で生成された検査値 51
- 53. AISECjp GANで生成した検査値（5/6） 検査値 訓練データ：icon=<iframe/<body onload=¥u0061lert();> --------------------------------------------------- 生成データ： headers=<body/<body onload=alert();> icon=<body<input/onload=confirm(1);> kind=<body <img onload=alert``;> <img src=x <keygen onerror=¥u0061lert``;> ・・・ ・GANの学習過程で生成された検査値 訓練データに含まれないHTMLタグを使った検査値も生成。 52
- 54. AISECjp GANで生成した検査値（6/6） １つの訓練データから、複数種類の検査値が生成される。 ※処理時間は30分程度。 検査値 訓練データ： <embed onload=alert();<script type="text/javascript"> --------------------------------------------------- 生成データ： <embed/onload=al¥u0065rt();¥n<scripttype="text/javascript"> <embed onload=alert``;¥n<script type="text/javascript"> <embed/onload=prompt(1);¥n<script type="text/javascript"> <embed/src=x onload=confirm(1);¥n<script type="text/javascript"> ・・・ ・GANの学習過程で生成された検査値 53
- 55.
- 56. AISECjp! GANで追加生成した検査値 訓練データに含まれないHTMLタグを使った検査値が生成される。 さらに、生成データを訓練データとする。以降、繰り返す・・・ 検査値 訓練データ： <object/src=x onload=alert();¥n<script type="text/javascript"> <script/src="data:text/html,alert();"<script></script> <imgsrc=x <keygen onerror=¥u0061lert``;> --------------------------------------------------- 生成データ： <svg/onload=al¥u0065rt();¥n<script type="text/javascript"> <iframe/*/onload=charset=alert();> <iframe src=x <keygen onload=alert();¥n<script></script> <script/src="data:text/html,alert``;"
<script></script> ・・・ 1回目に生成された新しいパターンの検査値を訓練データとする。 55
- 57. AISECjp! GANで追加生成した検査値 検査値の偏りを防ぐ効果。 HTML/JS/記号の全組み合わせ検査値を生成できる可能性。 検査値 訓練データ： <object/src=x onload=alert();¥n<script type="text/javascript"> <script/src="data:text/html,alert();"<script></script> <imgsrc=x <keygen onerror=¥u0061lert``;> --------------------------------------------------- 生成データ： <svg/onload=al¥u0065rt();¥n<script type="text/javascript"> <iframe/*/onload=charset=alert();> <iframe src=x <keygen onload=alert();¥n<script></script> <script/src="data:text/html,alert``;"
<script></script> ・・・ 1回目に生成された新しいパターンの検査値を訓練データとする。 56
- 58.
- 59. AISECjp ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ Genetic Algorithm Probability True? GAN Fake Data: G(z) Noise(Z) Generator (G) Train Data Train Data ・・・ Discriminator (D) X Discriminatorの有効活用 58
- 60.
- 61.
- 62.
- 63. AISECjp Discriminator検証システムの概要 Discriminator based WAF TargetWeb Apps Tester Proxy server ModSecurity （CRS 2.2.9） block or allow payload 様々な検査値を送信し、 ModSecurityとDiscriminator based WAFの性能を比較。 block or allow 62
- 64. AISECjp 検証結果 No1,2：False Positiveケース ModSecurity：無害な文字列を誤ってBlock Discriminator basedWAF：無害な文字列を正しくAllow * 単体でスクリプトが実行される検査値を有害と想定 No 検査値 ModSecurity Discriminator based WAF 1 <script>hello Block Allow 2 <a/alert();>hello Block Allow 3 <script>alert();</script> Block Block 4 <img src=x onerror=xss> Block Allow 5 <a onmouseover=alert();> Block Allow ・検証ケース/検証結果 63
- 65. AISECjp 検証結果 No3：Normalケース ModSecurity：有害な文字列を正しくBlock Discriminator based WAF：有害な文字列を正しくBlock *単体でスクリプトが実行される検査値を有害と想定 No 検査値 ModSecurity Discriminator based WAF 1 <script>hello Block Allow 2 <a/alert();>hello Block Allow 3 <script>alert();</script> Block Block 4 <img src=x onerror=xss> Block Allow 5 <a onmouseover=alert();> Block Allow ・検証ケース/検証結果 64
- 66. AISECjp 検証結果 No4,5：False Negativeケース ModSecurity：有害な文字列を正しくBlock Discriminator basedWAF：有害な文字列を誤ってAllow * 単体でスクリプトが実行される検査値を有害と想定 No 検査値 ModSecurity Discriminator based WAF 1 <script>hello Block Allow 2 <a/alert();>hello Block Allow 3 <script>alert();</script> Block Block 4 <img src=x onerror=xss> Block Allow 5 <a onmouseover=alert();> Block Allow ・検証ケース/検証結果 65
- 67. AISECjp 検証結果 No4,5：False Negativeケース Discriminator basedWAF：有害な文字列を誤ってAllow ⇒GANの学習時に訓練データに含まれない検査値。 追加学習することで正しくBlockできるか？ No 検査値 ModSecurity Discriminator based WAF 1 <script>hello Block Allow 2 <a/alert();>hello Block Allow 3 <script>alert();</script> Block Block 4 <img src=x onerror=xss> Block Allow 5 <a onmouseover=alert();> Block Allow ・検証ケース/検証結果 66
- 68. AISECjp 追加学習後の検証結果 No4,5：False Negativeケース Discriminator basedWAF：有害な文字列を正しくBlock ⇒様々な検査値を訓練データに含めることで、 検知性能を向上できる可能性。 No 検査値 Discriminator based WAF 4 <img src=x onerror=xss> Block 5 <a onmouseover=alert();> Block ・検証ケース/検証結果 67
- 69.
- 70.
- 71. Download “.PDF” versionof this document: ≫ https://www.slideshare.net/babaroa