サイバーセキュリティにおいて、導入が進むAI（機械学習・深層学習）と協働することになるセキュリティ管理者・セキュリティアナリストに求めれる能力・仕事・チームの質の変化について解説するとともに、Operational AIというコンセプトを紹介します。

1. AI（機械学習・深層学習）
との協働スキルと
Operational AIの事例紹介
ビジネス+IT Webセミナー
AI・機械学習を活⽤した セキュリティ対策の実践
2020年11⽉12⽇(⽊) 13:00 – 13:40
国⽴情報学研究所サイバーセキュリティ研究開発センター
特任准教授 安藤類央
WEB公開版 rev.2020.11.12

2. 概要
サイバーセキュリティにおいて、導⼊が進むAI（機械学習・深層学
習）と協働することになるセキュリティ管理者・セキュリティアナリス
トに求めれる能⼒・仕事・チームの質の変化について解説するとともに、
Operational AIというコンセプトを紹介します。
1 AIの超絶能⼒と未来の予⾔
2 Modular(⼈間)とBrittle(AI)
3 AI(予測）との協働
4 仕事・チームの質の変化

3. AIの超絶能⼒と未来の予⾔

4. 最新のAI活⽤事例
• DeepArmor (SparkCognition): 未知の脅威をはらむ危険な
ファイルを削除するために、AI(ニューラルネットワーク等）
と⾃然⾔語処理を組み合わせて活⽤する⽅式を採⽤
• Antigena(DarkTrace): ⼈間の免疫システムから着想を得て脆
弱性を検知し緩和する⽅式を採⽤
• サイバー・グランド・チャレンジ(DARPA 2016): 優勝した
Mayhem(ForAllSecure社)は、⾃らの脆弱性を⾒つけて、それ
にパッチを当てるかどうかの費⽤対効果分析をする。これによ
り、オンライン・オフラインにする判断が⾃動化される。
• ハッキングが⾃動化される世界になりつつあることを同
時に意味する。
【参考】ＨＵＭＡＮ＋ＭＡＣＨＩＮＥ ⼈間＋マシン―ＡＩ時代の８つの融合スキル ポール・Ｒ・
ドーアティ (著), Ｈ・ジェームズ・ウィルソン (著), ⼩林 啓倫 (翻訳)

5. 未来の議論: 情報セキュリティでのAIの超絶能⼒
タスク スキル 戦略的重要性
知能増幅 AIプログラミング、再帰的な⾃⼰改善 システムが⾃律的に⾃⾝の知能を増幅できる
戦略的展開 戦略的策定スキル・予測・⼤局観 ⻑期的⽬標の達成、
巧妙な社会操作 ⼼理学的スキル・⼈⼼操縦・修辞的扇動 ⼈的資源の調達、公的機関の操作
ハッキング 脆弱性発⾒、エクスプロイト ⾦融資産収奪、ハイジャック、乱⽤
技術研究 モデル化、設計スキル、発⾒スキル 軍事⼒増強、監視システム構成
経済的⽣産性 ⽣産⼒の増強 計算機環境の拡⼤による富と経済⼒の創出
このように⾃動運転⾞は、正確な予測が可能で制御された環境以外では機能できなかったが、やがてエンジ
ニアは⾞の運転を予測問題としてとらえなおした。どの状況では何をすべきか機械にいちいち指⽰する代わ
りに、ひとつの予測問題に集中すればよいことを認識したのである。それは「⼈間ならどうするか」という
問題である。
→ ⼈間の振る舞いとして観測できるものはすべて能⼒として⾝に着けることができる。
【参考１】スーパーインテリジェンス 超絶AIと⼈類の命運 ニック・ボストロム (著), 倉⾻ 彰 (翻訳)
【参考２】予測マシンの世紀: AIが駆動する新たな経済 アジェイ アグラワル (著), ジョシュア ガンズ (著),
アヴィ ゴールドファーブ (著), ⼩坂 恵理 (翻訳)

6. サイバネティクスの予⾔者 - Fall of the machines
「完全な従属と完全な知能とは両⽴しません」
サイバネティクスの⽗は、マシンの上昇は時間の問題でしかないことに疑いを
抱いていなかった。
「マシンがどんどん効率的になり、⼼理学的に⾼い⽔準で動作するよう
になれば、マシンによる⽀配という破局が近づきます」
サイバネティクス全史、トマス・リッド、松浦俊輔、作品社
ノーバート・ウィナー
Norbert Wiener
1894-1964 - Wikipedia
“Complete subservience and complete intelligence do not go
together.”The father of cybernetics had no doubt that the rise of the
machines was only a question of time: If the machines become more
and more efficient and operate at a higher and higher psychological
level, the catastrophe of the dominance of the machine comes
nearer and nearer.
Rid, Thomas. Rise of the Machines: A Cybernetic History, W. W.
Norton & Company.

7. 【AIと暗雲】2014年 Staffordshire, England
A: ない。 お腹が痛い。 頭がくらくらする。 (係員が総合診療医の診断について細かく尋ねている間、
Aの荒い息遣いが聞こえる)
B: お話からすると、 救急⾞は必要ありません。 ただ、 別の者からあらためて電話を差し上げます。
A︓救急⾞は来ないのか? すごく痛いんだ。
B︓ええ、おっしゃることはわかりました。 ただ、 私の質問ヘのぁなたのお答えからすると、 救急⾞
は必要ありません。 ただ、 2時間以内にお住いの地域の総合診療医と話していただく必要がありま
す。
A:病院にいかなくちゃいけないの?
B︓いえ、電話のそばにいてください。 温かいお⾵呂に⼊ってもいいですが、 もし倒れたり、意 識を
失ったり、 応答できなくなったり、 失神したり、 寒気がしたり、汗が出たりするような ら 9 9 9に
お電話を。 この回線は空けておいてください。 もし9分以内に総合診療医から電話が来なければ、
そちらからお電話ください。
WE ARE DATA アルゴリズムが「私」を決める
ジョン・チェニー＝リッポルド（著）／⾼取芳彦（訳）／武⾢光裕（解説）

8. Operational AI – AIとの「コミュ⼒」
オペレーター⾃⾝の⼈間としての⾏為主体性は、ただアルゴリズ
ムの⾔葉を翻訳するだけのものに成り下がっていた。システムを
信頼するあまり、オペレーターは落胆した様⼦のヘミングスに
「これを無視することはできないんです。指令室としては、救急
医療隊員に意⾒を聞くことはできますが、システムが間違った答
えを出すことは考えかねます」とまでいっている。
WE ARE DATA アルゴリズムが「私」を決める
ジョン・チェニー＝リッポルド（著）／⾼取芳彦（訳）／武⾢光裕（解説）
The operatorʼs own human agency was demoted to mere algorithmic translation. Her
confidence in the system was such that she even told a deflated Hemmings, “We cannot
override this, and although there are paramedics in the control room for us to ask, I would
not think the system would come up with the wrong answer.”
Cheney-Lippold, John. We Are Data . NYU Press.

9. Modular(⼈間)とBrittle(AI)

10. 剛性という⾔葉で表したいのは、どのような壊れ⽅をするかであり、どのくらい硬いかではない。ダ
イヤモンドは世界⼀硬い物質だが、結晶の層に沿った⾯なら鉄の刃をあててハンマーでたたくだけで
割れる。とても硬いが、剛性が弱点だと⾔える。
ヒスイはあまり硬くないが、靭性を持つ。細かな繊維状の結晶が絡み合った構造をしており、割れる
ことなく加⼯ができる。つまり靭性をもち粘り強いから、複雑な形に加⼯できる。他の材料と組み合
わせて使うこともできる。鉄筋コンクリートも同じ原理。
【参考】「セキュリティはなぜ破られたか」 ブルースシュナイアー
脆弱(fragile, vulnerable)
剛性(brittle)モジュラー(modular)
ガラス
ヒスイ
コンクリート
ダイヤモンド
Modular(⼈間)とBrittle(AI)

11. AIの剛性 – 「派⼿に壊される」
2013年4⽉23⽇
シリア電⼦軍がAP通信社をハッキングする
「Breaking News: ホワイトハウスで２度の爆発があり、
バラク・オバマが負傷」とのツイートを流す。
HFT(超⾼速取引）のAIがこのツイートを解析、
⼤量の株を売りに出す。
３分間で、株式市場全体で1360億円の損害を出した。
HFT(超⾼速取引）のAI: ⾼速なクローリングと
⾃動化された推論によって市場の揺れに反応し、
株取引を⾏う。
例︓トムソン・ロイターのHFTアルゴリズム
５万のニュースソースと400万のソーシャル
メディアサイトをスキャンし、毎秒何兆回の
計算を⾏い、取引は50万分の1秒もかからずに
⾏える。
AP通信社のツイートは「Breaking」で始まるが、
シリア電⼦軍のツイートは「breaking」で始まっ
ていた。
100万分の何秒で測られ、指数関数的に加速する
世界では、アルゴリズムが暴⾛すると⼈間に介⼊
する時間はない。

12. Modularity – 臨機応変な組み合わせが可能
❑技術⾰新は⼤きな付加価値をもたらすが、同時に固定的で剛性が⾼く、想定され
たものにしかケースをもたらす場合が多い。それに対して⼈は柔軟で靭性が⾼く、
障害時にもうまく崩れていく。
❏軍隊や情報機関は、このことをよく理解しており、ハイテク機器を⼭のように持
つが、指揮系統の中⼼には⼈がおり、意思決定は必ず⼈がする。
❑ “Security is all about people” - すぐれたセキュリティの核には⼈間がいる。
⼈は靭性が⾼い。果ての国では、⼈はセキュリティインシデントに対して、臨機
応変に協⼒し、靭性(reliability)を発揮せざるを得ない状況がある。
❏⼈間は、臨機応変の協⼒ができる。創造性がある。新しい対策をその場で考え出
せる。受動的失敗に気づき、回復を試みることもできる。
【参考】「セキュリティはなぜ破られたか」 ブルースシュナイアー ⽇経BP社

13. Modularityの設計⽅針 - ⼈間が中⼼、AIが周辺
❑セキュリティはトレードオフ（程度）の問題であり、あくまで主観的なもの
（関係者の思惑が絡むため）。
❑【帰無仮説の証明】ある対策やシステムのセキュリティが万全だと証明する
ことは不可能である。不完全だと証明できるか、証明に失敗するしかありえな
い。そのため、システムの評価は⼈間が繰り返し⾏うしかない。
❑対応が決まっている防御より、変化にすばやく対応する臨機応変な防御の⽅
がセキュリティが⾼い。特に突発的なインシデントやサイバーテロに関しては
⼈間の「創発特性」が必要になる。
「セキュリティはなぜ破られたか」 ブルースシュナイアー ⽇経BP社

14. AIと機械学習に関する（専⾨的な）証⾔
ハイパーパラメーターチューニング – ⾃動調整
• ランダムサーチよりも洗練されたハイパーパラメータの最適化
アルゴリズムのほとんどに共通する⽋点の１つは、学習を完了
するまではそこからの情報をまったく抽出できないという点に
ある。
• これは、実験の初期に得られる情報量という観点で、⼈間の専
⾨家による⼿動検索よりもずっと効率が悪い。
• なぜなら、⼿動検索の⽅は⼀部のハイパーパラメータがまった
く役に⽴たないかどうかを早期に知ることが可能だからである。
深層学習, Ian Goodfellow, Yoshua Bengio, Aaron Courville,
ASCII Dwango 2018

15. AI(予測マシン）との協働

16. 【事例】制御から予測へ – ⾃動運転
• 通常、制御問題はIF（場合分け）を使って実装する。
• しかし、通常の街路で⾃動⾞運転を使うのは不可能だった。あまり
にも多くのことが発⽣する可能性があって、あまりにも多くの「イ
フ」をコード化しなければならなかったからだ。
• このように⾃動運転⾞は、正確な予測が可能で制御された環境以外
では機能できなかった。
• しかし、エンジニアは⾞の運転を制御問題としてとらえなおした。
どの状況では何をすべきか機械にいちいち指⽰する代わりに、ひと
つの予測問題に集中すればよいことを認識したのである。それは
「⼈間ならどうするか」を予測するという問題である。
• そしていまでは、街路やハイウェイなど⾮制御環境で⾃動運転する
⽅法を機械に訓練するため、複数の企業が何⼗億ドルもの投資を
⾏っている。
予測マシンの世紀: AIが駆動する新たな経済 アジェイ アグラワル (著), ジョシュア ガンズ (著),
アヴィ ゴールドファーブ (著), ⼩坂 恵理 (翻訳)

17. AI – 予測マシンの時代
• 何か基本的なものの価格が⼤きく下がるときには、世界全体が変
化する可能性がある。（昔では、照明がAIにあたる）。
• 予測マシンはスケールする。予測の頻度が増えれば、予測当たりの単位コス
トは下がっていく。
• エクセルのスプレッドシート（関数プログラミング） まとめて⾔うと、予測は⾻の折れるイ
やな仕事で、しかも⾃信なさげにやるものだった。でも、表計算ソフトが侵略してきて、も
のごとは変わった。コンピュータが使える⼈の⼿にエクセルを渡せば、苦もなく、際限もな
く予測ができるのだ︕
• その結果私たちはソヴィエト時代のロシア⼈よりひどい予想屋になった。⾃分の知識をちゃ
んと扱えない連中の⼿にコンピュータ・プログラムが渡ったからだ。
→ 予測が安価に⼊⼿できるようになったが、間違ったモデル化が増えるようになった︖︖
予測マシンの世紀: AIが駆動する新たな経済 アジェイ アグラワル (著), ジョシュア ガンズ (著),
アヴィ ゴールドファーブ (著), ⼩坂 恵理 (翻訳)

18. AIとの協働② – パターンマッチの例
• パターンマッチ - もともとは⽣物のサバイバル技術のため、ランダムな視覚データから
パターンを⾒つける能⼒として⾝につけた。
• 【⼈間の積極的誤警報】パターンマッチの能⼒が過剰になり、本当はパターンのないと
ころにもパターンを⾒てしまうようになった。我々の祖先の⾒たものはライオンではな
かったのかも知れない。しかし、この能⼒において、誤報は⼈が⽣き残るのに有効であ
る。後悔するより⽣き残れるほうがいい。
• 【⼈間の能動的誤警報】⼈間は、ランダムなデータからパターンを読み取れる反⾯、均
⼀なデータから例外を読み取ることは難しい。製造ラインから次々と出てくる⻭⾞から
狂いのある⻭⾞を⾒つけることは難しい。どの⻭⾞も同じだと脳が判断してしまい、注
意を払う必要性がなくなってしまう。⼈間は、ごくまれにしか起きないことに注意を払
い続けることができない。
• このような場合、⼈間と機械を組みわせる。単⼀な繰り返し作
業は、均⼀なデータから例外を拾い出すことを得意とする機械
にやらせ、最終決定を⼈間がするのだ。
• 【参考】「セキュリティはなぜ破られたか」 ブルースシュナイアー

19. AIと機械学習に関する（専⾨的な）証⾔
因果関係と相関関係
• 深層学習でできないことは何百種類もあり、因果関係はその１つです。他にも課
題はたくさんあります。説明可能性が⼗分でないこと、悪意ある攻撃に対する防
御が必要であること。- アンドリュー・エン ライディングAI社CEO/スタン
フォード⼤学特任教授
• 因果的推論を得るためには因果的過程が必要ですが、それはデータだけから得ら
れるものではありません。 - ジュディア・パール UCLA教授
• 相関関係は必ずしも因果関係を意味しないという事実は、観測データから世界の
背後にある因果構造を観測することの難しさを⽰す際によく引き合いにだされま
すが、⼈間はそれをやってのけるのです。- ジョシュア・テネンバウム MIT計算
論的認知 科学教授

20. 協働のポイント②︓追認の誤りと七⾯⿃問題
NTP reflection
attack
DNS open resolver
exploit
Memcached DDOS
attack
2013 2014 2018AIでの類推は可能︖
Understanding the Mirai Botnet (Usenix Sec
2017) 2016.08 – 2017.02
http://www.blackswanreport.com/blog/2013/11/happy-
thanksgiving-everyone/

21. 仕事・チームの質の変化

22. 最近の議論: AI制御問題
能⼒制御 オラクル ジーニー ゾブリン ツール
閉じ込めメソッド 物理的・情報的に隔離する 〇 △ × 〇
インセンティブ・メソッド 報酬や誘因で制御する ×
能⼒スタンティング・メソッド 認知能⼒・アクセス能⼒を制限する ×
トリップワイヤー・メソッド 診断テストをする ×
動機づけ選択
直接的指定 動機付けを直接指定する
馴化性 AIが野⼼や冒険をしないようにする 〇 △ ▲
間接的規範 規範を定義する ▲ 〇 〇
増強アプローチ ⼈間的な利他的動機を指定する × × ▲
賢くなるほど制御が効かなくなる
⼀⽅、ナイーブなものは柔軟な制御ができない
→つまり、⼈間によるバランス取りはこれからも不可⽋である。
【参考】スーパーインテリジェンス 超絶AIと⼈類の命運 ニック・ボストロム (著), 倉⾻ 彰 (翻訳)

23. （加速度的に賢くなる）⼈⼯知能との協働
■⼈間にできて、AIにできないことはあるか︖
→(振る舞いが観測できるものに関しては）ない。
■（超絶普遍）⼈⼯知能を⼈間は完全に制御することが
できるか。
→ほぼ不可能。
■サバイバル（資源、⾷料、安全を確保する、お⾦を得
る、システムを守る）⽅法は変わるか︖
→ほぼ変わらない。

24. マシンの競争よりも⼈間の協⼒を
• 北朝鮮と韓国があれほど異なるのは、ピョンヤンの⼈
がソウルの⼈とは違う遺伝⼦を持っているからでもな
ければ、北の⽅が寒くて⼭が多いからでもない。
• 現状のところ、北朝鮮と韓国が、⾮常に異なる物語を
持っているから。
• ある⼟地に住んでいる⼈間（サピエンス）全員が同じ
物語を信じている限り、彼らは同じ規則に従うので、
⾒知らぬ⼈の⾏動を予測して、⼤規模な協⼒のネット
ワークを組織するのが簡単になる。
ホモ・デウス: テクノロジーとサピエンスの未来 ユヴァル・ノア・ハラリ(著), 柴⽥裕之(翻訳)

25. ミッシングミドル - 訓練者、維持者、説明者のチーム
主導 共感
想像 判断
増幅維持
説明
訓練
具現化
相互作⽤ トランザクション
反復 適応予測
⼈間 機械
White Swan
Pascalʼs wager
⽇常業務で定常的に（地道に）
訓練、維持、説明を⾏う

26. 機械との協働には想像⼒が不可⽋
主
導
共
感
想
像
判
断
増
幅
維
持説
明
訓
練
具現
化
相互
作⽤
トランザク
ション
反
復
適
応
予
測
⼈間 機械
例︓緊急時、安全に避難
できる⾮常⼝の数を数え
るのが安全対策。
⾮常⼝を封印して建物に
⽕をかけ、暴⼒をする者
がいると考えるのが
セキュリティ。
例：「爆弾をしけかたと
電話で脅してから
ネットワークを攻撃して
きたらどうなるのか？」
【参考】ＨＵＭＡＮ＋ＭＡＣＨＩＮＥ ⼈間＋マシン―ＡＩ時代の８つの融合スキル ポール・Ｒ・ドーアティ (著), Ｈ・ジェームズ・ウィルソン (著),
⼩林 啓倫 (翻訳)
【参考】「セキュリティはなぜ破られたか」
ブルースシュナイアー
• 偶発的障害ではなく、知性が⾼く悪意のある⼈物がいて、⼀番困るタイミングと形で
システムに障害を引き起こすのがセキュリティ。
• 機内持ち込みにナイフが間違って⼊っても⾒つけられると考えるのが安全対策。
隠して持ち込もうと考えるのがセキュリティ。
• 緊急時、安全に避難できる⾮常⼝の数を数えるのが安全対策。
• ビルに⽕をつけて殺⼈を⾏うものがいると考えるのがセキュリティ。

27. 「補完材」としての⼈間の判断
• サイバーセキュリティにおいて、⼈間の代わりにAIが
登場する機会が増えてくると、⼈間による予測の価値
は減少する。
• しかし、いかなる決断においても予測は中⼼的な要素
ではあっても、唯⼀の構成要素ではないことを忘れて
はいけない。
• AIは判断を提供しない。判断するのは⼈間だけだ。⼈
間だけが、異なる⾏動をとった場合に得られる報酬の
違いを相対的に⽐較できる。
• 予測の精度が上がるほど補完材としての判断の価値は
⾼くなる。
予測マシンの世紀: AIが駆動する新たな経済 アジェイ アグラワル (著), ジョシュア ガンズ (著),
アヴィ ゴールドファーブ (著), ⼩坂 恵理 (翻訳)

28. 【私⾒】仕事がなくなる︖ - 投⾼打低の例から
■予測のコストが下がり、判断の価値が⾼まる。
■１つのインシデントに対して、判断の数／予測の数の割合は⼩さ
くなっていく。
■あまり点の⼊らないスポーツ（サッカー）や、野球でいうと投⾼打低の
ようなイメージ。
■しかし、野球でプレーの質（投⾼打低）が変わっても９⼈が５⼈に
なることはない。

29. 【私⾒】求められる⼈材
■「攻撃者」とは何か、知っている⼈︓AIは、「勝負」や「恐怖」を
理解しているわけではない。（なので派⼿に壊れる）
■「⼿⼊れ」が好きな⼈: システムのModularityを維持できる⼈。
■「時間稼ぎ」ができる⼈: 鉄壁の守り – ⼀時期のイタリアのサッ
カーのプレイスタイル。
■「⾵任せ」な⼈︓柔軟にタスクを変えられる⼈。

30. 神話、機械、⼈間 – 仕事がなくなる︖
iPad
【参考】ホモ・デウス テクノロジーとサピエンスの未来 ユヴァル・ノア・ハラリ(著), 柴⽥裕之(翻訳)
ピラミッドからヨーロッパの美しい⼤聖堂まで、どれもこれも幾
何学的に洗練されているように⾒える。
すると、だまされやすいわたしたちは、例外なんてどれもあちこ
ちにあるのに、美しい建築物が建てられたのは数学と関連する技
術のおかげだと信じこんでしまう傾向がある。
実際のところ、エジプト⼈がファイユームの湖とピラミッドを建
設できたのは、地球外⽣物の助けがあったからではなく、卓越し
た組織⼒をもっていたからだ。
ファラオは読み書きのできる何千もの官吏を頼みに、何万もの労
働者と、彼らを何年も続けて養える⾷料を調達できた。何万⼈も
の労働者が、当時の古代エジプトの神々の物語を共有し、数⼗年
にわたって協⼒すれば、⽯器を使ってでさえ、⼈造湖やピラミッ
ドを建築することが可能だ。
Pyramid

31. まとめ
サイバーセキュリティにおいて、導⼊が進むAI（機械学習・深層学
習）と協働することになるセキュリティ管理者・セキュリティアナリス
トに求めれる能⼒・仕事・チームの質の変化について解説するとともに、
Operational AIというコンセプトを紹介しました。
1 AIの超絶能⼒と未来の予⾔
2 Modular(⼈間)とBrittle(AI)
3 AI(予測）との協働
4 仕事・チームの質の変化

32. 付録︓Operational AIと
プリンシパル・エージェント問題(2)
プリンシパル・エージェント問題(1) プリンシパル・エージェント問題(2)
発⽣主体 ⼈的主体 対 ⼈的主体 ⼈的主体 対 ⼈⼯知能
中⼼技術 センサー制御技術、HCI 広義の知能の⾝体化
設計⽬標 学習と予測 常識と創造性
実装⼿段 機械学習・深層学習 強化学習・普遍⼈⼯知能
発⽣段階 主に開発段階で発⽣ 主に運⽤段階（ブートストラップ段階）で発⽣
解決策 通常の実装・管理テクニックが適⽤可能 まったく新しい実装・管理テクニックが必要
■AIをどう開発するかではなく、AIをどう運⽤・管理するかが問題になってくる。
■プリンシパル・エージェント問題(2)とは、
AIとどのようにつきあっていくかという問題である。
■Operational AI – ⼈間の運⽤・管理に適したAI
【参考１】スーパーインテリジェンス 超絶AIと⼈類の命運 ニック・ボストロム (著), 倉⾻ 彰 (翻訳)