Gartner 「セキュリティ＆リスクマネジメントサミット 2019」- 安藤
•
0 likes•41 views
特異点（シンギュラリティ）上のプロメテウス ～AI創発特性時代のサバイバル術～ Gartner 「セキュリティ＆リスクマネジメントサミット 2019」 2019年8月５日(月）10:30-11:30 国立情報学研究所 サイバーセキュリティ研究開発センター 安藤類央
![風はろうそくの火を消すが、炎を燃え上がらせる。
それは、ランダム性、不確実性、無秩序も同じだ。それから
隠れるのではなく、利用しなければいけない。炎になって、
風が吹くことを期待するのだ。
反脆弱性[上]――不確実な世界を生き延びる唯一の考え方
ナシーム・ニコラス・タレブ (著), 望月 衛 (監修), 千葉 敏生
(翻訳)
Wind extinguishes a candle and energizes fire.
Likewise with randomness, uncertainty, chaos:
you want to use them, not hide from them. You
want to be the fire and wish for the wind. This
summarizes this author’s nonmeek attitude to
randomness and uncertainty.
Taleb, Nassim Nicholas. Antifragile (Incerto) .
実存の危機は、実存の好機でもある。
- Wikipedia](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
More Related Content
More from Ruo Ando
More from Ruo Ando (20)
Gartner 「セキュリティ＆リスクマネジメントサミット 2019」- 安藤
- 1. 特異点（シンギュラリティ）上の プロメテウス ～AI創発特性時代のサバイバル術～ Gartner 「セキュリティ＆リスクマネジメントサミット 2019」 2019年8月５日(月）10:30-11:30 国立情報学研究所 サイバーセキュリティ研究開発センター 安藤類央
- 2. 風はろうそくの火を消すが、炎を燃え上がらせる。 それは、ランダム性、不確実性、無秩序も同じだ。それから 隠れるのではなく、利用しなければいけない。炎になって、 風が吹くことを期待するのだ。 反脆弱性[上]――不確実な世界を生き延びる唯一の考え方 ナシーム・ニコラス・タレブ (著), 望月 衛 (監修), 千葉 敏生 (翻訳) Wind extinguishes a candle and energizes fire. Likewise with randomness, uncertainty, chaos: you want to use them, not hide from them. You want to be the fire and wish for the wind. This summarizes this author’s nonmeek attitude to randomness and uncertainty. Taleb, Nassim Nicholas. Antifragile (Incerto) . 実存の危機は、実存の好機でもある。 - Wikipedia
- 3. 概要 ■果ての国がやって来る - the World of Extremistan ■AI創発特性時代 – Rise of machines ■サバイバル術①:例外予測 – Prediction by exception ■サバイバル術②:反脆弱性 - Antifragile ■サバイバル術③:靭性 – Resilience and fictions 深層・強化学習などのAI技術の急激な普及により、人間に対してAIが創発特性を 発揮するケースが出てきています。本セッションでは、情報セキュリティの現場 にいる人とAIの関係の変容を、特異点（AIに関する急激なイノベーションが起き る時点）に焦点を当て、①創発特性、②予測コスト、③半脆弱性という３つのコ ンセプトから解説します。また、複雑化したAIリスクを非対称性やオプション性 により対処する方法論を紹介します。
- 4. 月並みの国 Mediocristan 果ての国 Extremistan ペイオフと影響:小 - シンプル Payoff/exporure - simple ペイオフと影響:大 – 複雑 Payoff/exposure - complex 既知の未知 Known-unknown 既知の既知 Known-known 未知の既知 Unknown-known 未知の未知 靭性 (Resiliency) 例外予測 (Prediction by exception) 反脆弱性(AntiFragile)
- 5. 本セッションで扱うリスク • 脅威①:脆弱性を利用した攻撃（ハッキング）の成否ではなく、 これらのインシデントによる時系列データの急激な変化を対象 にします。例、株価の急激な乱高下、トラフィックの激増等 • リスク①:時系列データの急激な変化による経済的なダメージ または破綻 • 脅威②:AIそのものへの攻撃ではなく、AIの誤用による人間・ システムの防御の低下（危殆化・脆弱化）を対象にします。 • リスク②:これによる人間への負の創発特性・実存論的危機、 ビジネス競争での劣勢、業界から「吹き飛ぶ」
- 6. 果ての国がやって来る the World of Extremistan
- 7. 月並みの国 Mediocristan 果ての国 Extremistan ペイオフと影響:小 - シンプル Payoff/exporure - simple ペイオフと影響:大 – 複雑 Payoff/exposure - complex 既知の未知 Known-unknown 既知の既知 Known-known 未知の既知 Unknown-known 未知の未知 靭性 (Resiliency) 例外予測 (Prediction by exception) 反脆弱性(AntiFragile)
- 10. 2008-2018 “Brown-up” in the World of Extremistan 2008 Flash Crash Lehman shock 2013 2010 Syrian Electronic Army Twiter Hacking ($1,256,232,000 in 3min) 2013 DNS DDoS (300 Gbps) 2014 Mirai attacks on Krebs blog (620Gbps) 2015 NEM in Coincheck Stealed $535 million 2016 Bitcoin in Mt.Gox Stealed ($720,00,000) 2014 NTP DDoS (300Gbps) 2016 Tensorflow(OSDI) 2018 AlphaGO beats World’s champ 2012 Sony Playstation Hacked ($171 million) 2011 Supervision wins in ILSVRC
- 11. 【吹き飛ぶ】大規模化する情報漏洩事件 「科学者たちが100万倍も知能 を高め、100万倍も速く作業す れば、１時間で１世紀分の進展 が見られることになる。」 - シンギュラリティは近い レ イ・カーツワイル ① 2007年のTJマックスのハッキング:4500万人の顧客と金融 データに影響。 ②2011年 ソニーのプレイステーションネットワークのハッキン グ: 7700万人のクレジットカード番号と個人情報が流出。被害は 10億ドルを越えると推定される。 ③2013年 クリスマス商戦時に、ロシアの17歳のハッカーが 米国のターゲット社のネットワークに侵入。1億1千万以上の口座か らデータを盗む。 ④2014年 ロシアのハッキング集団が、42万のWebサイトから 12億人分のユーザ名、パスワードなどを窃盗。 AIの発達に伴い、犯罪がアルゴリズムを実装したスクリプトで行われ、 自動化により必要な人手やコストは小さくなり、効果が大きくなって しまうケースが多くなる。 「自動化も脆弱性を悪化させる 一因となる。さらに、自動化は 攻撃者の友である。５円硬貨を 手づくりで偽造するという攻撃 は心配するほどのことではない。 しかし、これにコンピュータが 加わると様相が一変する。」 - セキュリティはなぜ破られた か ブルース・シュナイアー サイバー金融犯罪は特にこの傾向が強くなる
- 13. ■2014年 渋谷にあるビットコイン交換所マウントゴックスにて、4億7000千万円分のビットコインが一 晩で盗まれた。 ■2018年１月下旬、仮想通貨NEMの取引所大手コインチェックから、580億円相当の通貨が盗まれた。 ネムを不正取得した犯人のものとみられる口座から、米国など２カ所の仮想通貨取引所に新たに送金が行われ ていたことが１日、ネムの発展・普及を目指す国際団体「ネム財団」への取材で分かった。 コインチェックは流出事件による利用者への返金分約４６０億円を、自己資金で支払ったといわれる。 創業して４年のベンチャー企業が４００億円超の資金を保有していた。 http://www.sankei.com/affairs/news/180201/afr1802010061-n1.html 【吹き飛ぶ】大規模化するサイバー犯罪 ■2016年にドイツのThe DAOがreentrancy問題という脆弱性を突かれ、52億円の仮想通貨が盗まれる。 ■2017年6月にJaxxのクライアントアプリの脆弱性を利用され、4,000,000ドル相当の通貨が盗まれる。 ■2017年7月: 韓国の暗号通貨取引所Bithumbがハッキングされる。被害者の数は100人、被害総額は数百 万ウォン。
- 14. AI創発特性時代 RISE OF THE MACHINES
- 15. 月並みの国 Mediocristan 果ての国 Extremistan ペイオフと影響:小 - シンプル Payoff/exporure - simple ペイオフと影響:大 – 複雑 Payoff/exposure - complex 既知の未知 Known-unknown 既知の既知 Known-known 未知の既知 Unknown-known 未知の未知 Unknown-unknown 靭性 (Resiliency) 例外予測 (Prediction by exception) 反脆弱性(AntiFragile) 創発特性時代
- 17. AI創発特性時代 – Alpha碁先生 • 加藤「この手、プロ棋士がみんな絶賛し ていましたね」 • 大橋「もうこのときはアルファ碁に信用 があったので、「なるほど、こんな手が あるか」と思いました。他のプロ棋士も そういう感想だったと思います。このあ たりからだんだん、みんなが「アルファ 碁先生」って呼び始めたんですよね （笑）。アルファ碁の強さを、誰もが認 めるようになってきた。」 【参考】人工知能はどのようにして 「名人」を超えたのか?―――最強の将棋AIポナンザの 開発者が教える機械学習・深層学習・強化学習の本質 山本 一成 囲碁AIが、人間には思いもよらない革新的な 手を指すようになる
- 18. 情報セキュリティでのAIの超絶能力 タスク スキル 戦略的重要性 知能増幅 AIプログラミング、再帰的な自己改善 システムが自律的に自身の知能を増幅できる 戦略的展開 戦略的策定スキル・予測・大局観 ⾧期的目標の達成、 巧妙な社会操作 心理学的スキル・人心操縦・修辞的扇動 人的資源の調達、公的機関の操作 ハッキング 脆弱性発見、エクスプロイト 金融資産収奪、ハイジャック、乱用 技術研究 モデル化、設計スキル、発見スキル 軍事力増強、監視システム構成 経済的生産性 生産力の増強 計算機環境の拡大による富と経済力の創出 このように自動運転車は、正確な予測が可能で制御された環境以外では機能できなかったが、やがてエンジ ニアは車の運転を予測問題としてとらえなおした。どの状況では何をすべきか機械にいちいち指示する代わ りに、ひとつの予測問題に集中すればよいことを認識したのである。それは「人間ならどうするか」という 問題である。 → 人間の振る舞いとして観測できるものはすべて能力として身に着けることができる。 【参考１】スーパーインテリジェンス 超絶AIと人類の命運 ニック・ボストロム (著), 倉骨 彰 (翻訳) 【参考２】予測マシンの世紀: AIが駆動する新たな経済 アジェイ アグラワル (著), ジョシュア ガンズ (著), アヴィ ゴールドファーブ (著), 小坂 恵理 (翻訳)
- 19. AI制御問題 能力制御 オラクル ジーニー ゾブリン ツール 閉じ込めメソッド 物理的・情報的に隔離する 〇 △ × 〇 インセンティブ・メソッド 報酬や誘因で制御する × 能力スタンティング・メソッド 認知能力・アクセス能力を制限する × トリップワイヤー・メソッド 診断テストをする × 動機づけ選択 直接的指定 動機付けを直接指定する 馴化性 AIが野心や冒険をしないようにする 〇 △ ▲ 間接的規範 規範を定義する ▲ 〇 〇 増強アプローチ 人間的な利他的動機を指定する × × ▲ 賢くなるほど制御が効かなくなる 一方、ナイーブなものは柔軟な制御ができない 【参考】スーパーインテリジェンス 超絶AIと人類の命運 ニック・ボストロム (著), 倉骨 彰 (翻訳)
- 20. 人間がサバイバルできた理由は何か? アインシュタイン Einstein 一般人 Human チンパンジー Chimpanzee マウス Mouse アメーバ Ameba 超絶・普遍人工知能 Super intelligence Universal general intelligence 知能レベル 人間中心主義の考えで見ると、一般人と 天才（アインシュタイン）の間には相当な 開きがあると思われるかもしれない。 しかし、もう少し視野の広い見方で考えれば、 一般人と天才の頭の差は、人工知能からは、 区別のつけようのない近似である。 スーパーインテリジェンス 超絶AIと人類の命運 単行本 – 2017/11/25 ニック・ボストロム (著), 倉骨 彰 (翻訳)
- 21. サバイバルと実在論的危機 - Rise of the machines 「完全な従属と完全な知能とは両立しません」 サイバネティクスの父は、マシンの上昇は時間の問題でしかないことに疑いを 抱いていなかった。 「マシンがどんどん効率的になり、心理学的に高い水準で動作するよう になれば、マシンによる支配という破局が近づきます」 サイバネティクス全史、トマス・リッド、松浦俊輔、作品社 ノーバート・ウィナー Norbert Wiener 1894-1964 - Wikipedia “Complete subservience and complete intelligence do not go together.”The father of cybernetics had no doubt that the rise of the machines was only a question of time: If the machines become more and more efficient and operate at a higher and higher psychological level, the catastrophe of the dominance of the machine comes nearer and nearer. Rid, Thomas. Rise of the Machines: A Cybernetic History, W. W. Norton & Company.
- 22. オペレーター（人間） オペレーター自身の人間としての行為主体性は、ただアルゴリズ ムの言葉を翻訳するだけのものに成り下がっていた。システムを 信頼するあまり、オペレーターは落胆した様子のヘミングスに 「これを無視することはできないんです。指令室としては、救急 医療隊員に意見を聞くことはできますが、システムが間違った答 えを出すことは考えかねます」とまでいっている。 WE ARE DATA アルゴリズムが「私」を決める ジョン・チェニー＝リッポルド（著）／高取芳彦（訳）／武邑光裕（解説） The operator’s own human agency was demoted to mere algorithmic translation. Her confidence in the system was such that she even told a deflated Hemmings, “We cannot override this, and although there are paramedics in the control room for us to ask, I would not think the system would come up with the wrong answer.” Cheney-Lippold, John. We Are Data . NYU Press.
- 23. 例外予測 Data mining is plastic art
- 24. 月並みの国 Mediocristan 果ての国 Extremistan ペイオフと影響:小 - シンプル Payoff/exporure - simple ペイオフと影響:大 – 複雑 Payoff/exposure - complex 既知の未知 Known-unknown 既知の既知 Known-known 未知の既知 Unknown-known 未知の未知 靭性 (Resiliency) 例外予測 (Prediction by exception) 反脆弱性(AntiFragile)
- 25. 制御から予測へ – 自動運転を例に • 通常、制御問題はIF（場合分け）を使って実装する。 • しかし、通常の街路で自動車運転を使うのは不可能だった。あまり にも多くのことが発生する可能性があって、あまりにも多くの「イ フ」をコード化しなければならなかったからだ。 • このように自動運転車は、正確な予測が可能で制御された環境以外 では機能できなかった。 • しかし、エンジニアは車の運転を制御問題としてとらえなおした。 どの状況では何をすべきか機械にいちいち指示する代わりに、ひと つの予測問題に集中すればよいことを認識したのである。それは 「人間ならどうするか」という問題である。 • そしていまでは、街路やハイウェイなど非制御環境で自動運転する 方法を機械に訓練するため、複数の企業が何十億ドルもの投資を 行っている。 予測マシンの世紀: AIが駆動する新たな経済 アジェイ アグラワル (著), ジョシュア ガンズ (著), アヴィ ゴールドファーブ (著), 小坂 恵理 (翻訳)
- 26. （AIの）予測コストの低下とその影響 • 何か基本的なものの価格が大きく下がるときには、世界全体が変化する可能性がある。たと えば照明について考えてほしい。 → 照明が増えて、目の悪い人が増えた?? • 予測マシンはスケールする。予測の頻度が増えれば、予測当たりの単位コス トは下がっていく。 • エクセルのスプレッドシート（関数プログラミング） まとめて言うと、予測は骨の折れるイ やな仕事で、しかも自信なさげにやるものだった。でも、表計算ソフトが侵略してきて、も のごとは変わった。コンピュータが使える人の手にエクセルを渡せば、苦もなく、際限もな く予測ができるのだ! • その結果私たちはソヴィエト時代のロシア人よりひどい予想屋になった。自分の知識をちゃ んと扱えない連中の手にコンピュータ・プログラムが渡ったからだ。 → 予測が安価に入手できるようになったが、間違ったモデル化が増えるようになった?? 予測マシンの世紀: AIが駆動する新たな経済 アジェイ アグラワル (著), ジョシュア ガンズ (著), アヴィ ゴールドファーブ (著), 小坂 恵理 (翻訳)
- 27. 予測の本来の役割 – 身代わりと例外 Precition – conjecture and exception ❑将来を予測し、事実とは違うシナリオを進めることだ。そんなことをして どんないいことがあるかというと、原始的かつ本質的な意味として、１つに は、私たち自身の代わりにそういう予測に死んでもらえるというのがある。 Nassim Nicholas Taleb ブラック・スワン―不確実性とリスクの本質 ❏What is the most potent use of our brain? It is precisely the ability to project conjectures into the future and play the counterfactual game—“If I punch him in the nose, then he will punch me back right away, or, worse, call his lawyer in New York.” One of the advantages of doing so is that we can let our conjectures die in our stead. Taleb, Nassim Nicholas. The Black Swan: Second Edition: The Impact of the Highly Improbable (Incerto) . - Wikipedia - Wikipedia
- 28. Data mining is plastic art ❑デー夕マイニングは通常、 バックグラウンドノイズの海の中から情報の塊を見つけ出す 行為だと考えられる。 しかし、この比喩は完全に問違っている。 ❑データマイニ ングは本質的に造形芸術なのだ。 媒体の形状そのもの、 バックグラウンド・ ノイズそのものに反応するからだ。 データマイニングは関係の純粋な形を定める。 WE ARE DATA アルゴリズムが「私」を決める ジョン・チェニー＝リッポルド（著）／高取芳彦（訳）／武邑光裕（解説） - Wikipedia Data mining is often considered in terms of location and extraction of nuggets of information from a sea of background noise. But this metaphor is entirely wrong. Data mining is essentially a plastic art, for it responds to the sculpture of the medium itself, to the background noise itself. It valorizes the pure shape of relationships. Cheney-Lippold, John. We Are Data . NYU Press.
- 29. 身代わりと例外予測 conjecture & prediction by exception AIでモデル化可能なインシデントの集合 Incidents modeled by AI 実際に起きたインシデントの集合 incidents actually happened インシデントを引き起こす（ゼロデイも含む）脆弱性と原因の集合 Whole threat factors 身代わり - conjecture 例外予測 Prediction by exception THIS!
- 30. 例外予測 (Prediction by exception) • 予測に関しては、機械にも人間にもどちらにも⾧所と短所がある。様々に異なる 指標のなかから複雑な相互作用を見つけ出す作業に関しては、データが豊富な時 には機械は素晴らしい結果を出す。 • 予測マシンの大きな⾧所の１つは、人間にはかなわないほどの規模でスケールす る点だ。 • 一方、過去のデータをあまり収集できない稀なケース、欠けているデータが重要 なケース、そして創発特性が起きるケースに関しては、予測に苦労する点は、短 所に数えられる。 • このような⾧所と短所を考えると、人間と機械が協力する場合には、「例外予 測」の形をとることが多いと考えられる。 • 機械はデータが限られるとうまく予測ができない。限界が生じるのは、事象の発 生頻度が低いときや、因果推論の問題が生じるとき。 予測マシンの世紀: AIが駆動する新たな経済 アジェイ アグラワル (著), ジョシュア ガンズ (著), アヴィ ゴールドファーブ (著), 小坂 恵理 (翻訳)
- 31. 生存機に関する講釈の誤り – 生存バイアス 「生存機なんだからこれを参考に強化したらいいのではないか。」 ❏第二次大戦における連合軍の空爆について、エンジニアはドイツへの爆撃 から戻ってきたすべての爆撃機を対象に、対空砲火の球が命中した場所を調 査した。 ❏飛行機の弾痕は彼らにとっての（ほぼ唯一の）データだった。 ❏統計学者のエイブラハム・ウォードは、弾痕については無視して飛行機を 防御すべきだと言った。 ❏一部の爆撃機は攻撃から戻ってこないことを認識し、帰還できなかった飛 行機が弾を受けた場所こそ致命的なのではと推測したのだ。 →墜落してしまった爆撃機のデータを手に入れることはできない。 →モデリングがなければ、「未知の既知」の罠に簡単にはまってしまう。 予測マシンの世紀: AIが駆動する新たな経済 アジェイ アグラワル (著), ジョシュア ガンズ (著), アヴィ ゴールドファーブ (著), 小坂 恵理 (翻訳)
- 32. 追認の誤りと講釈の誤り the error of confirmation and narrative fallacy AIで認識できたインシデントの集合 実際に起きたインシデントの集合 インシデントを引き起こす（ゼロデイも含む）脆弱性と原因の集合 これらの脆弱性に連続性はなく、 一方から他方への類推は難しい? 後付けで逆向き に矢印を引くこ とはできる が。。。 Incidents actually happened Incidents modeled by AI Whole threat factors Narrative fallacy The error of confirmation
- 33. History does not crawl. It jumps. NTP reflection attack DNS open resolver exploit Memcached DDOS attack 2013 2014 2018 AIでの類推は可能? Understanding the Mirai Botnet (Usenix Sec 2017) 2016.08 – 2017.02 http://www.blackswanreport.com/blog/2013/11/happy- thanksgiving-everyone/
- 34. 反脆弱性 (AntiFragile) Prometheus and Epimetheus
- 35. 月並みの国 Mediocristan 果ての国 Extremistan ペイオフと影響:小 - シンプル Payoff/exporure - simple ペイオフと影響:大 – 複雑 Payoff/exposure - complex 既知の未知 Known-unknown 既知の既知 Known-known 未知の既知 Unknown-known 未知の未知 靭性 (Resiliency) 例外予測 (Prediction by exception) 反脆弱性(AntiFragile)
- 36. 反脆弱性についてのメモ – 予測不要の世界観 • 果ての国:人間が絡む複雑なペイオフのある領域 • 果ての国では、耐久性や堅牢性では足りない。反脆弱性という考え方が必要。 • 反脆さがあれば私たちは未知に対処し、物事を理解しなくても行動することができる。 • 反脆さの仕組みを理解すれば、不確実な環境のもとで、予測に頼らずに意思決定を下すための体系的で 包括的な指針を築くことができる。 • 【メリット】逸脱を好む場合、そして未来の事象にどれだけばらつきがあってもかまわない場合は、ほ とんどの事象が利益になるので、そのシステムは反脆いということになる。 • 【メリット】試行錯誤を理性的に行い、間違いを情報源としてつかうことができれば、試行錯誤のラン ダムな要素は、もはやランダムとは言えなくなる。
- 37. Prometheus and Epimetheus ❏ギリシャ神話に登場する2人の巨人の兄弟:プロメテウスとエピメテウス。 プロメテウスは「先に考える人（先見の明をもつもの）」 エピメテウスは「後で考える人」 エピメテウスは、過去の出来事に理論を無理やりあてはめ、後付けで講釈を垂れる人を指している。 ❏プロメテウスは人類に火をもたらした巨人 - 文明の進歩を象徴している。 ❏一方のエピメテウスは、後ろ向きな考え、知性の欠如を象徴することが多い。エピメテウスは、パ ンドラの贈り物を受け取り、取り返しのつかない結果を招いてしまった。 ❏プロメテウスは「オプション」を駆使する。前者は間違いが起こったとしても可逆的で穏やか。 ❏エピメテウスは「講釈」にはまる。「パンドラの箱」の話の結末の通り、重大で不可逆的な結果を招く。 【参考】反脆弱性――不確実な世界を生き延びる唯一の考え方 ナシーム・ニコラス・タレブ (著), 望月 衛 (監 修), 千葉 敏生 (翻訳)
- 42. 反脆弱性 - バーベル（二峰性）戦略 脆さと反脆さの概念に従うなら、これから時代になくなるものを未 来から差し引くのが、正しいやり方。これが「否定の道」だ。脆い ものはいずれ崩壊する。幸い、脆いものは簡単に見分けがつく。負 のブラックスワンより、生のブラックスワンの方がずっと予測がむ ずかしい。 White Swan Black Swan “Stay hungry, stay foolish” - Steve Jobs 反脆弱性―不確実な世界を生き延びる唯一の考え方 ナシーム・ニコラス・タレブ (著), 望月 衛 (監修), 千葉 敏生 (翻訳) Pascal’s wager Squeeze/Pandora’s box
- 43. 反脆弱性 - 予測精度、スピード、ディフェンス • 頑健なシステムや反脆いシステムでは、脆いシステムほど正確 に世界も理解する必要はないし、予測も必要ない。 • インシデントの発生や確率を予測するよりも、むしろインシデ ントに対するエクスポージャー（影響）に注目するべし • そうすれば、事故を予測できるかできないかなんてあまり関係 なくなる。 • 代わりに、負のエクスポージャー（影響）が大きくなる前に、 対応できるスピードが必要 • 【例】芸人は振られたらすぐ返す
- 45. オプション性とパスカルの賭け ❏哲学者のパスカルは、人間にとって最適な戦略は神の存在を信じることだと言った。神が存在するなら信じ るものは救われる。神が存在しなくても信じるものはなんにも失わない。同じように、私たちは知識の非対称 性を受け入れる必要がある。 ❏救われることは大きなアップサイドであり、一方、神が存在しないことはダウンサイドであるが、小さい。 （上の表現で言えば、「何も失わない」。） ❏統計が役に立つときは統計学を使う。積極的な賭けをするのには統計学と帰納法、モデル化を使うけれど、 リスクやエクスポージャーを管理するのには使わない。 【参考】「まぐれ―投資家はなぜ、運を実力と勘違いするのか」 ナシーム・ニコラス・タレブ (著), 望月 衛 (翻訳) ❏料理は、オプション性に頼っている活動の絶好の例だろう。ある材料を加えてみる。できた料理が、口に合 うなら取っておけばいいし、会わないなら捨ててしまえばいい。
- 46. 「パスカルの賭け」化 - システムを反脆くする White Swan Black Swan Pascal’s wager Squeeze/Pandora’s box 哲学者のパスカルは、人間にとって最適な戦略は神の存在を信じ ることだと言った。神が存在するなら信じるものは救われる。神 が存在しなくても信じるものはなんにも失わない。同じように、 私たちは知識の非対称性を受け入れる必要がある。 統計が役に立つときは私も統計学を使う。積極的な賭け をするのには統計学と帰納法を使うけれど、リスクやエ クスポージャーを管理するのには使わない。
- 49. 靭性 (Flexibility) Myths and Machines
- 50. 月並みの国 Mediocristan 果ての国 Extremistan ペイオフと影響:小 - シンプル Payoff/exporure - simple ペイオフと影響:大 – 複雑 Payoff/exposure - complex 既知の未知 Known-unknown 既知の既知 Known-known 未知の既知 Unknown-known 未知の未知 靭性 (Resiliency) 例外予測 (Prediction by exception) 反脆弱性(AntiFragile)
- 51. 靭性 剛性という言葉で表したいのは、どのような壊れ方をするかであり、どのくらい硬いかではない。ダ イヤモンドは世界一硬い物質だが、結晶の層に沿った面なら鉄の刃をあててハンマーでたたくだけで 割れる。とても硬いが、剛性が弱点だと言える。 ヒスイはあまり硬くないが、靭性を持つ。細かな繊維状の結晶が絡み合った構造をしており、割れる ことなく加工ができる。つまり靭性をもち粘り強いから、複雑な形に加工できる。他の材料と組み合 わせて使うこともできる。鉄筋コンクリートも同じ原理。 【参考】「セキュリティはなぜ破られたか」 ブルースシュナイアー 脆弱性(fragile, vulnerable) 剛性(brittle) 反脆弱性(antifragile, resilient) ガラス ヒスイ コンクリート ダイヤモンド
- 52. 人間がサバイバルできた理由は? アインシュタイン Einstein 一般人 Human チンパンジー Chimpanzee マウス Mouse アメーバ Ameba 超絶・普遍人工知能 Super intelligence Universal general intelligence 知能レベル 人間中心主義の考えで見ると、一般人と 天才（アインシュタイン）の間には相当な 開きがあると思われるかもしれない。 しかし、もう少し視野の広い見方で考えれば、 一般人と天才の頭の差は、人工知能からは、 区別のつけようのない近似である。 スーパーインテリジェンス 超絶AIと人類の命運 ニック・ボストロム (著), 倉骨 彰 (翻訳)
- 53. 靭性 -「人間の」強さ • 今日、人類は地球を完全に支配しているが、それは個々 の人間が個々のチンパンジーやオオカミよりもはるかに 利口だったり手先が器用だったりするからではない。 • 理由は、人間（ホモ・サピエンス）が大勢で柔軟 に協力できる地球上で唯一の種だからだ。 • それでは、もし協力がカギなら、アリやハチは私たちよ りも何百万年も前に集団で協力することを学んでたのに、 なぜ私たちよりも先にAIや発電所を開発しなかったの か?それは、彼らの協力には柔軟性が欠けているからだ。 • ハチは非常に高度な形で協力するが、協力の体制をその 都度、適宜・柔軟に組み替えることはできない。 Wikipedia Wikipedia 【参考】ホモ・デウス : テクノロジーとサピエンスの未来 ユヴァル・ノア・ハラリ(著), 柴田裕之(翻訳)
- 54. 蜂 – 多層防御だが剛性が高い ケープミツバチがアフリカミツバチの巣に侵入 • １９9０年、南アフリカの養蜂業者がケープミツバチを輸入。 • 普通、種類の違うハチは混じりあわず、特に問題はないはずだった。 • そんなとき、ケープミツバチが一匹、アフリカミツバチの巣箱に入りこ み、卵を産んだ。 • その卵は、突然変異によりアフリカミツバチの卵と匂いがそっくりだっ た。 • しかもケープミツバチの働きバチの卵には染色体が２セットあり、母親 のクローンが生まれる。 • これにより、アフリカミツバチの多層防御が破られたのだ。 • ケープミツバチの卵は食べられることなく成⾧し、同じ突然変異を持つ メスバチに成⾧。数世代でケープミツバチが巣箱を乗っ取り、その後は 大陸中のアフリカミツバチの巣をこのクローンが荒らしまわっている。 • 新しい脅威の登場にアフリカミツバチはなす術がない。 Wikipedia Wikipedia 「セキュリティはなぜ破られたか」 ブルースシュナイアー
- 55. ベルリンの壁 – 多層防御だが剛性が高い • 1990年に崩壊するまで、ベルリンの壁は、さま ざまなセキュリティ対策の集大成といえるもの だった。ベルリンの壁は、多層防御あり、防止、 検出、対応の組み合わせであった。 • これほど防御と検出、対応を織り合わせたにも 関わらず、毎年、１０００人単位で亡命に成功 する人がいた。 Wikipedia 「セキュリティはなぜ破られたか」 ブルースシュナイアー Berlin Wall came down in 1990, it presented an impressive series of countermeasures.Despite this interwoven system of protection, detection, and response, thousands of people still managed to escape Eastern Europe each year. Bruce Schneier. Beyond Fear: Thinking Sensibly About Security in an Uncertain World.
- 56. 物語→協力→靭性 Fictions→Co-operation→Resilience • 北朝鮮と韓国があれほど異なるのは、ピョンヤンの人 がソウルの人とは違う遺伝子を持っているからでもな ければ、北の方が寒くて山が多いからでもない。 • 現状のところ、北朝鮮と韓国が、非常に異なる物語を 持っているから。 • ある土地に住んでいる人間（サピエンス）全員が同じ 物語を信じている限り、彼らは同じ規則に従うので、 見知らぬ人の行動を予測して、大規模な協力のネット ワークを組織するのが簡単になる。 ホモ・デウス: テクノロジーとサピエンスの未来 ユヴァル・ノア・ハラリ(著), 柴田裕之(翻訳)
- 57. セキュリティ - 靭性と人間の協力 Security resolves around people ❑技術革新は大きな付加価値をもたらすが、同時に固定的で剛性が高く、想定され たものにしかケースをもたらす場合が多い。それに対して人は柔軟で剛性が高く、 障害時にもうまく崩れていく。 ❏軍隊や情報機関は、このことをよく理解しており、ハイテク機器を山のように持 つが、指揮系統の中心には人がおり、意思決定は必ず人がする。 ❑ “Security is all about people” - すぐれたセキュリティの核には人間がいる。 人は靭性が高い。果ての国では、人はセキュリティインシデントに対して、臨機 応変に協力し、靭性(reliability)を発揮せざるを得ない状況がある。 ❏人間は、臨機応変の協力ができる。創造性がある。新しい対策をその場で考え出 せる。受動的失敗に気づき、回復を試みることもできる。 「セキュリティはなぜ破られたか」 ブルースシュナイアー
- 58. 神話、機械、人間 – Myths and co-operation iPad 【参考】ホモ・デウス テクノロジーとサピエンスの未来 ユヴァル・ノア・ハラリ(著), 柴田裕之(翻訳) ピラミッドからヨーロッパの美しい大聖堂まで、どれもこれも幾 何学的に洗練されているように見える。 すると、だまされやすいわたしたちは、例外なんてどれもあちこ ちにあるのに、美しい建築物が建てられたのは数学と関連する技 術のおかげだと信じこんでしまう傾向がある。 実際のところ、エジプト人がファイユームの湖とピラミッドを建 設できたのは、地球外生物の助けがあったからではなく、卓越し た組織力をもっていたからだ。 ファラオは読み書きのできる何千もの官吏を頼みに、何万もの労 働者と、彼らを何年も続けて養える食料を調達できた。何万人も の労働者が、当時の古代エジプトの神々の物語を共有し、数十年 にわたって協力すれば、石器を使ってでさえ、人造湖やピラミッ ドを建築することが可能だ。 Pyramid
- 60. ❑靭性:「個」で知能を酷使するより、人と協力する。 ❑あり得ないことが起こる危険にさらされるのは、黒い白鳥に自分を振り回すのを許してし まったときだけだ。 反脆弱性――不確実な世界を生き延びる唯一の考え方 ナシーム・ニコラス・タレブ ❑バクテリアを含め、リスクと無縁でいられる生物はない。私の娘が最初に発した言葉 は、「熱い」だった。リスク感覚は、千年以上にわたり、生き残る術として人類を支えてき たのだ。 「セキュリティはなぜ破られたか」 ブルースシュナイアー ❑感覚は欺かない。判断が欺くのだ。 「格言と反省」から ヨハン・ヴォルフガング・フォン・ゲーテ 頭脳（AI）に振り回されない物語とリスク感覚
- 61. まとめ ■果ての国がやって来る - the World of Extremistan ■AI創発特性時代 – Rise of machines ■サバイバル術①:例外予測 – Prediction by exception ■サバイバル術②:反脆弱性 - Antifragile ■サバイバル術③:靭性 – Resilience and fictions 深層・強化学習などのAI技術の急激な普及により、人間に対してAIが創発特性を 発揮するケースが出てきています。本セッションでは、情報セキュリティの現場 にいる人とAIの関係の変容を、特異点（AIに関する急激なイノベーションが起き る時点）に焦点を当て、①創発特性、②予測コスト、③半脆弱性という３つのコ ンセプトから解説しました。また、複雑化したAIリスクを非対称性やオプション 性により対処する方法論を紹介しました。