差分プライバシーとは何か？ （定義 & 解釈編）
•Download as PPTX, PDF•
119 likes•92,403 views
差分プライバシー (Differential privacy) という技術に関する入門スライドです
Recommended
More Related Content
What's hot
What's hot (20)
差分プライバシーとは何か？ （定義 & 解釈編）
- 1. 差分プライバシーとは何か？ 定義 & 解釈編 南 賢太郎 東京大・情報理工 博士1年 2016/7
- 2. スライドの趣旨 取り扱う話題 • 差分プライバシー (en: Differential Privacy) という概念を紹介 2
- 3. スライドの趣旨 取り扱う話題 • 差分プライバシー (en: Differential Privacy) という概念を紹介 1. 何をするためのものか？ 2. どの程度有益か？ 3. どの程度有益ではないか？ 4. 研究上の一般的課題は何か？ 3
- 4. スライドの趣旨 取り扱う話題 • 差分プライバシー (en: Differential Privacy) という概念を紹介 1. 何をするためのものか？ 2. どの程度有益か？ 3. どの程度有益ではないか？ 4. 研究上の一般的課題は何か？ スライド作成動機 • 筆者は差分プライバシーを研究 • 概念そのものが根本的にわかりづらく，お茶の間の話題にしづらい • 「これさえ読めばわかる」資料を用意したい 4
- 5. 日本人の43%はiPhoneユーザー（？） 5[http://www.kantarworldpanel.com] 日本における モバイルOSシェアの 43.2% がiOS (2016/4 現在)
- 8. Appleが公表したこと 2016/6/14 (JST) 要点： • iOSの次期バージョン (10) では，より多くの 人工知能ソリューションを搭載 • 予測変換や絵文字推薦の精度向上のため， 多数のユーザーが利用したパターンを収集 • 個人情報は差分プライバシーによって保護 8
- 9. Appleが公表したこと 2016/6/14 (JST) 意訳： • あなたたちが入力した文章を解析するけど プライバシー的には安全です 9
- 10. C. Federighiの発言@WWDC2016 “Differential privacy is a research topic in the area of statistics and data analytics that uses hashing, subsampling, and noise injection to enable this kind of crowdsourced learning while keeping the information of each individual user completely private.” 差分プライバシーは： 1. 統計学およびデータ解析の研究領域であり 2. サブサンプリングやノイズ付加を利用することで 3. ユーザーの個人情報を完全に保護したまま 学習を行うことを可能にする！ 10
- 12. （バズった） 12
- 13. （バズった） 13 Dwork, et al. (2006) 以降， アカデミアの地道な活動で ほぼ線形に増加してきた知名度が， Apple副社長の30秒のプレゼンで 一瞬にして5倍に
- 14. C. Federighiの発言@WWDC2016 “Differential privacy is a research topic in the area of statistics and data analytics that uses hashing, subsampling, and noise injection to enable this kind of crowdsourced learning while keeping the information of each individual user completely private.” 差分プライバシーは： 1. 統計学およびデータ解析の研究領域であり 2. サブサンプリングやノイズ付加を利用することで 3. ユーザーの個人情報を完全に保護したまま 学習を行うことを可能にする！ 14
- 18. 実社会への応用に際する疑問 次のような疑問が生じる： A) 個人情報とは何か？（問題のスコープ） B) 個人情報の保護とは何か？（数理的定式化） C) 「完全に保護」とは何か？（定量化） 18
- 19. 実社会への応用に際する疑問 次のような疑問が生じる： A) 個人情報とは何か？（問題のスコープ） • どのようなデータ形式の情報を • 誰に対して漏洩させたくないのか？ B) 個人情報の保護とは何か？（数理的定式化） C) 「完全に保護」とは何か？（定量化） 19
- 21. 「匿名化は無意味」 • 単純な匿名化処理（名前を消すのみ）では プライバシーを保護したことにならない • 例： スポーツデータ 21
- 22. 「匿名化は無意味」 • 単純な匿名化処理（名前を消すのみ）では プライバシーを保護したことにならない • 例： スポーツデータ 22 2005年度のある球技種目の戦績 （球技種目名およびチーム名は匿名化済み） 33 - 4 チームA チームB
- 23. 「匿名化は無意味」 • 単純な匿名化処理（名前を消すのみ）では プライバシーを保護したことにならない • 例： スポーツデータ 23 2005年度のある球技種目の戦績 （球技種目名およびチーム名は匿名化済み） 33 - 4 チームA チームB 特定の理由： 1. 外れ値である 2. 有名な公開情報である1 1: [https://ja.wikipedia.org/wiki/2005年の日本シリーズ]
- 24. 「匿名化は無意味」 • 単純な匿名化処理（名前を消すのみ）では プライバシーを保護したことにならない 特定の危険性がある状況： 1. 外れ値的なデータの存在 2. 他の公開情報との突き合わせ（名寄せ） 24
- 25. 「匿名化は無意味」 • 単純な匿名化処理（名前を消すのみ）では プライバシーを保護したことにならない 特定の危険性がある状況： 1. 外れ値的なデータの存在 2. 他の公開情報との突き合わせ（名寄せ） • 匿名化は前提として，それ以上の高度な 情報漏洩量制御を考える必要がある 25
- 26. A. 個人情報のスコープ どんな情報を誰に対して漏洩させたくないか？ 26 保護すべき情報 匿名化済みのユーザーのあらゆるデータ 漏洩させたくない相手 (A) データ解析結果利用者 (e.g. 他のユーザー) (B) データ収集者 (e.g. Apple社)
- 27. A. 個人情報のスコープ どんな情報を誰に対して漏洩させたくないか？ 27 保護すべき情報 匿名化済みのユーザーのあらゆるデータ 漏洩させたくない相手 (A) データ解析結果利用者 (e.g. 他のユーザー) (B) データ収集者 (e.g. Apple社) どちらの相手への漏洩を考慮するかで 少なくとも2種類のアーキテクチャがある
- 28. データ解析タスク 28 𝑋1 𝑋2 𝑋 𝑛 ⋯ ユーザーのデータ 𝐷 データ収集/解析者 統計量 𝜃
- 29. データ解析タスク タスク 𝑫 = (𝑿 𝟏, 𝑿 𝟐, … , 𝑿 𝒏) 公開したい量 𝜽 平均値 線形回帰 分類 29 𝑋1 𝑋2 𝑋 𝑛 ⋯ ユーザーのデータ 𝐷 データ収集/解析者 統計量 𝜃
- 30. データ収集のアーキテクチャ (A) 出力型プライバシー • データ収集者はユーザーの生データを収集 • データを復元できないようにデータ解析結果を加工 30 𝑋1 𝑋2 𝑋 𝑛 ⋯
- 31. データ収集のアーキテクチャ (B) 局所型プライバシー • データ収集者も信用しないモデル • ユーザー側でデータを乱雑化してから収集 31 • （Appleがやりたいのはこちら…？） • 本スライド以降は出力型プライバシーに注目 𝑋1 𝑋2 𝑋 𝑛 ⋯
- 34. 実社会への応用に際する疑問 次のような疑問が生じる： A) 個人情報とは何か？（問題のスコープ） B) 個人情報の保護とは何か？（数理的定式化） • 出力型プライバシーどうやって定式化するのか • どういう風に解釈できるのか or できないのか C) 「完全に保護」とは何か？（定量化） 34
- 35. B. プライバシー保護の定式化 例：「Twitterやってますか？」 (Yes: 1, No: 0) 35 𝑋1 𝑋2 𝑋 𝑛 ⋯ 1と答えた人の割合：
- 36. 敵対者 の個人情報を 暴きたい B. プライバシー保護の定式化 例：「Twitterやってますか？」 (Yes: 1, No: 0) 36 𝑋1 𝑋2 𝑋 𝑛 ⋯ 1と答えた人の割合：
- 37. B. プライバシー保護の定式化 例：「Twitterやってますか？」 (Yes: 1, No: 0) 37 𝑋1 𝑋2 𝑋 𝑛 ⋯ 𝑋1 ′ 𝑋2 𝑋 𝑛 ⋯ 1と答えた人の割合： 補助情報 𝐷′ （運の悪いことに） 敵対者は𝑋1以外は知っている
- 38. B. プライバシー保護の定式化 例：「Twitterやってますか？」 (Yes: 1, No: 0) 38 𝑋1 𝑋2 𝑋 𝑛 ⋯ 𝑋1 ′ 𝑋2 𝑋 𝑛 ⋯ 1と答えた人の割合： 補助情報 𝐷′
- 39. B. プライバシー保護の定式化 例：「Twitterやってますか？」 (Yes: 1, No: 0) 39 𝑋1 𝑋2 𝑋 𝑛 ⋯ 𝑋1 ′ 𝑋2 𝑋 𝑛 ⋯ 1と答えた人の割合： 補助情報 𝐷′ 敵対者の能力として 「補助情報つき攻撃」を許すと 𝜃を決定的に公開してはならない
- 40. B. プライバシー保護の定式化 対策：統計量の公開を充分に乱雑化する 40 𝑋1 𝑋2 𝑋 𝑛 ⋯ ノイズ
- 41. B. プライバシー保護の定式化 対策：統計量の公開を充分に乱雑化する 41 𝑋1 𝑋2 𝑋 𝑛 ⋯ 𝑋1 ′ 𝑋2 𝑋 𝑛 ⋯
- 42. B. プライバシー保護の定式化 対策：統計量の公開を充分に乱雑化する 42 𝑋1 𝑋2 𝑋 𝑛 ⋯ 𝑋1 ′ 𝑋2 𝑋 𝑛 ⋯ ノイズは 𝜃 にとっては小さい 解析には影響なし ノイズは 𝑋𝑖にとっては大きい プライバシー保護
- 43. 差分プライバシー：定義 アイデア： 1. 統計量は必ずランダムに公開 ( 分布: 𝜌 𝐷 ) 2. 隣接するデータセット（＝ハミング距離1） に対する分布が近い 43 𝑋1 𝑋2 𝑋 𝑛 ⋯ 𝑋1 ′ 𝑋2 𝑋 𝑛 ⋯ 分布として 近い
- 44. 差分プライバシー：定義 定義：Differential Privacy [DMNS06] • 𝜀 > 0, 𝛿 ∈ [0, 1) とする • 𝜌 𝐷 が (𝜀, 𝛿)-差分プライバシーを満たすとは， 1. 任意の隣接する 𝐷, 𝐷′ 2. 任意の (可測) 集合 𝐴 ⊂ Θ に対して次の不等式が成り立つことをいう： • 特に 𝛿 = 0 のときは 𝜀-差分プライバシーともいう 44
- 45. 例： Laplaceメカニズム 観察 • 密度が互いに𝑒 𝜀倍以下なら 𝜀-差分プライバシーを達成: 45 ( 𝑓𝐷(𝜃) は 𝜌 𝐷 の確率密度)
- 46. 例： Laplaceメカニズム 観察 • 密度が互いに𝑒 𝜀倍以下なら 𝜀-差分プライバシーを達成: 46 ( 𝑓𝐷(𝜃) は 𝜌 𝐷 の確率密度)
- 47. 例： Laplaceメカニズム 観察 • 密度が互いに𝑒 𝜀倍以下なら 𝜀-差分プライバシーを達成: Laplace Mechanism1 [DMNS06] • 𝑋𝑖 ∈ {0, 1} • 平均にLaplaceノイズを加えたものは 𝜀-DP 47 ( 𝑓𝐷(𝜃) は 𝜌 𝐷 の確率密度) 1: 本来はもう少し一般的な主張
- 48. 例： Laplaceメカニズム 48 𝑋1 𝑋2 𝑋 𝑛 ⋯ 𝑋1 ′ 𝑋2 𝑋 𝑛 ⋯ Laplaceノイズを足した出力の密度
- 49. 例： Laplaceメカニズム 49 𝑋1 𝑋2 𝑋 𝑛 ⋯ 𝑋1 ′ 𝑋2 𝑋 𝑛 ⋯ Laplaceノイズを足した出力の密度 平均の差を隠蔽できるく らい分散が大きく， かつ裾が重いノイズ
- 52. ユーザー： “……？？？” 52
- 53. 定義の正当性 • 𝜀 や 𝛿 が小さいほどデータは強く保護される のはまあわかる 53
- 54. 定義の正当性 • 𝜀 や 𝛿 が小さいほどデータは強く保護される のはまあわかる • 定義の不等式： • 𝜀 や 𝛿 が小さいほど不等式はタイトであり， 𝜌 𝐷と𝜌 𝐷′が大きく変化できない 54
- 55. 定義の正当性 • 𝜀 や 𝛿 が小さいほどデータは強く保護される のはまあわかる • 定義の不等式： • 𝜀 や 𝛿 が小さいほど不等式はタイトであり， 𝜌 𝐷と𝜌 𝐷′が大きく変化できない • しかし，特定の (𝜀, 𝛿) が使われたとして， 「あなたのデータ」は結局どの程度安全か？ 55
- 56. 定義の正当性 • 𝜀 や 𝛿 が小さいほどデータは強く保護される のはまあわかる • 定義の不等式： • 𝜀 や 𝛿 が小さいほど不等式はタイトであり， 𝜌 𝐷と𝜌 𝐷′が大きく変化できない • しかし，特定の (𝜀, 𝛿) が使われたとして， 「あなたのデータ」は結局どの程度安全か？ 56 Q. 情報の復元不可能性という意味で， 別の基準（統計学 or 情報理論）からの 意味づけを考えることはできるか？
- 57. 再掲：補助情報つき攻撃 57 𝑋1 𝑋2 𝑋 𝑛 ⋯ 𝑋1 ′ 𝑋2 𝑋 𝑛 ⋯
- 58. 再掲：補助情報つき攻撃 58 𝑋1 𝑋2 𝑋 𝑛 ⋯ 𝑋1 ′ 𝑋2 𝑋 𝑛 ⋯ どのような復元手段 を使ったとしても，情報量的な意味で ある精度以上は復元不可能なことを （統計的に）保証したい
- 59. 仮説検定による解釈 [WZ10][BD14] • 𝐷0, 𝐷1 は隣接 • 次の検定問題を考える： • 𝜓: Θ → {0, 1} を任意の検定とする • i.e. 𝜃 を入力して，𝐻0 と 𝐻1 のどちらが真であるか 決定するような可測な判断 59
- 60. 仮説検定による解釈 [WZ10][BD14] • 敵対者は 𝜃~𝜌 𝐷 𝑗 を観測して，判断 𝜓( 𝜃) を行う 定理 ([WZ10] Thm 2.4, 少し改変) • 𝜌 𝐷 が 𝜀, 0 -DP のとき，次が成り立つ • 特に，有意水準 𝛼 の検定で，検出力が 𝛼𝑒 𝜀 以上 であるものを作ることはできない • 注： 検出力＝Pr(𝜓 = 1 ∣ 𝐻1) = 1 − Pr(𝜓 = 0 ∣ 𝐻1) 60 第１種過誤第２種過誤
- 61. 仮説検定による解釈 [WZ10][BD14] • 敵対者は 𝜃~𝜌 𝐷 𝑗 を観測して，判断 𝜓( 𝜃) を行う 定理 ([BD14], Prop 1) • 𝜌 𝐷 が 𝜀, 𝛿 -DP (𝛿 > 0)のとき，次が成り立つ • さらに 61 第１種過誤 第２種過誤
- 62. 仮説検定による解釈 [WZ10][BD14] 数値感 • 検出力 = 本当はデータセットが 𝐷1 であるときに， 「𝐷 = 𝐷0である」という仮説を正しく棄却できる確率 大きい方がよい • 𝜃 が 𝜀 = 0.1-差分プライバシーを満たすとき 𝜃 を見て判断を行う敵対者は， 有意水準5%で検出力5.6%以上の検定を作れない • 𝜃 が(𝜀, 𝛿) = (0.1, 0.001)-差分プライバシーを満たすとき 𝜃 を見て判断を行う敵対者は， 有意水準5%で検出力10.05%以上の検定を作れない 62
- 63. 解釈性に関するメッセージ • 例: (Yes, No)-値個人情報 • 当然ながら， 「コインを投げて表ならYesと決めつける」 という戦略で50%の確率で個人情報が漏洩 • 差分プライバシーでいくら保護しても 「当てずっぽう」で漏洩する可能性はある 「邪推したら当たっていた」というタイプの 情報漏洩は絶対に防げない 63
- 64. 解釈性に関するメッセージ 要点 • 差分プライバシーは， 「この人のデータが 𝑋 であるという仮説」に 統計学的な信頼を一定量以上与えられない という意味での保護にすぎない …という事実が理解されないまま普及すると いつかどこかで炎上する気がする 64
- 65. 実社会への応用に際する疑問 次のような疑問が生じる： A) 個人情報とは何か？（問題のスコープ） B) 個人情報の保護とは何か？（数理的定式化） C) 「完全に保護」とは何か？（定量化） • そんなうまい話があるのか • うまくいかない場合，（研究上の）課題は何なのか 65
- 67. 定義（再掲） 定義：Differential Privacy [DMNS06] • 𝜀 > 0, 𝛿 ∈ [0, 1) とする • 𝜌 𝐷 が (𝜀, 𝛿)-差分プライバシーを満たすとは， 1. 任意の隣接する 𝐷, 𝐷′ 2. 任意の (可測) 集合 𝐴 ⊂ Θ に対して次の不等式が成り立つことをいう： 67
- 68. 定義（再掲） 定義：Differential Privacy [DMNS06] • 𝜀 > 0, 𝛿 ∈ [0, 1) とする • 𝜌 𝐷 が (𝜀, 𝛿)-差分プライバシーを満たすとは， 1. 任意の隣接する 𝐷, 𝐷′ 2. 任意の (可測) 集合 𝐴 ⊂ Θ に対して次の不等式が成り立つことをいう： 68 (𝜀, 𝛿) =プライバシー保護強度
- 69. C. プライバシー保護の定量化 • 差分プライバシーの枠組みにおける 「完全な保護」とは？ • 形式的には 𝜀 = 𝛿 = 0 のはず 69
- 70. C. プライバシー保護の定量化 • 差分プライバシーの枠組みにおける 「完全な保護」とは？ • 形式的には 𝜀 = 𝛿 = 0 のはず 70
- 71. C. プライバシー保護の定量化 • 差分プライバシーの枠組みにおける 「完全な保護」とは？ • 形式的には 𝜀 = 𝛿 = 0 のはず 71 「データの情報を全て捨てる」
- 72. C. プライバシー保護の定量化 • 差分プライバシーの枠組みにおける 「完全な保護」とは？ • 形式的には 𝜀 = 𝛿 = 0 のはず 72 「データの情報を全て捨てる」 • データ解析を行う以上，完全な保護は不可能！ • 解析精度とプライバシーの双方の定量化が必要
- 75. 「完全に保護」したままで解析は無理 一般にはトレードオフがあると考えるのが自然 75 𝜀 （小さいほど保護が強い） 学習の損失 達成可能な領域 • ある保護強度を決めたとき， 理想的にはどれだけの精度で データ解析が可能か？ 解析タスクに依存するはず
- 77. 研究上の課題 • (𝜀, 𝛿) を固定して，達成可能な中での 最適値の性質について考える： • 2006年から研究が進められてきたものの， 依然として未解決な部分が多い • どのようなタスクであればプライバシーを充分に 保護したままで実行できるか？ 77
- 78. 研究上の課題 • (𝜀, 𝛿) を固定して，達成可能な中での 最適値の性質について考える： • 2006年から研究が進められてきたものの， 依然として未解決な部分が多い • どのようなタスクであればプライバシーを充分に 保護したままで実行できるか？ • 平均などの統計値の算出 • 線形回帰 • 2値分類 (SVM, Logistic回帰，etc.) • Deep learning (?) • … 78 研究動向のまとめも いずれ作りたいです… （生命力があれば）
- 79. まとめ A) 個人情報とは何か？（問題のスコープ） 匿名化済みデータを出力型プライバシーの枠組みで ランダム化によって保護する B) 個人情報の保護とは何か？（数理的定式化） (𝜀, 𝛿)-差分プライバシー： 隣接するデータセットの間での出力分布のロバスト性 C) 「完全に保護」とは何か？（定量化） データを「使う」以上，完全な保護は不可能 保護強度と解析精度のトレードオフの見極めが重要 79
- 80. 参考文献 論文 [BD14] Barber and Duchi. Privacy and statistical risk: formalisms and minimax bounds. Arxiv preprint, 2014. [DMNS06] Dwork, McSherry, Nissim and Smith. Calibrating noise to sensitivity in private data analysis. In Theory of Criptography Conference, 2006. [WZ10] Wasserman and Zhou. A statistical framework for differential privacy. The Journal of the American Statistical Association, 105:375--289, 2010 画像 いらすとや [http://www.irasutoya.com] 80
Editor's Notes
- 009F91
- 頻繁に変動あり．1月には50%超だった．iPhone率の正確な推定は今回の本題でないので省略 スマホユーザーの約半数に潜在的に影響のある話をこれからする
- 全く新しい圧倒的なプライバシーを提供
- 全く新しい圧倒的なプライバシーを提供
- (\because) \Pr_{\theta \sim \rho_D}[\theta \in A] &= \int_A f_D(\theta) \dd \theta \\ &\leq \int_A \ee^\vep f_{D^\prime}(\theta) \dd \theta \\ & = \ee^\vep \Pr_{\theta \sim \rho_D}[\theta \in A]
- \mathrm{Pr}_{\theta \sim \rho_D} [\theta \in A] \leq {\color{red} \ee^\vep} \mathrm{Pr}_{\theta \sim \rho_{D^\prime}} [\theta \in A] + {\color{red} \delta}
- \mathrm{Pr}_{\theta \sim \rho_D} [\theta \in A] \leq {\color{red} \ee^\vep} \mathrm{Pr}_{\theta \sim \rho_{D^\prime}} [\theta \in A] + {\color{red} \delta}
- \mathrm{Pr}_{\theta \sim \rho_D} [\theta \in A] \leq {\color{red} \ee^\vep} \mathrm{Pr}_{\theta \sim \rho_{D^\prime}} [\theta \in A] + {\color{red} \delta}
- \Pr (\psi(\hat{\theta}) = 1 \mid H_0) + \mathrm{e}^\varepsilon \Pr (\psi(\hat{\theta}) = 0 \mid H_1) \geq 1 - \delta
- \Pr (\psi(\hat{\theta}) = 1 \mid H_0) + \mathrm{e}^\varepsilon \Pr (\psi(\hat{\theta}) = 0 \mid H_1) \geq 1 - \delta
- \forall D, D^\prime, \quad \mathrm{Pr}_{\rho_D}(\theta \in A) &= e^0 \cdot \mathrm{Pr}_{\rho_{D^\prime}}(\theta \in A) + 0 \\ \Longrightarrow \forall D, D^\prime, \quad \rho_D &= \rho_{D^\prime} \equiv \rho
- \forall D, D^\prime, \quad \mathrm{Pr}_{\rho_D}(\theta \in A) &= e^0 \cdot \mathrm{Pr}_{\rho_{D^\prime}}(\theta \in A) + 0 \\ \Longrightarrow \forall D, D^\prime, \quad \rho_D &= \rho_{D^\prime} \equiv \rho
- \forall D, D^\prime, \quad \mathrm{Pr}_{\rho_D}(\theta \in A) &= e^0 \cdot \mathrm{Pr}_{\rho_{D^\prime}}(\theta \in A) + 0 \\ \Longrightarrow \forall D, D^\prime, \quad \rho_D &= \rho_{D^\prime} \equiv \rho
- \forall D, D^\prime, \quad \mathrm{Pr}_{\rho_D}(\theta \in A) &= e^0 \cdot \mathrm{Pr}_{\rho_{D^\prime}}(\theta \in A) + 0 \\ \Longrightarrow \forall D, D^\prime, \quad \rho_D &= \rho_{D^\prime} \equiv \rho
- \forall D, D^\prime, \quad \mathrm{Pr}_{\rho_D}(\theta \in A) &= e^0 \cdot \mathrm{Pr}_{\rho_{D^\prime}}(\theta \in A) + 0 \\ \Longrightarrow \forall D, D^\prime, \quad \rho_D &= \rho_{D^\prime} \equiv \rho
- \left . \begin{aligned} L(\theta, D) &\\ R(\theta) = & \; \mathbb{E}_{D \sim P^{\otimes n}} [L(\theta, D)] \end{aligned} \right \} \quad (\to \text{min.} )