Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
SECURITY ISSUE OF
PM AND HEALTHCARE AI
최대선
의료정보학과
공주대학교
내용
▶AI Safety Issue
▶Adversarial AI (Attacks on AI, ML)
▶Related Security Technologies
AI SAFETY
AI SAFETY
▶5가지 Safety issues
• Avoiding Negative Side Effects
• Avoiding Reward Hacking
• Scalable Oversight
• Safe Explor...
EXECUTIVE OFFICE OF
THE PRESIDENT…
▶ AI Safety Engineering
• verification and validation
• how to build a safety case for ...
PM – DATA SECURITY
GUIDELINE
ATTACKS ON AI, ML
AI POISONING
▶AI 나쁜 물들이기
• Active Learning
EVASION ATTACK
▶최소한의 변조 (feature substitution)로 다른 class로
인식되게 하는 것
minx’ c(x,x’) s.t.: c(x,x’) ≤ cost budget, x’ classifi...
AI DECEPTION
▶AI 기만
• Evasion Attack (변조)
- 4%만 변조해도.. 97%는 잘못 분류
<구글-뉴욕대, 2014>
AI DECEPTION
▶심각하지 않다고요?
<PSU, google, WSU, 2016>
MODEL EXTRACTION
ATTACK
▶ML
▶MLaaS ( Machine Learning As a Service)
모델(f)X, y (문제,답)
training X (문제)
y (답)
Bob
[Florian Tr...
MODEL EXTRACTION
ATTACK
▶제공된 모델 f 에 가까운 f^ 만들기
▶공격 목적
• 유료서비스 모델 탈취
• Inversion attack (학습데이터 추출하기) 에 활용
• Evasion attack에...
▶ 기존 방법 : Membership Queries
• 각 데이터가 어느 class에 속하는지 질의?
• 수많은 query를 반복하면 학습데이터를 얻어 모델링을 새로 할 수 있음
▶ 최근 방법 : Confidence v...
▶Performance
• 100% 흉내 내는데 소요된 쿼리# 및 시간
• Decision Tree 재구성 ( using incomplete queries)
MODEL EXTRACTION
ATTACK
[Florian T...
CM: AD HOC ..
▶Confidence Level 제공하지 않기
▶Differential Privacy
▶Ensemble methods
INVERSION ATTACK
▶모델에 query를 하여 Training data를 재현해냄
[Matt Fredrikson,et.al, Model Inversion Attacks that Exploit Confidenc...
INVERSION ATTACK
▶Nominal feature estimate
• 다른 feature들과 y 를 알 때, 알지 못하는 feature x_1을
model로 부터 알아내는 방법
- feature x_1 : s...
DATA SANITIZING
ATTACK ON DATA SANITIZING
▶ 비정형 데이터 sanitizing
• Medical records (PII)
• Images/Video (faces)
• 주로 named entity recognitio...
RELATED
SECURITY
TECHNOLOGIES
PRIVACY PRESERVING
MACHINE LEARNING
▶Training Data에서 프라이버시 침해가 일어나지 않도록
• KLT : K-anonymity, L-diversity, T-closeness
• DP...
DIFFERENTIAL PRIVACY
▶Differential Privacy
• 하나의 데이터 요소로 인한 차이를 알 수 없도록..
▶DPML : SVM, DT, LR, …
http://content.research.n...
HOMOMORPHIC ENCRYPTION
▶암호화된 상태에서 연산
• 검색(멤버십테스트), 정렬, 계산
▶HE based ML
• 암호화된 데이터 X’로 train, predict
y’= f(X’)
HE ON MEDICAL DATA
▶ DNA Analysis Based on HE
• Calculation of edit distance between 2 DNA Sequence (string oper.)
- DNA 길...
PRIVACY PRESERVING
MULTI-PARTY MACHINE LEARNING
▶Approaches
• Cryptographic Secure Multiparty Computation
• Trusted proces...
ISSUE AND FUTURE WORK
▶ AI Safety
• 이슈들
☞ Issues on Medical applications of AI
▶ Adversarial AI threatens data security & ...
감사합니다.
SUNCHOI@KONGJU.AC.KR
Security_issues of AI
Upcoming SlideShare
Loading in …5
×

Security_issues of AI

252 views

Published on

- AI Safety
- Adeversarial AI
- Related Security Technologies

Published in: Software
  • Be the first to comment

Security_issues of AI

  1. 1. SECURITY ISSUE OF PM AND HEALTHCARE AI 최대선 의료정보학과 공주대학교
  2. 2. 내용 ▶AI Safety Issue ▶Adversarial AI (Attacks on AI, ML) ▶Related Security Technologies
  3. 3. AI SAFETY
  4. 4. AI SAFETY ▶5가지 Safety issues • Avoiding Negative Side Effects • Avoiding Reward Hacking • Scalable Oversight • Safe Exploration • Robustness to Distributional Shift <Concrete Problems in AI Safety, 2016>
  5. 5. EXECUTIVE OFFICE OF THE PRESIDENT… ▶ AI Safety Engineering • verification and validation • how to build a safety case for a technology • how to manage risk • how to communicate with stakeholders about risk ☞ Recommendation 19: AI professionals, safety professionals, and their professional societies should work together to continue progress toward a mature field of AI safety engineering
  6. 6. PM – DATA SECURITY GUIDELINE
  7. 7. ATTACKS ON AI, ML
  8. 8. AI POISONING ▶AI 나쁜 물들이기 • Active Learning
  9. 9. EVASION ATTACK ▶최소한의 변조 (feature substitution)로 다른 class로 인식되게 하는 것 minx’ c(x,x’) s.t.: c(x,x’) ≤ cost budget, x’ classified as benign [Vorobeychik, Florian Tramer,et.al, Adeversarial AI]
  10. 10. AI DECEPTION ▶AI 기만 • Evasion Attack (변조) - 4%만 변조해도.. 97%는 잘못 분류 <구글-뉴욕대, 2014>
  11. 11. AI DECEPTION ▶심각하지 않다고요? <PSU, google, WSU, 2016>
  12. 12. MODEL EXTRACTION ATTACK ▶ML ▶MLaaS ( Machine Learning As a Service) 모델(f)X, y (문제,답) training X (문제) y (답) Bob [Florian Tramer,et.al, Stealing Machine Learning Models via Prediction APIs , Usenix’16]
  13. 13. MODEL EXTRACTION ATTACK ▶제공된 모델 f 에 가까운 f^ 만들기 ▶공격 목적 • 유료서비스 모델 탈취 • Inversion attack (학습데이터 추출하기) 에 활용 • Evasion attack에 활용 [Florian Tramer,et.al, Stealing Machine Learning Models via Prediction APIs , Usenix’16]
  14. 14. ▶ 기존 방법 : Membership Queries • 각 데이터가 어느 class에 속하는지 질의? • 수많은 query를 반복하면 학습데이터를 얻어 모델링을 새로 할 수 있음 ▶ 최근 방법 : Confidence value의 활용 • ML produces prediction + confidence • Confidence value -> Regression parameter estimation • 적은 수의 Query 로도 model extraction이 가능 MODEL EXTRACTION ATTACK
  15. 15. ▶Performance • 100% 흉내 내는데 소요된 쿼리# 및 시간 • Decision Tree 재구성 ( using incomplete queries) MODEL EXTRACTION ATTACK [Florian Tramer,et.al, Stealing Machine Learning Models via Prediction APIs , Usenix’16]
  16. 16. CM: AD HOC .. ▶Confidence Level 제공하지 않기 ▶Differential Privacy ▶Ensemble methods
  17. 17. INVERSION ATTACK ▶모델에 query를 하여 Training data를 재현해냄 [Matt Fredrikson,et.al, Model Inversion Attacks that Exploit Confidence Information CCS’15] 모델(f) Queries y, confidence value <extracted face> <training data>
  18. 18. INVERSION ATTACK ▶Nominal feature estimate • 다른 feature들과 y 를 알 때, 알지 못하는 feature x_1을 model로 부터 알아내는 방법 - feature x_1 : sensitive information ☞ 알고 싶은 feature의 모든 값을 시험하여 y prediction error가 가장 작은 값을 선택 ▶CM • Rounding confidence
  19. 19. DATA SANITIZING
  20. 20. ATTACK ON DATA SANITIZING ▶ 비정형 데이터 sanitizing • Medical records (PII) • Images/Video (faces) • 주로 named entity recognition (머신러닝기반) ☞ 미탐 오류 => 프라이버시 침해 ▶ 공격자는 자동화된 도구로 미탐되어 제거되지 않은 PII를 찾음 • 공개된 sanitized data에서 PII를 찾도록 training ▶ CM : 공격자의 행위를 모사 • Greedy Sanitize
  21. 21. RELATED SECURITY TECHNOLOGIES
  22. 22. PRIVACY PRESERVING MACHINE LEARNING ▶Training Data에서 프라이버시 침해가 일어나지 않도록 • KLT : K-anonymity, L-diversity, T-closeness • DP : Differential Privacy • HE : Homomorphic encryption X, y (문제,답) MLaaS, Cloud, …
  23. 23. DIFFERENTIAL PRIVACY ▶Differential Privacy • 하나의 데이터 요소로 인한 차이를 알 수 없도록.. ▶DPML : SVM, DT, LR, … http://content.research.neustar.biz/blog/differential-privacy/WhiteQuery.html
  24. 24. HOMOMORPHIC ENCRYPTION ▶암호화된 상태에서 연산 • 검색(멤버십테스트), 정렬, 계산 ▶HE based ML • 암호화된 데이터 X’로 train, predict y’= f(X’)
  25. 25. HE ON MEDICAL DATA ▶ DNA Analysis Based on HE • Calculation of edit distance between 2 DNA Sequence (string oper.) - DNA 길이 : 10,000 - Time/length : 7.6ms • 단순한 vector similarity 계산 • 유방암 질병패널 선택을 위한 바이오마커 검색 (search) - 100K DNA - 6.8s • 간단한 모델 계산 (calculation) - 심장병에 걸릴 확률 계산 : 암호화된 features ( age, bp, chol, ht, wt )로 아래 공식 계산 y = 𝑒 𝑥 𝑒 𝑥+1 , 𝑥 = 0.072 ∙ 𝑎𝑔𝑒 + 0.013 ∙ 𝑏𝑝 + 0.008 ∙ 𝑐ℎ𝑜𝑙 − 0.053 ∙ ℎ𝑡 = 0.021 ∙ 𝑤𝑡 - 1분 이내
  26. 26. PRIVACY PRESERVING MULTI-PARTY MACHINE LEARNING ▶Approaches • Cryptographic Secure Multiparty Computation • Trusted processor based
  27. 27. ISSUE AND FUTURE WORK ▶ AI Safety • 이슈들 ☞ Issues on Medical applications of AI ▶ Adversarial AI threatens data security & privacy • Evasion attack • Model extraction attack • Inversion attack • Attack on data sanitizing ☞ Attack Scenario on Medical applications of AI ▶ Privacy Techniques • Differential privacy • Homomorphic encryption • Privacy preserving ML ☞ Machine Learning (esp. Medical application), PM에 적용 시나리오 ▶ Medical data application of Block chain
  28. 28. 감사합니다. SUNCHOI@KONGJU.AC.KR

×