Introducing artificial intelligence security according to knowledge security environment v1.0

지식보안환경에 따른
인공지능 보안 소개
정훈보안연구소
유 정 훈 대표
JH Security Lab(www.jhseculab.com)

1. 지식보안 환경의 변화
2. 지식보안 개념 및 활용기술 및 사례
3. 인공지능 보안의 위협요소 및 시나리오 기반의 예제
4. 인공지능 보안(딥러닝) 구축시 고려사항
발표배경 목차

I. 지식보안 환경의 변천사와 세상의 변화에 따른 인공지능보안 의 개념을 설명하고
II. 인공지능보안 중 딥러닝 보안 관점의 의 진화, 활용기술, 활용영역 과
현재와 미래의 머신러닝을 이용한 보안 적용 예제를 소개한 후
III. 딥러닝 보안의 위협 요소 및 시나리오 기반의 케이스를 설명하고,
Ⅲ. 인공지능보안(딥러닝) 시스템 구축 시 고려사항 및 시사점을 제시 한 후
➔ 이를 통해 국내 인공지능 (딥러닝) 기술이 많이 보편화 되었으면 합니다.
발표개요

지식보안환경의 변천사
4 / 63
과거와 현재

지식보안환경의 변천사
5 / 63
과거와 현재

세상의 변화(정보화 시대 관점)
NIA, 신 가치창출 엔진,빅데이터의 새로운 가능성과 대응전략(2011.12.30) 을 일부 수정
패러다임 변화
PC 시대 인터넷 시대 모바일 시대 지식보안 시대
IT 이슈
핵심분야(서비스)
대표 기업
IT 비전
디지털화, 전산화
PC, PC통신,
데이터베이스
PC, OS
MS, IBM 등
1인 1PC
온라인화, 정보화
초고속인터넷,
WWW,웹 서버
포털,검색엔진,
Web2.0
구글,네이버,
유투브 등
클릭 e-Korea
소셜화, 모바일화
모바일 인터넷,
스마트폰
스마트폰,앱서비스,
SNS
애플,페이스북,
트위터 등
손안의 PC, 소통
지능화,개인화,
사물정보화
빅데이터,차세대PC,
사물네트워크(M2M)
미래전망,상황인식,
개인형서비스
누가 선점할까요?
(구글, 페이스북,기타)
IT everywhere,
신 가치창출
구글,네이버,
유투브 등
6 / 63

세상의 변화(Changes of the world)
Smart Living Smart Factory
Smart City Smart Health
Future
World
7 / 63
<출처: 정훈보안연구소_전자신문 2016 딥러닝 세미나) >

세상의 변화(Changes of the world)
Smart Living
Smart Factory
Smart City
Smart Health
BIG
DATA
슈퍼컴퓨터 5천대 이용
(3억4천만번 복습)
 128만번의셀프대국
8 / 63

빅데이터를 통한 인공지능 보안
9 / 63
구분 상세특징
Volume 데이터의 크기
Variety
다양한 종류의 데이터
(정형, 비정형)
Velocity
대용량의 데이터를 처
리할수 있는 분석속성
빅데이터의 특징
구분 상세조건
데이터
풍부한 데이터가 필수
(Training Data)
인력
데이터 입력작업 필요
(잘못된 입력데이터의
피드백을 전달해야함)
컴퓨팅
파워
막대한 연산작업으로 인
한 상당량의 컴퓨팅 파
워 필요
머신러닝의 3가지 선결조건
지능
보안
<신규 작성: 정훈보안연구소 ‘2016) >

인공지능 보안 적용기술의 필요요건
Unknown Attack 예측감지와 반복일상을 좀더
편리하게 만들기 위한 것임
BIG
DATA
컴퓨팅
파워
딥러닝
인공지능 기술이
필요한 이유
10 / 63
<출처: 정훈보안연구소_2016 딥러닝 세미나자료 중 일부 편집) >

빅데이터(BIG DATA)
빅데이터 : 대량의 정형 또는 비정형
데이터 집합 및 이러한 데이터로
부터 가치를 추출하고 결과를
분석하는 기술
정보화시대와 스마트시대의 차이점
빅데이터가 떠오르는 이유
(2) 공간, 시간, 관계, 세상을 담는 데이터
(1) ICT 주도권이 데이터로 이동
(3) 미래 경쟁력과 가치창출의 원천
(4) 인공지능을 통한 자기 학습
11 / 69

딥블루 (1997)-승리 왓슨(2011)-승리 알파고 (2016)-승리
개발사 IBM(1996) IBM(2011) GOOGLE(2015)
컴퓨팅 종류 전문가시스템 전문가시스템 신경망 컴퓨터
대결 게임 체스 미국의 인기 퀴즈쇼 ‘제퍼디’ 출전 바둑
컴퓨팅파워/HW
- 11.38기가플롭스 (=2.8Ghz)
- 초당 2억번 탐색
- 약 2톤의 무게라고함.
- IBM 파워 750시스템 90대,
2880코어 규모의 시스템
- 초당 500기가의 데이터
(책 100만권 분량)
- 1920 Processor chip & 280 GPUs
- 초당 10만회 탐색(40개 search threads)
- Cloud computing
(별도 HW없이 인터넷(전용선?)으로 연결
AI 기술
Brute Force search
(몬테카를로 탐색기법)
- 퀴즈를 풀기 위해 자연언어처리
알고리즘적용
(퀴즈쇼에 적합한 형태로 만들어짐)
몬테카를로 탐색기법+ Convolutional
Neural Network(Policy network +
value network)
고수와의 대결
3승 1무 2패
(vs Garry Kasparov) in 1997
※ 세계 체스 챔피언
금액 기준 사상 최대 우승자 브레드 러터,
가장 긴 챔피언십(74번 연속 승리)의
기록 보유자 켄 제닝스와 대결
4승 1패(vs 이세돌) in 2016
출처:알파고, 학습통해 예측력 키워…딥블루보다 ‘AI’에 근접(한겨례신문) 일부편집
컴퓨팅 파워=슈퍼컴퓨터
12 / 69

Deep Learning is
출처:[오늘의T] ‘좋아요’를 무시하는 그녀(HER)! 나만 몰랐던 이유있는 알고리즘(KBS news)
비지도 학습
지도 학습
13 / 69

Deep Learning is
14 / 69

Deep Learning is
15 / 69

기존 프로그램과 머신러닝의 차이점
Computer
Computer
Traditional Programming
Data
Program
Output
Program
Data
Output
Machine Learning
16 / 69

Hello.
i'm jeoung hoon go.
Thank you for inviting me.
인공지능보안(Deep Learning)의 진화
1996년 일본의 반다이에서 만든 장난감으로,
기계안에서 가상의 애완동물을 키우는
육성 시뮬레이션 게임이다
과거 시점 현재 시점
17 / 69

인공지능보안(Deep Learning)의 진화
1996년 일본의 반다이에서 만든 장난감으로,
기계안에서 가상의 애완동물을 키우는
육성 시뮬레이션 게임이다
과거 시점 현재 시점
구글 이미지 검색창에 ‘atari breakout’ 입력
아타리(Atari) 비디오 게임 플레이를 스스로 학습
하는 인공지능 프로그램인 DQN(Deep Q-
network)를 개발했다
벽돌깨기
18 / 69

2.10 오픈소스를 통한 Deep Learning의 활용기술
페이스북, 딥러닝 프로젝트 '토치' 딥러닝 모듈 오픈소스 공개
(현재 :구글, 트위터, 엔비디아, AMD, 인텔 등 인공 지능을
연구 개발하는 기업에 한정되어 있음)
페이스북의 딥 러닝 활용 기술 ‘딥페이스기술”
구글의 ‘텐서플로’ 오픈소스 공개
구글 검색, 구글 포토, 구글 번역, 지메일(Gmail) 등
자사 제품에 이미 적용
오픈소스를 통한 Deep Learning의 활용기술
2014년 뉴욕대 얀 리쿤(Yann LeCunn) 교수와 함께
딥러닝 기술을 적용해 얼굴인식 알고리즘을 개발
얼굴의 67곳에 점을
찍어 3D로 변환
딥페이스의 정확도:
97.25%
인간의눈 정확도:
97.53%
19 / 69

국내 빅데이터를 통한 지능보안 관련키워드
출처: K-ICT 빅데이터 센터
20 / 69

전자신문–사람과 기계의 대결
이세돌 9단 vs 구글 ‘알파고’
누가 이길것인가?
지능정보기술연구소 설립과
5년간 1조원 투자 등 ‘지능
정보산업 발전전략’ 을 발표
21 / 69

지식보안의 활용영역
정 보
인 식
예 측
제 어
텍스트마이닝
스팸필터
문서분류
고객분석
시장분석
마케팅
상품추천
문자인식
패턴인식
얼굴인식
지문인식
장애물인식
학습로봇
무인자동차
생산공정제어
화학물질합성
22 / 69
<출처: 정훈보안연구소_전자신문 2016 딥러닝 세미나) 자료 중 내용 일부 편집 >

Deep learning이 왜 중요한가?
프로그래밍이 어려운 문제들
✓ 인간에 의해 정답 풀이가 어려울 경우
✓ 환경의 변화가 있을 경우
IT 환경의 변화
✓ Big data
✓ Computing power
✓ Mobile services
직접적인 비즈니스 가치 창출
✓ User preference
✓ Advertisement
✓ Recommendation
23 / 69

Deep Learning의 활용 예제(1/2)
인도의 두세레테크놀로지의 진동으로 길을 알려주는
스마트 신발 Lechal (깔창이용)
워드 스미스 [자동기사 로봇]
(워드스미스씨, 퓰리처상을 수상하다?)
휴머노이드 로봇 ‘페페’ 워드렌즈의 ‘증강현실번역서비스’ => 구글이 인수함
24 / 69

Deep Learning의 활용 예제(2/2)
넷 플렉스) 딥러닝 기술을 활용한 사용자별
영화선호도 측정 및 추천 시스템 구축
구글의 딥러닝 ‘음성인식, 이미지 검색’ 서비스 기술
국내기업 CIDI 사의 딥러닝기술을 활용한
암치료 진단 시스템-이미지 인식대회 기술 7위)
기타: 스팸메일 차단, 자동차 안전시스템 활용
25 / 69

딥러닝 의 예제(국내)
http://m.ndrive.naver.com
여러명 아기한명
여름 가을봄 겨울
글자
음식
노을
동물 패션 설경
야경
자연스마일
26 / 69

딥러닝 의 예제(국외)
[2014] Human vs Omron’s ping-pong playing robot
참고동영상 : https://youtu.be/lUxigwoPsTc
27 / 69

[참고] 현재: 인간수준지능의 자가학습
PayPal 의 FDS 금융사기 거래 시스템 적용 ( 부정거래에 대해 많은 피해를 줄임)
적용방식: 챔피언-챌린저(champions-and-challengers) 방식의 접근법을 사용
금융분야에서 리스크 관리를 위해 활용되는 이 방식은 기존에 사용 중인 전략(챔피언)과 새로운 전략
(챌린저)를 동일한 환경에서 테스트 해본 후 이전보다 나은 전략을 선택하는 방식
28 / 69

[참고] 미래: 인간수준지능의 자가학습
KIBO- 현재 만들어 지고 있는
로봇(립싱크 및 의사전달,동작가능)
바이센티얼 맨(2000년도) –인간이 되고 싶어하는 로봇
(휴머노이드 ‘앤드류’와 ‘포샤’의 사랑이야기)
Her(2013년도)-인공지능 사만다와 사랑에 빠지는 이야기 구글의 자율 주행카
29 / 69

만약.....
악의적인 인공지능(딥러닝) 시스템
을 구축 한다면 어떻게 될까요?
30 / 69

딥러닝 의 긍정적 사례
MS사가 중국에서 시작한 샤오이스(XiaoIce) 인공지능 대화 서비스(2015년출시)
31 / 63
(영화속의 한 장면) Her(2013년도)
인공지능 사만다와 사랑에 빠지는 이야기
샤오이스(XiaoIce)인공지능[17세 지능을가짐]
마웨이잉 마이크로소프트(MS) 리서치아시아 부소장은 “지난해 중국에서 시작한 인공지능 대화 서비스 ‘샤오이스
(Xiaoice)’가 호평을 얻고 있다”며 “MS는 회의 계획을 세우는 로봇을 만드는 등 사업을 확장하고 있다”고 전했다.
[출처: 중앙일보] “지능비서·스마트로봇, 10년 내 기술 구현 가능”

딥러닝 의 위협 실제 사례
MS 채팅봇 Tay(Thinking about you)가 가르쳐 준 AI위협
빅 데이터 수집
인공지능시대의 도래에 따른 위협증가
32 / 63
<출처: 야경 e 2016. 2016.03.25_MS 채팅봇 Tay, 순식간에 인종차별주의자 변해…봇 가동 중단>
2016. 3 23 16시간 가동후 중단
소수자에 대한 부적절한 발언
이용대상: 미국의 18세~24세의 사용자

딥러닝 보안의 위협
딥러닝 보안의 중요성 확대
(1) 개방형 플랫폼 및 모바일 디바이스
접근경로를 통한 대량 생산체계 위협 증대
: 소스분석을 통해 악의적인 악성코드를
주입 시킬 우려가 있음.(tensorflow 등)
딥러닝 보안 위협
(2) 병원 시스템 및 핀테크 시스템의
개인정보 유출시
=>현 시점에서 가장 돈이 되는 데이터는
의료정보이고, 그 다음으로 금융정보임.
(3) 국내 데이터 국외 이전 데이터 노출 가능
=>AWS 시스템을 통해서 국내데이터
가 국외 쪽으로 대량전송 가능
인터넷 접속, 개인정보, 대량의 데이터 등 중앙시스템
에 따른 해킹, 바이러스 침해 등 보안사고로 인한 피해
증대 가능
⚫ 개방형 플랫폼 : 보안 취약점 노출 위협증대
⚫ CPS 환경(접근경로) 의 대량 생산체계 위협 증대
: 악의적 바이러스 제작 및 유포 기회 확대
(공유 플랫폼 개발전 개발자 PC 를 통해
감염된 패키지를 납품 될 수 있는 우려가 있음)
⚫ 다양한 네트워크 접속환경지원 : 감염경로의 다양성 제공
⚫ 국외 클라우드 서비스 이용시
: AWS 시스템을 통해서 국내데이터 가 국외 쪽으로 전송시
개인 및 기업 정보 유출 위협 증대
33 / 63

시나리오를 기반으로 한CASE STUDY 예시
(lowa state university, USA 연구결과 중심으로)
중앙제어
시설망
기타네트
워크
변전소망
출처: Cyber-Physical Systems Security of Power Grid: Risk Modeling and Mitigation
http://powercyber.ece.iastate.edu/
34 / 63

칩입 과정 프로세스
35 / 63

Power System상의 Cyber-Attacks 유형
36 / 63

Power System상의 Cyber-Attacks 유형
37 / 63
조합공격 단일공격

보안 테스팅 사용 도구 및 공격 방식
(제어시스템 프로토콜)
38 / 63

시나리오 측면의 결론
1. Cyber security electric power grid is of great importance
2. Smart attack and coordinated(조합된) attacks could have severe
impacts to the stability, performance, and economics of the grid
- Data integrity attacks, Denial of Service (e.g: Denial of Control)
- intrusion-based attacks, Protocol attacks, Worms/ Malware
3. Cyber-Physical System Security is an important area of R&D
4. Development of Countermeasure:
- Attack prevention(공격방지), detection(탐지),
- Mitigation(경감), and tolerance(내성)
39 / 63

현시점: Machine learning을 활용한 보안 적용사례
IPS 와 같은 장비에 딥러닝을 활용하여 시그니처 기반의 패턴 적용
- 수동 패턴 방식이 아닌 자동 패턴 방식으로 고민 검토 필요(e.g: vectra의 SIEM 적용)
출처: 인피니그루가 본 룰 기반 FDS와 딥러닝 기반 FDS 비교의 내용 일부 편집
핀테크측면에서의 딥러닝을 통한 FDS 시스템 적용 가능
- 사기분석 및 조사
- 자동화된 위협 인텔리전스 및 예방
- 인지 어플리케이션 을 활용한 자문 및 권고
40 / 63

41 / 63
[담발라 케이엘 테크놀로지]
: 평판시스템, 위험예측 시스템, 상관관계 분류엔진, 랜섬웨어 대응에 활용
[IBM] : Deep Learning 을 활용한 지능형 보안 관제 플랫폼 서비스 제공
=> IBM InfoSphere Biginsights
[Prelert(프리럿)] : 머신러닝 기반의 강력한 이상징후 감지 솔루션
(조기감지, 수천개의 IDS/IPS alert 중 alert 제공, 우회접속 탐지시스템 등)
[Cyphort(사이포트)] : Malware 탐지엔진, APT 탐지엔진
[VECTRA] : 지식보안 기반의 보안이벤트정보관리(SEIM) 솔루션
Cyber Kill Chain (Command & Control)별 탐지알고리즘
Machine Learning과 통합상관분석 알고리즘 기반 활용 등
현시점: Machine learning을 활용한 보안 적용사례

인공지능보안 시스템 구축시 고려 사항
⚫ 반드시 목적에 맞는 데이터가 많아야 한다.
(딥러닝을 효과적으로 작동시키기 위해서는 수많은 강화학습을 진행해야 함)
⚫ 각 분야 관련 법/ 제도, 보안 이슈 에 대한 논의 검토가 필요함
(자율주행, 로봇, 의료 등 안전과 직결된 문제가 많으나 현재 법안이
미비하거나 없는 상태)
=> e.g: 일반자동차와 자율자동차가 사고가 났다면 책임은 누구에게?
⚫ 인공지능보안 (딥러닝)을 활용한 시스템을 어떤 보안측면에서 적용하고 활용할
지에 대한 검토가 필요함. (도입절차나 검증 측면)
42 / 63

인공지능보안의 시사점 및 제언
✓ 공공 및 기업 관점
딥 러닝을 이용한 시스템 도입시 FedRAMP(보안성인증 및 인가) 등을 참고하여 검증절차
에 대한 표준화가 필요 => CC평가제도나 제3자가 평가 할 수 있는 TTA 나 정보보호 준비
도 평가기관 등을 활용하여 표준화 구축 검토 제언 하고자 함.
클라우드 소싱을 통해 딥 러닝 시스템 적용시 암호화 체계의 검토가 필요함.
(각 기관의 데이터 개별 암호화 필요)
필요 정보에 대한 데이터의 분류부분(비식별화 포함)이 설계 시부터 고려 필요
인공지능 관련 법/ 제도, 보안 관련 가이드라인이 만들어져야 함
(자율주행, 로봇, 의료 등 안전과 직결된 문제에 대한 관련 법안 및 규정 필요)
예: 생명측면: 생명을 담보로 하는 경우 FDA인증 강제화 필요,
보안측면: NIST 및 FedRAMP 등 참고필요
43 / 63

기업과 개인의 데이터의 공유 범위 및 비식별화 측면의 주기적인 검토가 필요
미래의 보안을 하려면 컴퓨터 과학자가 되어야 함.
소프트웨어 개발과 여러 산업 분야의 지식이 결합하여 보안 검증 필요
인공지능보안의 시사점 및 제언
인공지능보안(딥 러닝)을 활용한 시스템 관리 및 이용시 꼭 준수할 사항
(딥러닝을 이용한 시스템과 연계된 시스템의 경우 모르는 내용이나 이상한 메일 내용은 클릭금지)
✓ 개인 관점
클라우드 소싱이나 각사의 시스템 활용시 주기적인 패스워드 변경 관리 필요
44 / 63

정훈보안연구소
유 정 훈 대표
E-Mail :
James.yoo@jhseculab.com

Introducing artificial intelligence security according to knowledge security environment v1.0

Recommended

Recommended

More Related Content

Similar to Introducing artificial intelligence security according to knowledge security environment v1.0

Similar to Introducing artificial intelligence security according to knowledge security environment v1.0 (20)

More from james yoo

More from james yoo (9)

Introducing artificial intelligence security according to knowledge security environment v1.0