Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Medical AI Perspectives;
공포와 과장을 넘어
Namkug Kim, PhD namkugkim@gmail.com
Medical Imaging N Robotics Lab. http://mirl.ulsan....
Researches with
Hyundai Heavy Industries Co. Ltd.
LG Electronics
Coreline Soft Inc.
Osstem Implant
CGBio
VUNO
Kakaobrain
C...
MIRL@AMC
Image Based Robotics
Biopsy/Tunneling
Artificial Joint Replacement/
Active Catheter
DBS Robot
Computer Aided Surg...
4
MBC 다큐 스페셜 ‘미래인간 AI’, 2016.12.05
영상유도 중재 수술로봇 ; 현대중공업 폐영상 분석 SW ; 코어라인 소프트
3D 프린터 응용 ; 서울아산병원
Movie Clips
AMC : a leading hospital in Korea
 Total area of 524,000 m2
 No.1 in number of patients and
treatments
 No.1 in perform...
A world best hospital in organ transplantation & cancer surgery
Transplantation
in Korea
Liver Heart Kidney Pancreas
34.9%...
Investing heavily in clinical and inter-disciplinary research
Achieve a world-class medical reputation to
aggressively inv...
Five tribes of AI researches
From Pedro Domingos, Professor, University of Washington at MLconf ATL
Connectionism
Comparative psychologist
S- R framework of behavioral
psychology
Associations forming between
stimuli and re...
Graceful degradation
the performance of biological neural networks
degrades gradually -- "gracefully"
-> artificial neural...
ARTIFICIAL NEURAL NET
11
Comparison btw Brain and NN
12
Comparison btw Brain and NN
13
1. 10 billion neurons
2. 60 trillion synapses
3. Distributed processing
4. Nonlinear proces...
Size of neural networks
14From Ian Goodfellow, MIT Press 2016
Bio Plausible Neural Network
Mimic human visual recognition system
Neocognitron, proposed by Hubel & Wiesel in 1959
Visual...
CNN : Major Breakthroughs in Feedforward NN
K. Fukushima Yann Lecun G. Hinton, S. Ruslan
Neocognitron
Neocognitron (1979)
...
From Shallow to Deep Learning
Shallow learning
SVM
Linear & Kernel Regression
Hidden Markov Models (HMM)
Gaussian Mixture ...
특징 추출
18
Behavior of CNN
19
Paradigm shift
23
Analog Digital
vs
Program Deep Learning
vs
Data GS
Results
Data GS
Program<<
Ref
Little cost for duplica...
인공지능 의료적용 분야
인공지능 분야
시각지능
언어지능
판단지능
자동분류
요약/창작
공간지능
임상시험
케이스선정
신약개발프로세스
진료보조
비서서비스
음성인식 의무기록
데이터기반 정밀의료
유전체분석
약혼합사용 및 합병증 ...
인공지능 의료적용 분야 (임상 중심 분류)
정상 유무 판정
초기진단 빅 데이터와 차세대
인공지능 기법을 통해 정밀판독
이 없이도 초기 감별진단
유사증례검색
DB의 수많은 증례로부터 유사
한 증례를 검색, 시각화하여 진
...
1. 영상 인식 및 분할 : CNN
Image tagging,
retrievalObject recognition Scene segmentation
Convolutional Neural Networks (CNN)
Neural network with sparse connections
Learning algorithm:
Backpropagation on convolut...
Diabetic Retinopathy : JAMA
28
Training data
EyePACS in the US, 3 eye Hospital in India
Validation data
EyePACS
May 2015 ~...
Chest X-ray CAM
Weakly Supervised Learning + Class Activation Map
- Resnet50 ILSVRC Pre-trained Model
Chest X-ray CAM
췌장암 CAD
AMC 영상의학과 김형중 교수 협력연구
U-net을 기반으로 네트워크 구조를 설계, 췌장 분할
췌장암 CT 영상 레이블 및 Gold Standard 구축
Human reader가 복부 CT 영상의 췌장의 ...
Intuitive Surgical
32
식이조절 환자용 음식 분류 및 칼로리 계산기
식이조절 환자용 음식 분류 및 칼로리 계산기
음식 이미지 분류에 대한 논문 리서치
음식 분류를 위한 다양한 논문 과 문헌을 참조
공인된 음식 이미지 데이터 셋 확보
딥러닝(D...
2. 음성/시그널 인식 및 번역
Speech
Recognition
Machine Translation
Speech Recognition + Machine
Translation
RNN(NMT, Seq2Seq, Word2Vec)
35
Automatic Dictation
36
AMC audio dictation
영상의학과 : 50만건/y
핵의학과 : 20만건/y
병리과 : 100만건/y
초음파, 내시경, 간호일지, 외래, 수술실 : +500만건/y
N...
Prediction of ventricular arrhythmia
37
3. 비디오 인식
Video understanding (Google, 2014)
Scene parsing (NYU/Facebook , 2014) NVIDIA DRIVE PX, 2015
중이염 동영상 인식 및 모니터링
AMC ENT 정종우 교수님 협력연구
수술장 동영상 기술 개발
중이염, 인공와우 수술 동영상자료의 분류
수술영상을 각 단계로 분류 : 1000 례 이상
분류된 영상의 구조물 명시와 술식명...
Contactless Interface
40Comput Math Methods Med. 2016
립모션 센서
Personal Training
41
Gestures
Method
Leap
motionTM
Our
proposed
method
Accuracy
(%)
Accuracy
(%)
Hovering - 99.8%
Click 90...
Leap Motion IR image
• Deep Learning
42
4. 비디오 + Device(차)
비디오 + Device(로봇) : 잡기 (구글)
비디오 + Device(로봇) : 잡기 (DexNet)
Burger Patty Flipping Robot
David Zito, CEO of Miso Robotics
Robot Surgeons Are Taking Over the Operating
Room
47
This robot can perform soft tissue surgery better
than a human
48
da Vinci + Deep Learning
49
Autonomic Surgical Robot
50
51
5. General Sensor : Google Lens
52
IoT
간호사 중심 의사 중심
의사, 간호사 시점 (360도) 수술실 전체 (360도) 수술 장면 (캠코더)
수술 장면은
항상 같이 나옴
모든 장면과 상황을
원하는 곳에서!!
수술실 전체
360도 다시점 VR 동영상 @ 수술실...
6. 생성 모델 (얼굴, 거실)
Deep Convolutional Generative Adversarial Networks (DCGAN)
Rotations are linear in latent space
Bedroom ...
GAN
55Kim, Namju’s Slideshare
생성 모델
Zhang et al
생성 모델
Isola et al
7. 영상 해석/자막 생성
Image Caption
Generation
Video Caption
Generation
Chest X-ray Mesh Term
59
Learning to read chest x-ray
Automated annotation with attention and visual-
sentence mapping
8. 질의 문답
Image Question
Answering
Speech Recognition + Image Questing
AnsweringVideo Question
Answering
Text Question
Answ...
Relational Network
VQA (Visual question answering)
61DeepMind
9. 생성 모델 (아트)
Artistic neural style
63Luan, et al, Deep Photo Style Transfer
Medical ImageNet
64GTC 2017
Medical ImageNet
65
Medical ImageNet
66
Medical ImageNet - CT
Large size 12bit 의료영상 특화 pretrained
network
ImageNet size의 12bit에 단채널을 사용하는 CT/MRI등의 의료영상 데이
터 빌딩 필요...
간암/유방암 치료 CDSS
AMC 소화기 내과 김강모 교수 협력연구
AMC 유방내분비외과 안세형/고범석 교수 협력연구
High Quality 간암 치료 임상 빅데이터 구축 및 레이블링
간암의 임상-혈액-영상 결합형 빅데...
70
CBIR for Medical Images
71
The Previous Research
for Quantification Definition of Similar Lung Images
Extraction of Distribution Features Extracti...
제안서 page 6,101
72/6
1
현실
73
74
AP 통신 : 인공지능(로봇)이 기사 작성, 기술 공개
초당 2,000개 기사 작성 가능
기존의 300개 기업 실적 -> 3000개 기업 실적 커버
75
Right now, about 80% of Americans who need a lawyer can't afford one
"With ROSS, lawyers can scale their abilities and ...
GOLDMAN SACHS
76
Radiologist
77
Pathologist
78
기계파괴운동 (1811-7)
79
정밀의료(Precision Medicine) Initiative
“And that’s why we’re here today. Because something called precision
medicine … gives ...
의료 빅데이터 + 인공지능
의료 빅데이터를 이용하는
정밀의료 실현
사물인터넷 유전자검사
의료영상
환자 모니터링
하루 37만건의 의무기록 (연
간 약 1TB)
연간 약 2백만 영상데이터
(30TB)
3.8×109 염기쌍을...
의료비 절감의 필요성
의료효율성
국내현황
Efficacy (효용성)
Cost (비용)
Equation = Efficacy / Cost
• 정밀치료를 통한 효용성 극대화
• 효율적 의료시스템 구축을 통한 비
용 감소
• ...
Global Trends Drive Momentum in health care industry
Data Explosion 150+ exabytes Amount of healthcare data today1
Over 23...
Opportunity
85
8 trillion : Industry
Size
2 trillion : waste in industry
Better experience
Imaging :
Unnecessary tests
Low...
Strategy
Proof of principal
Google
Retinopathy, JAMA 2016
– 130k images, 54 ophthalmologists
– Reference standard
– Severi...
BEYOND
97
인공지능 의료적용의 어려움과 대책
98
의료환경의
표준화의
어려움으로
인공지능 훈련을
위한 라벨링 어려움
개인정보보호에
따른 데이터의
비개방성
의료기기 인허가,
신의료기술인정 및
수가 장벽
인공지능 전문가와
의료전문가의...
Machine Operable, Human Readable
Visual attention
Category – feature mapping
Sparsity and diversity
99
(-)
(+)
정답 NICEIII
...
MD-friendly Interpretation
Breast cancer risk prediction through BI-RADS categorization of
mammography
Analysis and visual...
법적이슈
의료법 21조 제 3자 열람, 16, 23조 전자의무기록
생명윤리 및 안전에 관한 법률 제2, 15, 16, 18 조
개인정보보호법 제2조 제1항 제6호
의료기기법 : 허가 (2,6조) 및 유효성 (8, 9, ...
Medical Education
MD-PhD Convergence Education
MD education
Resident course
Theory
Hands on workshop
PhD education course
...
의료진 교육 워크샵
103
일시 : 2017년 6월 10일 (토) 오전 10시~오후 5시 45분
장소 : 서울아산병원 서관 3층 강당
RSVP : 주은리 picky.erju@gmail.com
의료 AI unmet needs 교육 워크샵
104
Platform
High quality data building & Platform
Platform
Data, HW, SW 지원
Hospital -> Data supply
Start-up Supports
Data sha...
Convergence Researches
High quality project for changing world
Examples
Multi-attention Supervised Learning for Captioning...
Convergence Researches
Chatbot for medicine
Unmet Needs
외래시 환자가 대면을 못하고 컴퓨터만 본다
예전보다 환자 정보의 과잉 및 다양한 정보 체크 필요
원인
레지던트, fel...
Open Contest
Not same to Apple, Samsung, Naver
Impact medical imaging open competition
Chest PA
Dx audio -> text
Pathology...
109
Solvay, 1927
Einstein, “God does not play dice”
Bohr, “Einstein, stop telling God what to do”
Old forest
110
Take Home
4차 산업혁명
250년 늦은 지각생
위기이자 기회
우리나라의 기회
세계적 의료 수준
대규모 데이터를 쉽게
모을수 있음
의료 인공지능은 수준
이 떨어지지 않음
융합
교육
연구개발
제도 개선
111
Collaborators
• MIRL
• Clinical Collaborators@Asan Medical Center, SNU BH
– Radiology : Chest, Cardiac, Abdomen, Neuro/Bra...
Upcoming SlideShare
Loading in …5
×

Medical Ai perspectives

2017년 6월 10일(토) 서울아산병원에서 개최되었던 '의료 딥러닝 워크샵-기초부터 진보까지' 교육워크샵 발표자료를 올려드립니다.
공개 불가능 자료는 일부 삭제되었으니 양해를 부탁드립니다.
*울산대학교 김남국교수 강연 자료

Medical Ai perspectives

  1. 1. Medical AI Perspectives; 공포와 과장을 넘어 Namkug Kim, PhD namkugkim@gmail.com Medical Imaging N Robotics Lab. http://mirl.ulsan.ac.kr Convergence Medicine/Radiology Biomedical Engineering Center Asan Medical Center/Univ. of Ulsan College of Medicine
  2. 2. Researches with Hyundai Heavy Industries Co. Ltd. LG Electronics Coreline Soft Inc. Osstem Implant CGBio VUNO Kakaobrain Conflict of Interests Stockholder Coreline Soft, Inc. AnyMedi Co-founder Somansa Inc. Cybermed Inc. Clinical Imaging Solution, Inc AnyMedi, Inc. Selected Grants as PI NRF, South Korea 7T용 4D 자기공명유속영상을이용한 심뇌혈관 질환의 in- vivo 유동 정량화 SW개발, 2016 4D flow MRI을 이용한 심혈관 질환의 in-vivo유동 연구, 2015-7 자기공명분광영상 및 MRI의 통합 분석 소프트웨어 개발 KEIT, South Korea 의료영상 인공지능 과제, 2016-20 3DP 척추 맞춤형 임플란트, 2016-20 3D 프린터 기반 무치악 및 두개악안면결손환자용 수복 보철물 제작, 재건 시스템 개발, 2015-9 근골격계 복구 수술 로봇 개발, 2012-7 영상중재시술 로봇시스템 개발, 2012-7 Spine및 Neurosurgery 수술보조용 항법 시스템 개발, 2001 의료용 3차원 모델 제작 S/W 기술 개발, 정통부, 2000 의료영상재구성에 의한 가상시술 소프트웨어 개발, 중소기업기술혁신개발,중기청, 2001 KHIDI, South Korea 영상 뇌졸중 예후 예측 및 치료방침 결정 시스템 개발, 2012- 8 관동맥 관류 CT 의 자동 진단 프로그램을 활용한 허혈성 질환의 진단과 치료, 2013-6 RP를 이용한 척추나사못 삽입술 계획 프로그램 개발, 2000 Companies Fundings SiemensGermany, Hyundai Heavy Industry, OsstemImplant, S&G Biotech, Corelinesoft, MidasIT, AnyMedi, Hitachi Medical,Japan,
  3. 3. MIRL@AMC Image Based Robotics Biopsy/Tunneling Artificial Joint Replacement/ Active Catheter DBS Robot Computer Aided Surgery Human computer interface Stereovision Contactless Interface Image guided Surgery Planning 3D Printing/Navigation Brain Stroke Parkinson DBS planner, ECoG, BMI Lung COPD DILD Asthma HT Cardiac CT Perfusion 4D Flow MRI 4DUS LCX Artificial Intelligence For Medical imaging Artificial Intelligence Segmentation/Registration Computer aided detection Content based image retrieval LAD RCA
  4. 4. 4 MBC 다큐 스페셜 ‘미래인간 AI’, 2016.12.05 영상유도 중재 수술로봇 ; 현대중공업 폐영상 분석 SW ; 코어라인 소프트 3D 프린터 응용 ; 서울아산병원 Movie Clips
  5. 5. AMC : a leading hospital in Korea  Total area of 524,000 m2  No.1 in number of patients and treatments  No.1 in performing surgeries on top 6 cancer patients & 30 major diseases New BuildingEast BuildingWest Building Education & Research Center Convergence Innovation Building Dormitory Total Beds 2,715 licensed beds Outpatients Inpatients 13,380 (Daily average) 2,586 (Daily average) Medical Staffs 7,924 (MDs: 1,720 RNs: 3,627 Others: 2,577) Surgical Operations 91,000 Annual (250 / day)
  6. 6. A world best hospital in organ transplantation & cancer surgery Transplantation in Korea Liver Heart Kidney Pancreas 34.9% 47.2% 14.6% 64.8% 98 85 88 Liver 98 97 95 Heart 95 86 86 Kidney 95 95 85 Pancreas AMC (Asan Medical Center) UNOS (United Network For Organ Sharing) KONOS (Korea Network For Organ Sharing) Survival rates (1 year)
  7. 7. Investing heavily in clinical and inter-disciplinary research Achieve a world-class medical reputation to aggressively invest in R&D and clinical trial Clinical Research Investigator (MD) 685 Lab Technician 839 Basic Research Investigator (PhD) 119 Administration 39 (Units : Number of personnel) Selected research-driven hospital by Korean government R&D funding US$ 1.2 billion by the government (10 hospital, 3 yrs) Over 1,600 Investigators for Research AI Established a new research center for artificial intelligence in medical imaging 3D Printing Leading 3D printing technology in medical field Genome Genomic studies on rare genetic diseases, cancer, chronic diseases, etc. Medical Robot Robotic training center for training & researching on robotic surgical skills ⋯ Development of clinical applications by open network and translating advanced technologies
  8. 8. Five tribes of AI researches From Pedro Domingos, Professor, University of Washington at MLconf ATL
  9. 9. Connectionism Comparative psychologist S- R framework of behavioral psychology Associations forming between stimuli and responses. become strengthened or weakened by the S-R pairings. trial and error learning due to rewards. connectionism : learning could be adequately explained without referring to any unobservable internal states. 9 Ivan P. Pavlov (1849-1936), Nobel Prize@1904 on digestion
  10. 10. Graceful degradation the performance of biological neural networks degrades gradually -- "gracefully" -> artificial neural networks are more accurate information processing models than classical ones. ANN도 정신병? ; epilepsy 10 the property of a network : performance progressively becomes worse as the number of its randomly destroyed units or connections increases <-> catastrophic degradation : the property of a system whose performance plummets to zero when even a single component of the system is destroyed
  11. 11. ARTIFICIAL NEURAL NET 11
  12. 12. Comparison btw Brain and NN 12
  13. 13. Comparison btw Brain and NN 13 1. 10 billion neurons 2. 60 trillion synapses 3. Distributed processing 4. Nonlinear processing 5. Parallel processing 6. Efficiency (20~25W, 하루섭취량의 20~25%) 1. Faster than neuron (10-9 sec) cf. neuron: 10-3 sec 3. Central processing 4. Arithmetic operation (linearity) 5. Relatively Sequential processing 6. Efficiency (Titan X : 250W) cf. 1[kcal] = 1.16[Wh], 1W=1J=1Nm/s, 1cal=4.2J=1.163mWh Brain Computer
  14. 14. Size of neural networks 14From Ian Goodfellow, MIT Press 2016
  15. 15. Bio Plausible Neural Network Mimic human visual recognition system Neocognitron, proposed by Hubel & Wiesel in 1959 Visual primary cortex by cascading from S-Cell to C-Cell Each unit connected to a small subset of other units Based on what it sees, it decides what it wants to say Units must learn to cooperate to accomplish the task 15From Gallant and van Esses, Simon Thorpe
  16. 16. CNN : Major Breakthroughs in Feedforward NN K. Fukushima Yann Lecun G. Hinton, S. Ruslan Neocognitron Neocognitron (1979) • By Kunihiko Fukushima • First proposed CNN Convolutional Neural Networks (1989) • Yann Lecun et.al • Back propagation for CNN • Theoretically learn any function LeNet-5 architecture Alex krizhevsky , Hinton LeNet-5(1998) • Convolutional networks Improved by Yann Lecun et.al • Classify handwritten digits D. Rumelhart, G. Hinton, R. Wiliams 1960 1970 1980 1990 2000 2010 2012 Perceptron XOR Problem Golden Age 1957 1969 1986 F. Rosenblatt M. Minsky, S. Papert • Adjustable weights • Weights are not learned • XOR problem is not linearly separble • Solution to nonlinearity separable problems • Big computation, local optima and overfiting CNN Breakthrough (2012) • By Alex Krizhevsky et al. • Winner of ILSVRC2012 by large marginDark Age (AI winter) Back propagation (1981) • Train multiple layers Multi-layer Perceptron (1986) 1950 Neocognitron (1959) • Hubel & Wiesel • by cascading from S- Cell to C-Cell
  17. 17. From Shallow to Deep Learning Shallow learning SVM Linear & Kernel Regression Hidden Markov Models (HMM) Gaussian Mixture Models (GMM) Single hidden layer MLP Artificial Neural Net (ANN) ... Limited modeling capability of concepts Cannot make use of unlabeled data
  18. 18. 특징 추출 18
  19. 19. Behavior of CNN 19
  20. 20. Paradigm shift 23 Analog Digital vs Program Deep Learning vs Data GS Results Data GS Program<< Ref Little cost for duplication Little cost for developing program
  21. 21. 인공지능 의료적용 분야 인공지능 분야 시각지능 언어지능 판단지능 자동분류 요약/창작 공간지능 임상시험 케이스선정 신약개발프로세스 진료보조 비서서비스 음성인식 의무기록 데이터기반 정밀의료 유전체분석 약혼합사용 및 합병증 예측 진단검사추천 판독보조 정상유무판정 유사증례검색 판독문 생성 병리분야 판독 보조 물류, 수술실, 병실 운영 로봇수술 의료 인공지능 인공지능 의료적용 분야 24
  22. 22. 인공지능 의료적용 분야 (임상 중심 분류) 정상 유무 판정 초기진단 빅 데이터와 차세대 인공지능 기법을 통해 정밀판독 이 없이도 초기 감별진단 유사증례검색 DB의 수많은 증례로부터 유사 한 증례를 검색, 시각화하여 진 단에 도움 예비 판독문 생성 인공지능 기반 의료영상 분석기 법과 자연어 처리기술을 융합, 영상전문의의 판독을 보조할 수 있는 수준의 판독문 자동생성 병리분야 판독 보조 병리영상 빅데이터에 인공지능 기법의 적용, 진단, 발병기전 분 석, 예후 예측 등에 활용 임상시험 인공지능 기술을 기반으로 단일 병원 및 병원 클러스터간 물류, 수 술실, 병실의 효율적 운영 물류, 수술실, 병실 운영 로봇수술 인공지능 기술을 통해 의료 로봇 의 수술을 계획, 위험도 예측, 침 습부위 최소화 진료보조 데이터기반 정밀의료 판독보조 신약 약물 개발과정에 인공지능 기법을 적용, 질병 치 료에 더욱 효과적인 약물의 조합과 용도 변경 탐 색, 약물 후보군 및 임상환자 군의 최적화 케이스 선정 인공지능 기반 검색기법을 통해 적합한 질병 및 환자 를 탐색, 임상 시험의 준비 기간을 단축, 객관성 향상 비서서비스 IoT기술, 음성 인식기술 및 인공지능 기술을 융합, 효율적인 예약, 진단 및 진료 프로세스, 업무 정보 업데이트 및 맞춤형 큐레이션 음성인식 의무기록 진단 및 판독 내용의 기록을 자동화, 의료분야 전문용어를 판독 및 구조 화할 수 있는 수준의 음성 인식 및 문서 생성 기술 진단 검사 추천 정밀 진단 및 치료를 위해 인공지능 및 빅데이터를 활용, 정확도를 높이 고 위험도를 낮추기 위한 추가 진단 검사 프로세스를 추천 유전체 맞춤 의료를 위해 유전체, 멀티모달 의료 영 상 및 임상병리 빅데이터를 바탕으로 연관 성을 분석, 모델링하여 예후 예측, 진단 및 치료 약 혼합 사용 및 합병증 예측 치료 및 약물 사용 시 사례기반 위험성 또는 합병 증의 위험을 알려 주어 의사의 최종 결정을 보조 25
  23. 23. 1. 영상 인식 및 분할 : CNN Image tagging, retrievalObject recognition Scene segmentation
  24. 24. Convolutional Neural Networks (CNN) Neural network with sparse connections Learning algorithm: Backpropagation on convolution layers and fully-connected layers
  25. 25. Diabetic Retinopathy : JAMA 28 Training data EyePACS in the US, 3 eye Hospital in India Validation data EyePACS May 2015 ~ Oct 2015/Variable camera sources Messidor-2 public dataset, Jan 2005 ~ Dec 2010/3 hospitals in France Grading Image quality, Diabetic retinopathy existence / severity
  26. 26. Chest X-ray CAM Weakly Supervised Learning + Class Activation Map - Resnet50 ILSVRC Pre-trained Model
  27. 27. Chest X-ray CAM
  28. 28. 췌장암 CAD AMC 영상의학과 김형중 교수 협력연구 U-net을 기반으로 네트워크 구조를 설계, 췌장 분할 췌장암 CT 영상 레이블 및 Gold Standard 구축 Human reader가 복부 CT 영상의 췌장의 경계를 Manual drawing 췌장에서 국소 병변이 있는 췌장과 국소 병변이 없는 췌장을 구분하고, 자동적으로 국소병변 병변이 있는 영역을 특정한 후, one-hot encoding 방식으로 국소 병변이 있는 췌장과 없는 췌장을 구분 췌장 악성 종양과 양성 종양을 구분 31
  29. 29. Intuitive Surgical 32
  30. 30. 식이조절 환자용 음식 분류 및 칼로리 계산기 식이조절 환자용 음식 분류 및 칼로리 계산기 음식 이미지 분류에 대한 논문 리서치 음식 분류를 위한 다양한 논문 과 문헌을 참조 공인된 음식 이미지 데이터 셋 확보 딥러닝(Deep Learning) 기반으로 음식에 대한 종류를 분류 및 분할 데이터 augmentation 확보한 음식에 이미지에 맞게 fine-tuning 33 Food classification network 음식 데이터 셋
  31. 31. 2. 음성/시그널 인식 및 번역 Speech Recognition Machine Translation Speech Recognition + Machine Translation
  32. 32. RNN(NMT, Seq2Seq, Word2Vec) 35
  33. 33. Automatic Dictation 36 AMC audio dictation 영상의학과 : 50만건/y 핵의학과 : 20만건/y 병리과 : 100만건/y 초음파, 내시경, 간호일지, 외래, 수술실 : +500만건/y Nuance Revenue 2016년 $1,502.3 M
  34. 34. Prediction of ventricular arrhythmia 37
  35. 35. 3. 비디오 인식 Video understanding (Google, 2014) Scene parsing (NYU/Facebook , 2014) NVIDIA DRIVE PX, 2015
  36. 36. 중이염 동영상 인식 및 모니터링 AMC ENT 정종우 교수님 협력연구 수술장 동영상 기술 개발 중이염, 인공와우 수술 동영상자료의 분류 수술영상을 각 단계로 분류 : 1000 례 이상 분류된 영상의 구조물 명시와 술식명시 시간축의 술식 예시 Cortical bone cutting & opening into mastoid air cells Sculpt the EAC: anterior boundary (optional) Exposing the sigmoid sinus: posterior boundary Delineate mastoid tegmen: superior boundary Open the antrum Define and deepen the sinodural angle & open the mastoid tip cells Expose the incus from antrum Facial nerve identification (mastoid segment) Open the facial recess (posterior tympanotomy 39 수술장 영상 기술 개발 영상 내 물체 인식의 경우 동영상 같은 경우에는 CNN과 RNN을 결합 한 CNN-RNN 모델 사용 동영상 데이터 학습을 통한 수술 단 계 분류 알고리즘 - 개발정리된 영상을 이용한 인공지능 학습 알고리즘 개발 - 좌우측과 다양한 형태의 유양동에 따 른 적용 - 알고리즘의 임상 검증 및 평가(수술단 계 및 정량화 정보)
  37. 37. Contactless Interface 40Comput Math Methods Med. 2016 립모션 센서
  38. 38. Personal Training 41 Gestures Method Leap motionTM Our proposed method Accuracy (%) Accuracy (%) Hovering - 99.8% Click 90% 100% Grab 94% 98.1% One peak - 100% Two peak - 100% 10 volunteers 5 classes gestures Personal Training Tool
  39. 39. Leap Motion IR image • Deep Learning 42
  40. 40. 4. 비디오 + Device(차)
  41. 41. 비디오 + Device(로봇) : 잡기 (구글)
  42. 42. 비디오 + Device(로봇) : 잡기 (DexNet)
  43. 43. Burger Patty Flipping Robot David Zito, CEO of Miso Robotics
  44. 44. Robot Surgeons Are Taking Over the Operating Room 47
  45. 45. This robot can perform soft tissue surgery better than a human 48
  46. 46. da Vinci + Deep Learning 49
  47. 47. Autonomic Surgical Robot 50
  48. 48. 51
  49. 49. 5. General Sensor : Google Lens 52 IoT
  50. 50. 간호사 중심 의사 중심 의사, 간호사 시점 (360도) 수술실 전체 (360도) 수술 장면 (캠코더) 수술 장면은 항상 같이 나옴 모든 장면과 상황을 원하는 곳에서!! 수술실 전체 360도 다시점 VR 동영상 @ 수술실/응급실/ICU 53
  51. 51. 6. 생성 모델 (얼굴, 거실) Deep Convolutional Generative Adversarial Networks (DCGAN) Rotations are linear in latent space Bedroom generation Arithmetic on faces
  52. 52. GAN 55Kim, Namju’s Slideshare
  53. 53. 생성 모델 Zhang et al
  54. 54. 생성 모델 Isola et al
  55. 55. 7. 영상 해석/자막 생성 Image Caption Generation Video Caption Generation
  56. 56. Chest X-ray Mesh Term 59 Learning to read chest x-ray Automated annotation with attention and visual- sentence mapping
  57. 57. 8. 질의 문답 Image Question Answering Speech Recognition + Image Questing AnsweringVideo Question Answering Text Question Answering
  58. 58. Relational Network VQA (Visual question answering) 61DeepMind
  59. 59. 9. 생성 모델 (아트) Artistic neural style
  60. 60. 63Luan, et al, Deep Photo Style Transfer
  61. 61. Medical ImageNet 64GTC 2017
  62. 62. Medical ImageNet 65
  63. 63. Medical ImageNet 66
  64. 64. Medical ImageNet - CT Large size 12bit 의료영상 특화 pretrained network ImageNet size의 12bit에 단채널을 사용하는 CT/MRI등의 의료영상 데이 터 빌딩 필요 최적인 Supervised Deep Network 제안 및 weights 공개 67 Whole body CT or MRI 한사람당 3000여장의 이미지 z축으로 장기 등을 Labelling 300명 정도면 Image Net size Labelling 예시 : Brain, Skull, Head&Neck, Spine, Upper-Limb, Lung, Heart, Liver, Pancreas, Spleen, Kidney, Bladder, Prostate, Lower-Limb, Hand, Foot, Knee, Shoulder, Upper- arm, Lower-arm, etc J. Cho et al. arXiv 2015
  65. 65. 간암/유방암 치료 CDSS AMC 소화기 내과 김강모 교수 협력연구 AMC 유방내분비외과 안세형/고범석 교수 협력연구 High Quality 간암 치료 임상 빅데이터 구축 및 레이블링 간암의 임상-혈액-영상 결합형 빅데이터 처리 기술 개발 간암 치료 임상 빅데이터와 인공지능 기법을 통한 예후 예측 및 치료 방침 결정 알고리즘 개발 및 시스템 구축 간암의 임상-혈액-영상 결합형 빅데이터 처리 기술 개발 시 임상 경험의 피드백 68
  66. 66. 70 CBIR for Medical Images
  67. 67. 71 The Previous Research for Quantification Definition of Similar Lung Images Extraction of Distribution Features Extraction of Distribution Features * https://en.wikipedia.org/wiki/Large_margin_nearest_neighbor * Y.J.Chang, et al,. “A support vector machine classifier reduces interscanner variation in the HRCT classification of regional disease pattern in diffuse lung disease: Comparison to a Baysian classifier”, Medical Physics 40 (5), 051912 (2013)
  68. 68. 제안서 page 6,101 72/6 1
  69. 69. 현실 73
  70. 70. 74 AP 통신 : 인공지능(로봇)이 기사 작성, 기술 공개 초당 2,000개 기사 작성 가능 기존의 300개 기업 실적 -> 3000개 기업 실적 커버
  71. 71. 75 Right now, about 80% of Americans who need a lawyer can't afford one "With ROSS, lawyers can scale their abilities and start to service this very large untapped market of Americans in need,"
  72. 72. GOLDMAN SACHS 76
  73. 73. Radiologist 77
  74. 74. Pathologist 78
  75. 75. 기계파괴운동 (1811-7) 79
  76. 76. 정밀의료(Precision Medicine) Initiative “And that’s why we’re here today. Because something called precision medicine … gives us one of the greatest opportunities for new medical breakthroughs that we have ever seen.” President Barack Obama January 30, 2015 정밀의료 치료기기 핵심 : 빅데이터 + 인공지능 빅데이터 ▶ 인공지능 ▶ 환자 맞춤형 진단/치료/공공 80/27
  77. 77. 의료 빅데이터 + 인공지능 의료 빅데이터를 이용하는 정밀의료 실현 사물인터넷 유전자검사 의료영상 환자 모니터링 하루 37만건의 의무기록 (연 간 약 1TB) 연간 약 2백만 영상데이터 (30TB) 3.8×109 염기쌍을 가진 DNA 정보 대형 종합 병원
  78. 78. 의료비 절감의 필요성 의료효율성 국내현황 Efficacy (효용성) Cost (비용) Equation = Efficacy / Cost • 정밀치료를 통한 효용성 극대화 • 효율적 의료시스템 구축을 통한 비 용 감소 • 고령화 사회 등으로 GDP대비 의료비 비율 빠르게 증가하고 있으며 상승폭 또한 커지고 있 음 • 국민 소득 및 소비수준을 고려하여 의료비는 변화에 반비례하여 감소되어야 할 필요성 존재
  79. 79. Global Trends Drive Momentum in health care industry Data Explosion 150+ exabytes Amount of healthcare data today1 Over 230K Active clinical trials2 80% Healthcare data that comes from unstructured data sources3 Dynamic Delivery Environment 50% Expected alternative payments form the Centers of Medicare and Medicaid by 2018 4 75%+ Percentage of patients expected to use digital health services in the future5 90K Expected shortage of physicians by 2020 6 Value vs Volume 4.7 trillion Estimated global economic impact of chronic disease by 2030 7 3 trillion Estimated US healthcare spending 8 100’s Approx. amount of decisions a person living with Type 1 Diabetes makes a day9 Efficient and effective R&D 1 in 10 Clinical trials in cancer that are shut down due to lack of participation10 2.6B Average costs to develop a new pharma drug11 <10% Amount of drug currently in development that make it market12 84 1: NCBI: big data analytics in healthcare: promise and potential 2: ClinicalTrials.gov, 3: NIH 4 CMS 5: McKinsey Healthcare's Digital Future July 2014, 6: AAMC Report The complexities from 2014 ro 2025 7: WEF global economic burden non-communication diseases 8: Health affaires. Team analysis 9: OpenAps.org 10: Bio-clinical development success rates 20, Health Economic volume 47, May 2016 1. Life expectancy data, WHO, 2012 2. 2015 Global life sciences outlook: adapting in an era of transformation, Deloitte DTTL, 2014 3. Informa Pic Market Line Extracted Oct 2014
  80. 80. Opportunity 85 8 trillion : Industry Size 2 trillion : waste in industry Better experience Imaging : Unnecessary tests Lower cost Oncology: Variability of Care Better outcomes Life sciences: Failed clinical trials Government: Fraud, Waste and Abuse Value Based Care: Cost of chronic disease 360 billion : total IT and healthcare market opportunity *IBM Watson
  81. 81. Strategy Proof of principal Google Retinopathy, JAMA 2016 – 130k images, 54 ophthalmologists – Reference standard – Severity, image quality, L/R, FoV Ophthalmology, Pathology, Radiology, Dermatology Cloud/Vision/Speech API AI make AI Amazon, MS Naver J Proj. Clova, 오감 AI Line chat bot since 2014 94
  82. 82. BEYOND 97
  83. 83. 인공지능 의료적용의 어려움과 대책 98 의료환경의 표준화의 어려움으로 인공지능 훈련을 위한 라벨링 어려움 개인정보보호에 따른 데이터의 비개방성 의료기기 인허가, 신의료기술인정 및 수가 장벽 인공지능 전문가와 의료전문가의 단절 의료빅데이터의 표준화와 연계 연구 필요 인공지능기술개발을 위한 공개 데이터 개발과 이를 이용한 그랜드 챌린지 방식의 기술 진흥 필요 연구기획 초기부터 관련 종합 대책 정책적 지원 방안 마련 인공지능 교육, 연구개발 산업화를 망라하는 생태계 구축 필요 어려움 대책
  84. 84. Machine Operable, Human Readable Visual attention Category – feature mapping Sparsity and diversity 99 (-) (+) 정답 NICEIII NICEI CAM NICEII CAM NICEIII CAM 예측 NICEIII 이상 영역 marking
  85. 85. MD-friendly Interpretation Breast cancer risk prediction through BI-RADS categorization of mammography Analysis and visualization for breast density prediction Mapping and visualization of patient by predicted breast cancer risk score 100
  86. 86. 법적이슈 의료법 21조 제 3자 열람, 16, 23조 전자의무기록 생명윤리 및 안전에 관한 법률 제2, 15, 16, 18 조 개인정보보호법 제2조 제1항 제6호 의료기기법 : 허가 (2,6조) 및 유효성 (8, 9, 10 조) 국민건강보험법 : 건강보험심사평가원 신의료기술평가에 관한 규칙 보건복지부령 제353호 , 2015, 안전성 유효성 정보통신망 이용촉진 및 정보보호 등에 관한 법: 제2 조 개인정보, 국외 이전 다부처 개인정보 비식별화 가이드라인(2016), 익명화 “전자의무기록의 관리.보존에 필요한 시설과 장비에 관한 기준” (2016-140호) 보건복지부 고시 개발시 사용되는 데이터의 피험자 동의 오작동 책임소재 및 윤리 클라우드 저장 및 활용, 보안 의료법 시행규칙 고시 개정, 2016 https://namkugkim.wordpress.com/2017/03/09/병원의-환자-데이터-활용에-대한-법적인-이슈/
  87. 87. Medical Education MD-PhD Convergence Education MD education Resident course Theory Hands on workshop PhD education course Medical education 102
  88. 88. 의료진 교육 워크샵 103 일시 : 2017년 6월 10일 (토) 오전 10시~오후 5시 45분 장소 : 서울아산병원 서관 3층 강당 RSVP : 주은리 picky.erju@gmail.com
  89. 89. 의료 AI unmet needs 교육 워크샵 104
  90. 90. Platform High quality data building & Platform Platform Data, HW, SW 지원 Hospital -> Data supply Start-up Supports Data sharing Consulting Platform Profit sharing Among Platform, Data supplier, AI app developer 법적 문제가 없게 환자 데이터 GAN 105
  91. 91. Convergence Researches High quality project for changing world Examples Multi-attention Supervised Learning for Captioning Medical Image -> Dx Captioning Add eye tracking, posture/gesture, mouse movement, audio, background noise ICGAN for generating new data set Artistic style new CT generation NL + Severe ILD (style) = New Image Medical image optimized pre-trained network Brain, Skull, Spine, Lung, Limb, Liver, Kidney, …. 1000 slices per categories MD re-enforcement learning for chest PA using DQN 106
  92. 92. Convergence Researches Chatbot for medicine Unmet Needs 외래시 환자가 대면을 못하고 컴퓨터만 본다 예전보다 환자 정보의 과잉 및 다양한 정보 체크 필요 원인 레지던트, fellower 부족 간호사의 미숙련 컴퓨터가 환자의 필요한 정보를 자동으로 알려줄 필요 해결책 진료시 의사의 말을 알아서 EMR, PACS를 검사해줄 assistant service 필요 Ref Amazon Echo의 Skill 1만개 비젼 의학은 거대한 분류학문 의학의 발달을 대변하는 terminology를 확보 이를 통한 의학 지식 확보 107
  93. 93. Open Contest Not same to Apple, Samsung, Naver Impact medical imaging open competition Chest PA Dx audio -> text Pathology Chest CT for lung nodule detection Food images 108
  94. 94. 109 Solvay, 1927 Einstein, “God does not play dice” Bohr, “Einstein, stop telling God what to do”
  95. 95. Old forest 110
  96. 96. Take Home 4차 산업혁명 250년 늦은 지각생 위기이자 기회 우리나라의 기회 세계적 의료 수준 대규모 데이터를 쉽게 모을수 있음 의료 인공지능은 수준 이 떨어지지 않음 융합 교육 연구개발 제도 개선 111
  97. 97. Collaborators • MIRL • Clinical Collaborators@Asan Medical Center, SNU BH – Radiology : Chest, Cardiac, Abdomen, Neuro/Brain – Neurology :Dongwha Kang, Chongsik Lee, Jaehong Lee, Sangbeom Jun, Misun Kwon, Beomjun Kim – Cardiology ; Jaekwan Song, Jongmin Song, Younghak Kim – Internal Medicine : Jeongsik Byeon – Pathology : Hyunhee Go – Surgery : Bumsuk Go, JongHun Jeong, Songchuk Kim • Academy • KAIST EE, CS, Math • Related Companies • LG, VUNO, Coreline Soft, MIDAS IT, KakaoBrain

×