Homepage: https://zachnk.github.io AR/VR/MR Deep Learning in Computer Vision UI/UX

1. KANG NAM KYOO
2020~2013
2017~2019
성균관대학교 소프트웨어대학 인터랙션사이언스 석사
2009~2014
한국기술교육대학교 디자인공학 학사
Interest:
Augmented Reality, Mixed Reality
3D Interaction, 3D UI, multimodal interface, HCI
R&D 연구원, G-Lab (예비 창업)

2. AR/VR Contents
Game Development
Computer Vision
Machine Learning
UI/UX
Industrial Design
AR/VR Contents:
-발전설비 점검용 증강현실 솔루션 (Beta)
-혼합현실 내 능동 및 수동 촉감 인지에
대한 소리 및 시각 효과에 관한 연구
UX/UI Design:
-STAR DUST Misson
(어린이들을 위한놀이 기반 교육용 전시 관람 가이드)
Computer Vision:
-Motion Detection & Tracking 프로젝트
Machine Learning:
-M-Net모델을 적용한 이미지 Segmentation 프로젝트
-도로 이미지 차량 Segmentation 프로젝트
Game Development:
-Tron Light Cycle Game
-Jumping T-Rex Game
Industrial Design:
-Bill Gates, How Did you become the rich?
-감성공학적 기법을 응용한 과자 포장지 리디자인

3. M-Net모델을 구현하여 강아지, 고양이 이미지에 대한 Segmentation.
채널을 많이 연결해서, 역전파가 잘 되게 하는 구조.
Loss function은 Categorical-Crossentropy와 Dice-coefficient를 같이 적용.
Dice-coefficien에는 1-score로 적용 결과와, -ln(score)로 적용한 결과 비교.
Train 이미지 수 : 7016 / Test 이미지 수 : 368
Open Framework: Tensorflow
Source:
https://github.com/ZachNK/CoLab_M_Net_1
https://github.com/ZachNK/CoLab_M_Net_2
Segmentation 결과
Image Segmentation
M-Net Model
M-Net모델을 적용한 이미지 Segmentation 프로젝트
2020.04~
1-score
-ln(score)

4. OpenCV Contour를 이용하여 객체 움직임 Detection 및 Tracking
Video source:
https://youtu.be/_5LiL_-9JuQ
Open Framework: OpenCV
S/W: PyCharm
Code source:
https://github.com/ZachNK/OpenCV_Project_001
Detection & Tracking
Motion Detection & Tracking
Motion Detection & Tracking 프로젝트
2020.03~2020.04

5. 한국 발전소 내 변압기 및 발전기 등의 산업 기기에 검사 보고를 위한 서비스 개발.
실시간 사진 캡쳐 및 보고 체계로 업무의 자동화 및 효율성 증진.
Video source:
https://youtu.be/dnVCngX1VJk
S/W: Unity 3D
H/W: Microsoft HoloLens
1. 장비 탐색
AR Project
UI 개요
2. 상태 점검
3. 점검 결과 리포팅
발전설비 점검용 증강현실 솔루션 (Beta)
G-Lab
2019.10~2020.03

6. U-Net 바탕으로 딥러닝 Semantic Segmentation Model.
한국의 도로 및 차량 이미지를 활용.
Convolution이 진행되는 동안 소실되는 위치 정보를 Decoder 영역에
Concatenate 함으로써 Decoder 영역에서 위치 정보와 문맥 정보를 취합해
보다 정확한 영상 분할을 수행함.
Train 이미지 수 : 2000 / Test 이미지 수 : 200
Open Framework: Tensorflow (Keras)
Segmentation 결과
Image Segmentation
U-Net Model
도로 이미지 차량 Segmentation 프로젝트
미래형 자동차 전문인력양성 비전 사물 인식 - 딥러닝 활용 전문가 과정, 멀티캠퍼스
2020.01~2020.01
객체 ws/hs 객체 ws/hs ratio

7. Haptic Illusion
(Glass Type)
청각적 자극
시각적 자극
청각적 자극
시각적 자극
Roughness
Illusion
소리 주파수↑
(Glass Type)
Stiffness
Illusion
움직이는 속도
(Slow/Fast)
청각 및 시각적 자극 → Roughness illusion
청각 및 시각적 자극 → Stiffness illusion
능동 촉감 (Roughness)
수동 촉감 (Stiffness)
소리 주파수↑
움직이는 속도
(Slow/Fast)
혼합현실 내 능동 및 수동 촉감 인지에 대한 소리 및 시각 효과에 관한 연구
2018.02~2018.12
혼합현실(MR) 환경에서 보다 자연스러운 촉감 구현을
위해 착용형 장치 (HMD)의 의존하지 않은 방법 제시.
특정한 음역대의 청각 및 시각 자극에 의한 능동 및 수
동 촉감 환영 (Haptic Illusion) 제공 가능.
능동 촉감:
https://youtu.be/Yn-YA5cEOQE
수동 촉감:
https://youtu.be/REFeCwGB1qI
-Kang, N. K., Sah, Y. J., Lee S. W., Effects of visual and auditory cues on haptic illusions for active and passive touches in mixed reality,
IJHCI submitted (Nov. 19, 2019)
- [2019 대한인간공학회 논문경진대회 최우수작] 강남규, 하태현, 이상원 (2019), 혼합현실 내 시청각 단서가 촉감 인지에 미치는 영향, 대한인간공학회 학술대회논문집, 17-20

8. Unity Game
Jumping T-Rex Game
2019.11~2019.12
Tron Light Cycle Game
2019.12~2020.1
-Pilot project-Pilot project
-‘Google’에서 제공하는 웹버젼 T-Rex 게임
모방하여 구현
-Enemy (선인장)를 랜덤패턴으로 제공
-영화 ‘Tron: Legacy’를 모티브하여 모바일 용 게임 제작
-‘Light Wall’를 Instance화 하여 벽면에 충돌 시 게임 오버

9. UX design
STAR DUST Misson
-강남규, 임상혁, 안정섭
2017.03~2017.06
-어린이들을 위한놀이 기반 교육용 전시 관람 가이드
어린이는 ‘Holones’착용, 보호자는 휴대폰 어플 이용.
보호자의 전시물에 대한 키워드를 제공하면, 어린이들
은 그 키워드를 기반으로 외계 캐릭터와 놀이를 통해 전
시물 컨텐츠를 가지고 ‘촬영’, ‘게임’등을 통해 관람하도
록 자연스러운 교육적 효과를 기대.
Children
Parent
Art
work
Gathering
information
Intervention (map, help)
ObserveLearnVerify
Exhibition Hall
Exhibition Hall = The planet
where the aliens came crashing
down, Place to leave soon after
Observe
= A probe alien
Learn
= Miner
Verify
= Sniper
Quiz = Antares
HoloLens
Smart phone

10. Infographic
Bill Gates, How Did you become the rich?
-강남규, 허노영
2017.03~2017.06
‘빌 게이츠’의 사주팔자 운세를 인포그래픽으로 표현하
여 시기별로 운세를 시각화

11. 국내에 시판되고 있는 8종 과자의 포장지를 감성공학기법(의미미분법)으로 대학생소
비자를 대상으로 주요감성요소에 대하여 설문 조사하고 통계적으로 분석.
‘오감자’는 오래된 과자의 디자인의 이미지는 유지하되 산만함을 경감.
‘눈을감자’의 포장지는 새로운 스타일로 개선하고 단순함, 신선함을 강조.
선호도 조사를 통해 소비자의 감성이 개선됨을 확인.
‘눈을감자’의 포장지‘오감자’의 포장지
Package Re-disign
＇새로운’ 스타일
＇복합적’스타일
감성공학적 기법을 응용한 과자 포장지 리디자인
2013.09~2013.10
-강남규, & 박재희. (2013). 감성공학적 기법을 응용한 과자 포장지 리디자인. 대한인간공학회 학술대회논문집, 257-261.