발표자: 심현욱(UNIST 박사과정) 발표일: 2018.3. 최근 들어 다시 각광받는 인공지능은 deep neural network의 (딥뉴럴넷) 발전이 크게 뒷받침하였다고 할 수 있습니다. 여러 스타트업에서도 다양한 아이디어를 가지고 저전력 IoT 디바이스 등에 적용하고자 하기도 하지만, 이 인공신경망을 실행하는 데에 따르는 많은 연산량이 난제로 남아있습니다. Stochastic computing(확률컴퓨팅)은 기존 바이너리 컴퓨팅과 다른 패러다임으로, 저전력을 장점으로 딥뉴럴넷 가속에 대한 대안으로 연구되어 왔습니다. 본 발표에서는 확률컴퓨팅으로 딥뉴럴넷을 가속하는 연구와 그 한계, 그리고 미래를 이야기하고자 합니다.

1. Acceleration of Deep Neural Networks
Using Stochastic Computing
박사과정 심현욱
Ph. D. candidate Hyeonuk Sim
재구성 및 뉴로모픽 컴퓨팅 연구실, 울산과학기술원
Reconfigurable & Neuromorphic Computing Lab, UNIST
March 20, 2018
@

5. !

7. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing7
목차
 인공지능과 Deep Neural Network (딥뉴럴넷)
 에너지 효율적인 딥뉴럴넷 가속기
 Stochastic Computing (확률컴퓨팅)
 SC-DNN
 현재 SC-DNN 연구의 한계
 SC-DNN의 미래

8. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing8
인공지능과 Deep Neural Network

9. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing9
 신경 modeling
인공지능과 Deep Neural Network
[A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” in NIPS’12, 2012, pp. 1097–1105.]
𝑆𝑖𝑔𝑛𝑎𝑙 𝑜𝑢𝑡 = 𝐴𝑐𝑡𝑖𝑣𝑎𝑡𝑖𝑜𝑛 ෍
𝑖=1
#𝑐𝑜𝑛𝑛𝑒𝑐𝑡𝑖𝑜𝑛
𝑆𝑖𝑔𝑛𝑎𝑙𝑖𝑛[𝑖] × 𝑊𝑒𝑖𝑔ℎ𝑡[𝑖]

10. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing10
에너지 효율적인 딥뉴럴넷 가속기
 GPU? ~250W
 FPGA? ~21W
 ASIC accelerator
‒ TrueNorth, DianNao, Eyeriss…
‒ Binary computing based

11. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing11
Stochastic Computing (확률컴퓨팅)
 확률을 가진 비트스트림으로 표현된 수
 AND 게이트 하나로 곱셈이 가능
AND
𝑃(𝑋)
𝑃(𝑌)
𝑃(𝑋) × 𝑃(𝑌)

12. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing12
Stochastic Computing (확률컴퓨팅)
 새로운 SC 곱셈기 개발 (DAC’17)

13. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing13
SC-DNN
 오차 수용 가능
 작은 weight 분포
 Dynamic precision

14. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing14
현재 SC-DNN 연구의 한계
 SC 특화된 메모리 시스템 부재
MAC Array
Input
Buffer
External Memory Access
Weight Buffer
Output
Buffer

15. Seminar @Acceleration of Deep Neural Networks Using Stochastic Computing15
SC-DNN의 미래
 많은 저전력 IoT 디바이스들에
딥러닝 적용가능
 서비스 품질에 맞춘 전력소비
또는
전력 상황에 따른 서비스 품질
(Adaptive trade-off)

16. Thanks
Q & A
박사과정 심현욱
Ph. D. candidate Hyeonuk Sim
E-mail: detective@unist.ac.kr
재구성 및 뉴로모픽 컴퓨팅 연구실, 울산과학기술원
Reconfigurable & Neuromorphic Computing Lab, UNIST
Homepage: ecl.unist.ac.kr