Google Developer Groups, Songdo Developer Meetup NFTBank, VP of AIOps

1. 블록체인 데이터와
머신러닝으로 만들어내는
금융업계의 고객 가치
부제: 인공지능 시대에서
소프트웨어 엔지니어의 커리어 전략
- Chris Song, Google Developer Expert for ML

2. Chris Hoyean Song
NFTBank VP of AIOps 2021.11 ~
뤼이드 VP of AIOps 2020.09-2021.11
네이버 AI Engineer 2017.12-2020.05
카카오 Data Engineer 2015.08-2017.12
스타트업 대표 2013-2015
KAIST 기술경영전문대학원 석사
KAIST 전산학과 경영과학과 학사
AI 기술 사업화 & 확장 가능한 AI
인공지능 기술과 비즈니스를 이어주는 역할을 담당하고 있습니다.
전문 영역은 인공지능 프로젝트의 생산성을 높여주는 ML
Pipeline입니다.
"70년간의 인공지능 연구에서 얻을 수 있는 가장 큰 교훈은 계산을 활용하는 일반적인
방법이 궁극적으로 가장 효과적이고 큰 효과적이라는 것입니다."
-Richard Sutton
2

3. 소프트웨어 2.0

4. 소프트웨어 2.0
머신러닝을 활용한 소프트웨어
출처 : https://books.google.co.kr/books/about/Become_an_AI_Company_in_90_Days.html?id=esb5uwEACAAJ&redir_esc=y
소프트웨어 1.0 소프트웨어 2.0
개발
접근법
개발자는 명시적으로 컴퓨터에게
해야 할 일을 알려줘야 합니다.
개발자는 데이터를 통해서 특정 작업을
수행하도록 알고리즘을 학습시킵니다.
데이터
요구사항
데이터가 거의 필요하지 않습니다.
인간이 직접 데이터로부터논리를
만들어냅니다.
프로젝트의 성공이 데이터의 품질과
양에 크게 의존하고 있습니다.
적응력
환경이 변했을 때 소프트웨어
디자인을 다시 해야 합니다.
새로운 환경이 오더라도 새로운
데이터를 보여주면 적응합니다.

5. 소프트웨어 2.0
소프트웨어 1.0과 소프트웨어 2.0의 복잡도와 최적화 수준 비교
출처 : http://www.sbr.ai/news/articleView.html?idxno=1517
https://karpathy.medium.com/software-2-0-a64152b37c35

6. 엔지니어

7. 엔지니어란?
과학 기술로 사람들의 문제를 해결하고
가치를 만들어 내는 일

8. 엔지니어란?
과학 기술로 사람들의 문제를 해결하고
가치를 만들어 내는 일
가치
- 돈, 고객 만족, 사회적 가치

9. 문제 해결 능력

10. 아름다운 아키텍쳐 & 멋진 랭귀지

11. 문제 해결 >>>> 아름다운 아키텍쳐 & 멋진 랭귀지

12. 엑셀로 문제를 해결할 수만 있다면,
머신러닝 쓰지 말고 엑셀로 해결하면 됩니다

13. 가치 있는 문제인가?

14. 사장님들의 관심사
그거 돈 되나?

15. 소 잡는 칼로 닭 잡는 경우

16. 가치 있는 일에
(돈 되는 일)
기술을 써야 합니다

17. 머신러닝 프로젝트는 돈이 많이 듭니다
그 이상의 가치가 있는 문제에 써야만 의미가
있습니다

18. 머신러닝 커리어 방향
잡기

19. 회사의 목적

20. 기업 존재의 목적은 고객을 창조하는 것이다.
- 피터 드러커
20

21. 업의 본질

22. 우리가 만들어내는 고객 가치는
무엇인가?

23. “10~20년 뒤에도 변하지 않을
‘빅 아이디어(싼 가격, 빠른 배송, 넓은
선택폭)’
를 포착해 실현시켜야 한다.”
- 제프 베조스
23

24. 수 많은 AI 스타트업들이
위기를 겪고 있습니다

25. 지금 많은 AI 스타트업들이 위기에 봉착한 것은
AI로 고객 가치를 만들어내는 데 실패했기
때문입니다.

26. 데이터 사이언티스트와
머신러닝 엔지니어의
커리어가 빛나기 위한 조건

28. 1 공헌 이익
모델 AB 테스트를 통해 모델 성능이 좋아지는
만큼
바로 공헌 이익이 계산되는 파이프라인

29. 그 공헌이익이 회사의 핵심 매출원에 크게
기여하면,
머신러닝 조직은 회사의 핵심이 됨

30. 2 생산성
머신러닝 프로젝트는 비쌉니다
제한된 리소스로 최대한 가치 있는
머신러닝 프로덕트를 만들어 내야합니다

31. 3 품질
머신러닝 모델이 비즈니스 문제를 해결하여
공헌이익을 가져다준다면,
품질 관리 활동은 수익 창출 활동입니다.

32. NFT 핵심 문제 정의

33. NFT 컨셉

34. NFT를 구매했다

35. 내가 산 NFT 지금 얼마지?

36. 내가 산 NFT 지금 얼마지?
OpenSea Floor Price
NFTBank Estimated Price

37. 내가 NFT로 얼마 투자해서 얼마 벌었지?
Return on Investment

38. 1억 짜리 NFT 담보로 얼마의 대출을 실행할까?
LTV(Loan To Value)

40. NFT 업계의 핵심 문제
NFT 가치 추정

41. Valuation
Model
1 포트폴리오 관리
2 NFT 담보대출
가치평가
3 NFT 트레이딩

42. 1 NFT 포트폴리오 관리

43. 2 NFT 담보 대출 가치평가

44. 3 NFT Trading

45. NFT 가격 예측 여정

46. 블록체인 데이터를 만나본 적 있나요?
이건 어떻게 보는
거죠…?
그래서 이게 뭘
한거라구요…?

47. 블록체인 데이터를 찾아봅시다!
이런 블록체인 데이터를
수집하는 것에서 시작!
그런데! 어마어마하게
많은
블록체인 데이터…
어떻게 처리하지…?
하루에 발생하는 거래 수:
약 120만개 (ethereum 기준)
NFT 거래 기록이 있는 지갑 수:
약 400만개 (ethereum 기준)
대금을 전송한 기록
NFT를 받은 기록

48. 데이터 1: 거래 내역
wallet A 에서 wallet B로 BAYC #123 를 전송
wallet B 에서 wallet A로 5.5 ETH를 전송
wallet A 에서 거래소에 수수료 0.05ETH를 전송

49. 데이터 2: NFT 메타데이터
BAYC #123
BACKGROUND: New Punk
CLOTHES: Black Holes T

50. 데이터 3: 블록체인 환율

51. 데이터 4: Market Listing

52. NFT 가격 예측 모델
Valuation
Model
- 블록체인
환율
- 메타데이터
- 최근 거래
가격
- Floor Price
Feature
Engineering
Feature Vector NFT 예측 가격

53. 데이터 5: 모델이 예측한 가격

54. Data Product를 만들어내는 Data Pipeline
잘 가공된 데이터는 이렇게
다양한 것들을 보여줍니다!
수십 가지의 가공 과정이
존재하는 Pipeline
NFTBank Data Pipeline Flow Chart

55. Revenue
Spending
ROI
자산
가치
보유
자산
평가
금액
취득
원가
NFTBank의 데이터 프로덕트
수십 가지의 정보가
축약된
NFT Portfolio를
고객에게 제공하고
있습니다.

56. NFTBank AIOps

57. AIOps
Data Validation
Modeling
Monitoring
Serving
…
AIOps가 그래서 뭔가요?

58. 생산성 & 품질
AIOps가 만들어 내는 가치

59. 생산성
AIOps가 만들어 내는 가치

60. 씁쓸한 교훈에서 배워야 할 한
가지는 범용적인 목적의
방법론, 즉 사용 가능한 컴퓨팅
자원이 많아짐에 따라 계속해서
확장되는 방법론의 위대한
힘이다.
- Richard Sutton

61. 생산성
표준화와 자동화를 통해
모델링 작업 전반을 컴퓨터에게 위임
AIOps가 만들어 내는 가치

62. 62
생산성 모델 생성 자동화
MLOps 파이프라인 자동 모델 생산
2021-11 약 100 개
2022-09 약 8000 개

63. 품질
AIOps가 만들어 내는 가치

64. 데이터 품질
모델 품질
API 품질
AIOps가 만들어 내는 가치: 품질

65. A. 데이터 품질: 제 시간에 데이터가 들어오는가?

66. Train / Test Metric = Offline 성능
실제 모델이 배포된 후의 성능,
Online 성능 모니터링
B. 모델 품질

68. 68

69. 69
B. 모델 품질: Realtime Online Performance

70. 70
B. 모델 품질: MAPE 버킷 별 모델 갯수

71. 고객에게 예측값을 서빙하는 API
정상적으로 작동 중인가?
C. API 품질

72. API Uptime
Latency
Error Monitoring
C. API 품질 - API 모니터링

74. 생산성 & 품질
AIOps가 만들어 내는 가치

75. 지금도 1위이지만, 압도적인 1위가 되기 위해
아직도 가야할 길이 멉니다.
그래서 멋진 동료가 필요해요!!

76. https://www.linkedin.com/in/chris-song-0bb03439/
instagram: @chris.loves.ai

77. 지금 바로 NFTBank에 탑승하세요! 🚀
https://nftbank.breezy.hr/
77
NFTBank Medium NFTBank 지원 NFTBank YouTube

78. 블록체인 데이터와
머신러닝으로 만들어내는
금융업계의 고객 가치
- Chris Song, Google Developer Expert for ML

79. 감사합니다