AWS Summit Seoul 2023 | AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SEOUL | MAY 3, 2023

AWS로 구축한 피플펀드의 신용평가
MLOps 플랫폼 개발 여정
김관유
Data Platform Team Leader
피플펀드
이지영
Solutions Architect
AWS

피플펀드 소개
피플펀드 RISE 소개
MLOps 기반 빠른 변화 대응
규제 대응
AWS 기반의 안전한 머신러닝 & MLOps 환경 구성
Agenda

QUESTION
우리나라 중저신용자는 2,357만명
전체 인구의 49퍼센트 에 달합니다
그러나, 중저신용자는 1금융권에서 대출을 받기 어렵습니다
은행의 문턱을 넘지 못한 사람들은 어떻게 되는걸까요?

비은행권 대출 이용자 비중
68.5%
비은행권 대출 이용자
업권별 신규 차주 수(22’5 기준), NICE평가정보

1·2금융권 대출 금리 비교
6.0%
1금융 대출금리
14.5%
2금융 대출금리
은행 및 상호저축은행 일반신용대출 가중평균금리(22’6 기준), 한국은행 경제통계시스템

1.5금융 피플펀드,
기술을 통해 기회를 제공하다

피플펀드 소개
▶ 상품별 취급액 및 시장 점유율
억원, TOP 3개사, 2022년 상반기 누적 기준

피플펀드 소개
▶ 국내 및 글로벌 미디어 소개
참고: https://www.forbes.com/sites/forbesasiateam/2022/08/29/forbes-asia-100-to-watch-2022/

피플펀드 RISE 소개

ML 도입 배경
▶ 저축은행 개인신용대출 비용 구조

ML 도입 배경
1금융권과 2금융권 사이에 간극 이 생기는 이유
부실 예측의
어려움
신용모델
업데이트 주기
2년마다 업데이트,
현재 경제 상황 반영 불가
새로운
기술의 부재
머신러닝, 실시간 비정형
데이터의 활용
방대한 신용정보에서
유의미한 데이터 추출이 어려움

피플펀드 RISE 시스템
▶ 사용자에 맞춰 최적의 금리와 한도를 도출하는 시스템
⁃ Risk
⁃ Interest rate
⁃ Size
⁃ Efficiency
대출의 연체 리스크
금리
대출 한도
상품 선택 효율

피플펀드 RISE 시스템

RISE 모델 개발
ML을 통해 더욱 고도화된 성능,
신뢰 할 수 있는 CSS/FDS 기술 개발
CSS
신용평가 시스템
FDS
사기 감지 시스템

초기 RISE 모델 개발
Amazon SageMaker Notebook
Notebook
Notebook
Data
Scientist
Amazon API Gateway
AWS Lambda
Data sources
AWS Glue
Amazon RDS
Amazon S3
AWS Account
Amazon S3 Amazon SageMaker
endpoint
User
model
artifacts

MLOps 도입 배경
Amazon SageMaker Notebook
Notebook
Notebook
Data
Scientist
Amazon API Gateway
AWS Lambda
Data sources
AWS Glue
Amazon RDS
Amazon S3
AWS Account
Amazon S3 Amazon SageMaker
endpoint
User
model
artifacts
🗶 🗶
🗶
모델 성능 Feedback
수집
변경 관리 필요 Model 관리
데이터 전처리
🗶

RISE 고도화 목표
빠른 변화
—
높은 모델 정확도 유지
금융환경 변화 대응
규제 대응
—
보안
규정 준수
관리
AND

MLOps기반 빠른 변화 대응

반복 사이클 자동화
Yes
No
비즈니스 문제
PART 1
PART 2
PART 3
PART 4
모니터링 및 디버깅
예측
모델 배포
Feature 엔지니어링
Data 시각화 및 분석
데이터 준비 및 정제
데이터 통합
데이터 수집
AI/ML 목표 수립
모델 평가
Model 학습 및 파라미터
튜닝
목표 달성?

Configuration
Data Collection
Data Verification
Machine
Resource
Management
Serving
Infrastructure
Analysis Tool
Process
Management Tools
Feature
Extraction
Monitoring
“Only a small fraction of real-world ML systems is composed of the ML code”
source: Hidden Technical Debt in Machine Learning Systems [D. Sculley, & al.] – 2015
https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf
MLOps 도입시 고려한 부분

PART1: 데이터 분류
▶ 데이터 식별 및 데이터 보호 제어 정의

PART1: 데이터 전처리 자동화
Power users
Data Platform
대출 데이터
AWS
Glue
Amazon
S3
Data
catalog AWS Glue AWS Glue
Data
storage
개인 신용 데이터
Athena, SageMaker
Bucket
(Raw)
Bucket
(Cleaned)
Bucket
(Training Set)
Data governance
DataHub
Data quality &
data lineage
Data
Scientist
Data Engineers

ML Account
Data
Scientist
Git Amazon S3
code
artifacts
create
pipeline
model
artifacts
scheduled
trigger
Amazon EventBridge
or manual
trigger
Amazon SageMaker Studio
Notebook
Notebook
Amazon SageMaker Pipelines
Amazon
SageMaker
Model Registry
PART2: 모델 개발 및 재훈련 워크플로우
Feature
Engineering
Job
Training
job
Model
Validation
job
Data Account
Data sources
Amazon
SageMaker
Feature Store
Amazon ECR
environments
model
artifacts

PART3: 모델 배포 자동화
ML Account
Auto Scaling group
Amazon SageMaker
endpoint
Amazon SageMaker
endpoint
Amazon SageMaker
endpoint
Users
AWS Lambda
Jenkins
AWS CodePipeline
Amazon SageMaker
Model Registry
Amazon API Gateway
Model
Approved
Manual
trigger
Deployment
Deployment
Trigger

PART4: 모델 추론
ML Account
(1)
(2) Users
Amazon API Gateway
AWS Lambda
CSS
신용평가 시스템
FDS
사기탐지 시스템

PART4: 모델 모니터링
Auto Scaling
group
Amazon
SageMaker
endpoint
Amazon API
Gateway
AWS
Lambda
data capture
Amazon EventBridge
Model 모니터링
및 분석
Amazon S3
Periodic trigger or
drift trigger
ML Account
Amazon SageMaker Pipelines
baseline data
Users

MLOps 도입 성과
▶ 피플펀드 리스크 평가 모델 성능 지수

MLOps 도입 성과
▶ CSS 모델 개발 빈도 비교
지난 5개년 빈도 기준

MLOps 도입 성과
▶ Baseline Data 와의 비교를 통한 Data Drift 분석
Data Drift
발생
XXXX-XX-XX XXXX-XX-XX
XXXX-XX-XX
XXXX-XX-XX
XXXX-XX-XX XXXX-XX-XX
XXXX

규제 대응

규제대응
인증 및 인가 네트워크 망분리
IAM Role을 이용한 MLOps
역할별 리소스 권한 관리
Lake Formation을 이용한
Cross Account 데이터 접근
권한 관리
외부 통신의 암호화
Onpremise에서 VPC간,
VPC와 VPC 간에 인터넷
접근 없이 내부 통신
리소스 보호
Amazon S3 등 저장 시
데이터 암호화, AWS KMS
Key로 키관리
Open Source 검증
및 코드나 모델 artifacts를
안전하게 저장하고 보호

인증 및 인가: 담당자 역할별 최소 권한 원칙
DEVOPS
ENGINEER
데이터 수집부터 가공 처리
까지 일련의 과정을 담당하
며 DW를 개발/운영
AI 모델과 데이터를 서비스
하기 위한 API 개발/운영
수집된 데이터를 바탕으로 분
석하고 비즈니스에 필요한 모
델을 지속적으로 고도화
DATA
SCIENTIST
DATA
ENGINEER

인증 및 인가: AWS Control Tower 도입
멀티 계정을 도입하여 규제 대응 전략 수립
안정적 운영 환경 구축 및 관리를 위한 AWS Control Tower 도입
AWS 랜딩존 구성
규정 준수 계정 프로
비저닝 자동화
계정 및 접근 제어
중앙 관리
보안, 규제대응, 운영을
위한 가드레일 생성
지속적인 관리

인증 및 인가: 멀티 계정 기반 업무 분리
Infra Account
Dev Account
Prod Account
ML Account
Ingress
App
Automation
MLOps stack
Prod deployment Dev stack Build stack
Data Account
Data
Scientist
Data Bucket
IGW AWS WAF ELB Amazon API
Gateway
DevOps
Engineers
Users
Data
Engineers

네트워크 망분리: AWS Direct Connect 및 VPN 연결
Corporate
data center
Customer
Router
AWS
Gateway
Direct Connect location
AWS Cloud
Customer
Gateway
Seoul
Transit
VIF
Active
AWS Transit
Gateway
IPSec
Encryption

네트워크 망분리: AWS PrivateLink
Corporate
data center
Customer
Gateway
Customer VPC
ML Account
Public subnet
Private subnet
CloudWatch
Metrics, Logs
SageMaker
Runtime
SageMaker API
ECR
NAT gateway
SageMaker AWS Account
SageMaker Service VPC
Notebook
ENI
VPN connection
AWS Transit
Gateway
Infra Account
Amazon S3
VPC Endpoints + Policies

네트워크 망분리: 모델 서빙
AWS Transit
Gateway
Prod VPC
ML VPC
Private subnet
Amazon EKS
ALB
Private subnet
Amazon API
Gateway
AWS Lambda
Auto Scaling group
Amazon SageMaker
endpoint
Prod VPC
Public subnet
Users
AWS Cloud
NLB

리소스 보호
Security
AWS Lake Formation AWS Key Management Service
Power users
Data Platform
대출 데이터
AWS
Glue
Amazon
S3
Data
catalog AWS Glue AWS Glue
Data
storage
개인 신용 데이터
Athena, SageMaker
Bucket
(Raw)
Bucket
(Cleaned)
Bucket
(Training Set)
Data governance
DataHub
Data quality &
data lineage
Data
Scientist
Data Engineers

피플펀드 RISE 고도화 성과

피플펀드 성과
▶ 업체별 연체율 대비 평균금리
22년 기준, %
* 연체율은 +30 DPD 기준 대출금액 / 총 금액으로 계산
* 카드사와 저축은행의 값은 2022년 1월 기준으로 계산

피플펀드 성과
▶ 피플펀드 대출 대환 시 비용 효과
22년 기준, %
4.5%
17.97% ▶ 13.47%
금리 인하 효과
1,275만원
1,389만원 ▶ 2,664만원
한도 상향 효과
226만원
1,009만원 ▶ 783만원
이자 절감 효과

피플펀드 성과
▶ 월별 대출 취급액 및 누적 취급액 - 1.67조원
2018 - 2022년, 단위 : 10억원

AWS 기반의 안전한 머신러닝 및 MLOps 환경 구성

사설 네트워크 기반으로 Amazon SageMaker 구성 요소간에
데이터 통신 제어 및 싱글 테넌시 환경으로 분리
인프라 및 네트워크 분리
리소스 접근을 제어하기 위한 인증 및 인가를 정의, 시행
그리고 감사
인증과 인가
저장 및 전송 중 자동 데이터 암호화 보장
데이터 보호
모든 API 호출, 이벤트, 데이터 액세스 또는 상호작용을
사용자 및 IP 수준까지 추적, 감사로 빠른 문제 해결
모니터링 및 감사로그
책임 공유 모델 기반의 인증 및 규제 대응
규정 준수
AWS 기반의
안전한 ML 및 MLOps
환경 구성
Amazon SageMaker 및
AWS 클라우드에서 제공하는
기본 기능을 통해 보안 강화

인프라 및 네트워크 분리
인터넷 노출 영역을 최
소화하여 AWS의 전체
인프라 제어하고, 개인
정보 보호를 관리 및
강화
논리적으로 독립된 가상의 네트워크 Amazon VPC 에서 Sagemaker 구성
요소 배포, 데이터 트래픽은 이 VPC내에서 엄격하게 제어, 또한 자체
VPC 내에 배포하여 프라이빗 리소스에 안전하게 접근하는 옵션도 제공
Amazon Virtual Private Cloud(VPC) 지원
VPC, AWS 서비스간, 온프레미스 애플리케이션 간에 네트워크
트래픽을 AWS PrivateLink를 사용하여 인터넷과 분리된 네트워크 설계
AWS PrivateLink 를 이용한 네트워크 분리
다른 사용자들과 격리된 환경을 보장하기 위한 단일 테넌시 Amazon
EC2 인스턴스에 배포
멀티 테넌트 격리
프로그래밍 방식으로 사용자에게 호스트 관리자 권한을 제어
루트 액세스 권한 관리

인증 및 인가
Amazon SageMaker
및 관련 리소스 접근을
제어하기 위한 인증 및
인가를 정의, 시행
그리고 감사
온프라미스 AD/LDAP과 AWS IAM 역할을 매핑하여 Sagemaker 접근 제어
IAM 역할 기반 접근 제어
멀티 팩터 인증 설정하여 AWS 관리 콘솔로부터 SageMaker 노트북 접근
멀티 팩터 인증
SageMaker 리소스에 태그 설정하여 태그 기반의 접근 제어 설정 가능
태그 기반 접근 제어
지능형 위협 탐지를 구축하여 ML 환경과 데이터 접근 및 비인가 작업 등을
보호하기 위한 지속적 모니터링
탐지
잠재적 위협이 되는 작업을 발생하지 않도록 미연에 방지하여 제어
예방

데이터 보호
저장 및 전송 중 자동
데이터 암호화 보장
Model Artifacts 및 데이터를 Amazon S3 이나, EBS 볼륨을 암호
화 저장
저장시 암호화
SageMaker API 및 Console 요청은 SSL 기반으로 동작
전송시 암호화
분산 클러스터의 Training 노드 간에 모든 통신을 암호화 하도록
설정 가능
Container 간에 네트워크 암호화
Amazon S3 뿐 아니라, EBS 볼륨까지 데이터를 고객키를
이용해서 암/복호화
AWS KMS 암호화

모니터링 및 감사로그
모든 API 호출, 이벤트,
데이터 액세스 또는
상호작용을 사용자 및
IP 수준까지 추적,
감사로 빠른 문제 해결
EC2 인스턴스, AWS CloudWatch 등으로부터 로그 파일을 저장,
모니터링, 이상증상이 발생 시 즉각적 조치를 취하기 위한 알람 설정
활동 로깅 및 이벤트 수집
사용자 활동, API 사용양 등 ML 환경 운영 및 위기 감사를 위해서 사용
CloudTrail 및 CloudWatch 감사로그

규제 준수
SOC 1 SOC 2 SOC 3
**Excluding Public and Vendor Workforce**
MTCS
참고: https://aws.amazon.com/financial-services/security-compliance/compliance-center/

AWS Well-Architected Framework
안정성
운영 우수성
보안
성능 효율성
비용 최적화
지속 가능성
디자인 원칙
모범 사례
참고: https://aws.amazon.com/ko/architecture/well-architected

AWS Well-Architected 렌즈 및 지침
기계 학습 렌즈
서버리스 애플리케이션
렌즈
관리 및 거버넌스 지침
하이브리드 네트워크
렌즈
SaaS 렌즈
금융 서비스 산업 렌즈 분석 렌즈
AWS에서 워크로드의
재해복구 지침

AWS Well-Architected Framework-기계학습 렌즈
Well-Architected
Machine Learning
Lifecycle
성능 효율성
신뢰성
운영 우수성
보안
비용 최적화
모니터링
비즈니스
목표
AI/ML
목표 수립
데이터
전처리
배포
모델 개발
참고: https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/machine-learning-lens.html

감사합니다.

AWS Summit Seoul 2023 | AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to AWS Summit Seoul 2023 | AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정

Similar to AWS Summit Seoul 2023 | AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

AWS Summit Seoul 2023 | AWS로 구축한 피플펀드의 신용평가 MLOps 플랫폼 개발 여정