Kaggle 상의 신용카드 부정사용 데이터를 사용하여, MS Azure 환경의 ML(Machine Learning) Studio로 기계학습을 진행하였습니다. 학습모델은 Random Forest 모델을 사용하였고, 훈련데이터와 테스트 데이터를 8:2로 분할하였습니다. Azure의 ML Studio의 기본 사용법을 확인하실 수 있습니다.

1. 2018년 04월
MS Azure ML Studio
신용카드 부정사용 검출 테스트
타임게이트 연구소

2. Agenda
• 신용카드 부정사용 테스트 데이터 (Kaggle)
• Azure Machine Learning Studio
• 신용카드 부정사용 검출 웹서비스 제작
• 결과 비교
• 웹서비스 배포 및 테스트

3. 신용카드 부정사용 테스트 데이터

4. 신용카드 사용 데이터 – 2010설립, 2017년 Google 인수
발췌 : https://www.kaggle.com/agpickersgill/credit-card-fraud-detection/data
• 유럽 카드사 2013년 9월 2일치 데이터
• 전체 284,807 건 중 부정사용 492건
• (Time, Amount, Class)를 제외한 필드를 PCA를
사용해 V1~V28 로 변형
• Label field 는 Class

5. 신용카드 부정사용 데이터 – 유럽 카드사 2013년 2일치 데이터
발췌 : https://www.kaggle.com/agpickersgill/credit-card-fraud-detection/data
부정사용 여부
• 1 : 부정사용
• 0: 정상사용

6. Azure ML Studio

7. Azure Machine Learning – 애저 머신러닝 지원 도구
발췌 : https://docs.microsoft.com/ko-kr/azure/machine-learning/
데이터 탐색, 모델 개발,
배포를 손쉽게 관리할 수
있는 서비스 (Cloud/On-
Premise 지원)
Azure Machine Learning
웹서비스 개발 도구
DS(Data Science)용
가상머신 배포 서비스

8. Azure Machine Learning Stuido – GUI 기반 머신러닝 모델 개발툴
발췌 : https://docs.microsoft.com/ko-kr/azure/machine-learning/studio/studio-overview-diagram

9. Azure Machine Learning Studio– https://studio.azureml.net
발췌 : https://studio.azureml.net/
Azure
계정으로
로그인

10. 부정사용 검출 웹서비스 제작

11. Machine Learning 모델 개발 절차
1. 데이터 Upload (Dataset 생성)
2. Experiment 생성
3. Machine Learning 모델 작성
① 데이터셋 블록 추가
② 데이터 전처리(정규화, 합산 필드 생성 등) 블록 추가
③ 데이터 분할(split – 훈련용, 테스트용) 블록 추가
④ Train 블록과 ML(Machine Learning) 모델 블록 추가
⑤ 채점 블록과 평가 블록 추가
4. 훈련된 모델 테스트 및 배포

12. 부정사용 검출 웹서비스 제작 – 데이터 업로드
발췌 : https://studio.azureml.net/Home/ViewWorkspaceCached/4a4d4ddb45754e9ab86d77250ca0d12b#Workspace/Datasets/ListDatasets
생성하기

13. 부정사용 검출 웹서비스 제작 – 데이터 업로드
데이터 셋 생성
발췌 : https://studio.azureml.net/Home/ViewWorkspaceCached/4a4d4ddb45754e9ab86d77250ca0d12b#Workspace/Datasets/ListDatasets
데이터 셋 파일 찾기

14. 부정사용 검출 웹서비스 제작 – 데이터 업로드
데이터 파일 선택
발췌 : https://studio.azureml.net/Home/ViewWorkspaceCached/4a4d4ddb45754e9ab86d77250ca0d12b#Workspace/Datasets/ListDatasets
OK 버튼

15. 부정사용 검출 웹서비스 제작 – 생성된 데이터셋
업로드된 데이터 셋
발췌 : https://studio.azureml.net/Home/ViewWorkspaceCached/4a4d4ddb45754e9ab86d77250ca0d12b#Workspace/Datasets/ListDatasets

16. 부정사용 검출 웹서비스 제작 – experiment 생성
생성 버튼

17. 부정사용 검출 웹서비스 제작 – Blank Experiment 생성
발췌 : https://www.kaggle.com/agpickersgill/credit-card-fraud-detection/data

18. 부정사용 검출 웹서비스 제작 – Experiment 생성
Experiment 이름 입력

19. 부정사용 검출 웹서비스 제작 – 데이터셋 선택
데이터셋 선택
Drag & Drop

20. 부정사용 검출 웹서비스 제작 – 데이터 정규화 블록 추가
데이터 정규화 블록
블록 연결
정규화 방법 선택
정규화 대상 컬럼 선택

21. 부정사용 검출 웹서비스 제작 – 데이터 분할 블록 추가
데이터 분할 블록
블록 연결
분할 비율 선택
(일반적으로 8:2 혹은 7:3)

22. 부정사용 검출 웹서비스 제작 – Train Model 블록 추가
모델 훈련 블록
블록 연결
(연결점 확인 필요)
Label 컬럼 선택

23. 부정사용 검출 웹서비스 제작 – ML 모델 블록 추가
ML(Machine Learning) 모델 블록
블록 연결
(연결점 위치 주목)
훈련 모델 매개변수 선택

24. 부정사용 검출 웹서비스 제작 – 모델 채점 블록 추가
모델 채점 블록
블록 연결
(연결점 주목)

25. 부정사용 검출 웹서비스 제작 – 비교 평가 블록 추가
비교평가 블록
블록 연결

26. 부정사용 검출 웹서비스 제작 – 모델 훈련 수행
훈련 수행

27. 결과 비교

28. 머신러닝 정확도 측정 관련 용어
• Sensitivity(Recall) = TP/(TP+FN)
• Specificity = TN/(TN+FP)
• Precision = TP/(TP+ FP)
• Sensitivity 와 Specificity (반비례 관계)
 참/거짓 비율이 다를 경우
• Sensitivity와 Precision (반비례 관계)
 참/거짓 비율이 비슷할 경우
( 참, 거짓 비율이 차이가 크면, 예측의 집합의 비율은
해석에 문제가 생길 가능성)
• ROC(Receiver Operating Characteristic)
 오적중 확률에 따른 적중확률 변화
• Accuracy = (TP+TN)/(TP+TN+FP+FN)
• F1-score =
2*(Precision*Recall)/(Precision+Recall)
실제 True
(부정사용)
실제 False
(정상 사용)
예측 True
(예측 부정 사용)
TP
(True Positive)
FP
(False Positive)
예측 False
(예측 정상 사용)
FN
(False Negative)
TN
(True Negative)

29. 블록 연결
결과 비교 – 평가 점수 확인

30. 평가 스코어
• Sensitivity(Recall) = 0.771
• Accuracy = 0.999
• Precision = 0.955
• F1 = 0.853
• AUC = 0.940
결과 비교 – 평가 점수 확인

31. 웹 서비스 배포 및 테스트

32. Predictive 웹서비스 생성
웹 서비스 배포 – 웹서비스 생성

33. 생성된 웹서비스 모델
웹 서비스 배포 – 웹서비스 생성

34. 웹서비스 테스트 수행
웹 서비스 배포 – 웹서비스 모델 검증을 위한 테스트 수행
웹서비스 테스트 수행 후 deploy

35. 웹서비스 호출을 위한 API Key
웹 서비스 배포 – 생성된 웹서비스 테스트
웹서비스 테스트용 웹페이지
• 웹서비스 Request/Response 정보
• 샘플 클라이언트 코드

36. 웹 서비스 배포 – 웹서비스 테스트 화면

37. 웹 서비스 배포 – 웹서비스 Request/Response 확인

38. Address
서울특별시 성동구 아차산로 17
11층 (성수동 1가, 서울숲엘타워)
우편번호 04789
Telephone
Tel : (02)575-0409
Fax: (02)6003-1987