금융 데이터분석을 위한 효과적인 AWS 아키텍쳐::유다니엘::AWS Summit Seoul 2018

3. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 데이터에 의한 더 나은 의사 결정 *Aberdeen: Angling for Insight in Today’s Data Lake, Michael Lock, SVP Analytics and Business Intelligence “데이터를 다양하게 잘 수집하고 효율적으로 쉽게데이터를 액세스할 수 있도록 했던 기업들은 유기적 매출 성장에서 경쟁 업체 대비 9%나 뛰어났다.” 24% 15% 유기적 매출 성장률 선두자 후발자

6. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 데 이 터 의 급 격 한 증 가 트랜잭션 ERP 센서 데이터 빌링 웹로그 소셜 인프라 로그 다 양 한 데 이 터 소 비 자 데이터 과학자 비지니스 애널리스트 외부 소비자 응용프로그램 많 은 데 이 터 접 근 방 식 API 액세스 BI 도구 분석 노트북 데이터 산업의 변화

7. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 전통적인 데이터 분석 아키텍처 OLTP ERP CRM LOB 데이터 웨어하우스 비지니스 인텔리전스 관계형 데이터 TBs~PBs 스케일 데이터 로드 전에 정의 된 스키마 운영 보고서 및 ad hoc 쿼리 대규모 초기 설비 투자 + $10K–$50K / TB / Year

9. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 레거시 데이터 아키텍처의 어려움… • 복잡한 하둡을 관리하는 건 매우 어렵다. • 전통적인 데이터 아키텍처는 스토리지와 컴퓨팅 인프라가 타이트하게 결합되어 있다. • 데이터가 여러 저장소에 분산되어 효율적인 분석이 어렵다. • 데이터를 액세스하는 도구가 제한되어 있다.

16. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS 데이터 레이크가 주는 혜택 여러가지 종류의 분석 및 처리 프레임워크를 동일한 데이터에 적용할 수 있는 방법? Data Lake 는 쓰기가 아닌 읽기에 스키마를 적용하여 ad-hoc 분석이 가능. 구조화 없이 분석 처리 (Schema on Read)

19. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 타의 추종을 불허하는 내구성, 가용성 및 확장성 최상의 보안, 컴플라이언스 및 감사 기능 모든 규모에서 객체 별로 제어 가능 데이터에 대한 비즈니스 통찰력 수 많은 파트너 솔루션과 통합데이터를 가져 오는 가장 많은 방법 제공 Amazon S3를 데이터 레이크로 선택한 이유

23. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 다양한 데이터 수집 방법 AWS Snowball • PB 규모의 마이그레이션 AWS Storage Gateway • 레거시 파일 마이그레이션 Amazon S3 Transfer Acceleration • 장거리 데이터 전송 가속화 AWS Direct Connect • 온프레미스와 네트워크 통합 Amazon Kinesis • 스트림 데이터 수집 • 데이터 변환 및 임시 저장 AWS Data Migration Service • 동종 및 이기종 데이터베이스 마이그레이션

24. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS는 데이터 레이크를 위한 모든 서비스를 제공 수집 저장 소비처리 및 분석 Kinesis 스트리밍 데이터 Database Migration Service Oracle, Netezza 등의 데이터 임포트 Amazon S3 안전하고, 비용 효율적인 스토리지 Direct Connect 데이터 센터와 연결 Snowball 벌크 데이터 로드 Interoperate with everything and many more…

28. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon AthenaAmazon EMR Amazon Redshift + Spectrum 다양한 데이터 처리 방법 Spark 및 Hive가 실행되는 관리형 하둡 페타바이트 규모의 관리형 DW 서버리스 대화식 쿼리 엔진 서비스 배치 분석 실시간 분석

29. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon AthenaAmazon EMR Amazon Redshift + Spectrum 다양한 데이터 처리 방법 Spark 및 Hive가 실행되는 관리형 하둡 페타바이트 규모의 관리형 DW 서버리스 대화식 쿼리 엔진 서비스 배치 분석 실시간 분석

30. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon AthenaAmazon EMR Amazon Redshift + Spectrum 다양한 데이터 처리 방법 Spark 및 Hive가 실행되는 관리형 하둡 페타바이트 규모의 관리형 DW 서버리스 대화식 쿼리 엔진 서비스 Amazon Kinesis Data Analytics 서버리스 실시간 스트리밍 분석 배치 분석 실시간 분석

31. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon AthenaAmazon EMR Amazon Redshift + Spectrum 다양한 데이터 처리 방법 Spark 및 Hive가 실행되는 관리형 하둡 페타바이트 규모의 관리형 DW 서버리스 대화식 쿼리 엔진 서비스 Amazon Kinesis Data Analytics 서버리스 실시간 스트리밍 분석 배치 분석 실시간 분석 Spark Streaming on Amazon EMR Apache Flink on Amazon EMR

32. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon Athena Amazon Elasticsearch Amazon EMR Amazon Redshift + Spectrum 다양한 데이터 처리 방법 Spark 및 Hive가 실행되는 관리형 하둡 페타바이트 규모의 관리형 DW 서버리스 대화식 쿼리 엔진 서비스 로그 분석 및 검색 엔진 관리형 서비스 Amazon Kinesis Data Analytics 서버리스 실시간 스트리밍 분석 배치 분석 실시간 분석 Spark Streaming on Amazon EMR Apache Flink on Amazon EMR

33. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS는 데이터 레이크를 위한 모든 서비스를 제공 수집 저장 소비처리 및 분석 Kinesis 스트리밍 데이터 Database Migration Service Oracle, Netezza 등의 데이터 임포트 Amazon S3 안전하고, 비용 효율적인 스토리지 Direct Connect 데이터 센터와 연결 Snowball 벌크 데이터 로드 Interoperate with everything and many more… Redshift 데이터 웨어하우스 EMR 비정형 데이터 처리 Athena ad-hoc 쿼리 and many more… Elasticsearch 로그 분석 및 검색 엔진 Kinesis Analytics 실시간 스트리밍 분석

37. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS는 데이터 레이크를 위한 모든 서비스를 제공 수집 저장 소비처리 및 분석 Kinesis 스트리밍 데이터 Database Migration Service Oracle, Netezza 등의 데이터 임포트 Amazon S3 안전하고, 비용 효율적인 스토리지 Direct Connect 데이터 센터와 연결 Snowball 벌크 데이터 로드 Interoperate with everything and many more… Redshift 데이터 웨어하우스 EMR 비정형 데이터 처리 Athena ad-hoc 쿼리 and many more… Elasticsearch 로그 분석 및 검색 엔진 Kinesis Analytics 실시간 스트리밍 분석 AWS Glue 데이터 카탈로그와 ETL

38. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS는 데이터 레이크를 위한 모든 서비스를 제공 수집 저장 소비처리 및 분석 Kinesis 스트리밍 데이터 Database Migration Service Oracle, Netezza 등의 데이터 임포트 Amazon S3 안전하고, 비용 효율적인 스토리지 Direct Connect 데이터 센터와 연결 Snowball 벌크 데이터 로드 Interoperate with everything and many more… Redshift 데이터 웨어하우스 EMR 비정형 데이터 처리 Athena ad-hoc 쿼리 and many more… Elasticsearch 로그 분석 및 검색 엔진 Kinesis Analytics 실시간 스트리밍 분석 QuickSight 비지니스 인텔리젼스 Notebook 머신러닝 개발 IDE API Gateway API 개발 도구 AWS Glue 데이터 카탈로그와 ETL

39. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS는 데이터 레이크를 위한 모든 서비스를 제공 수집 저장 소비처리 및 분석 Kinesis 스트리밍 데이터 Database Migration Service Oracle, Netezza 등의 데이터 임포트 Amazon S3 안전하고, 비용 효율적인 스토리지 Direct Connect 데이터 센터와 연결 Snowball 벌크 데이터 로드 Interoperate with everything and many more… Redshift 데이터 웨어하우스 EMR 비정형 데이터 처리 Athena ad-hoc 쿼리 and many more… Elasticsearch 로그 분석 및 검색 엔진 Kinesis Analytics 실시간 스트리밍 분석 QuickSight 비지니스 인텔리젼스 Notebook 머신러닝 개발 IDE API Gateway API 개발 도구 AWS Glue 데이터 카탈로그와 ETL

41. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS AI/ML 포트폴리오 프레임워크 & 인터페이스 AW S DEEP LEARNING API Apache MXNet TensorFlowCaffe2 Torch KerasCNTK PyTorch GluonTheano 플랫폼 서비스 AWS DeepLensAmazon SageMakerAmazon ML EMR (Spark ML/MLLib) V ISION L AN GU AGE 어 플 리 케 이 션 서 비 스 Amazon Rekognition Amazon Polly Amazon Lex Amazon Rekognition Video Amazon Transcribe Alexa for Business Amazon Comprehend V R / IR Amazon Sumerian Amazon Kinesis Video Streams Amazon Translate

45. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 데이터 레이크와 AI/ML 텍스트를 음성으로 변환 (TTS) Amazon Polly Amazon Lex 음성 또는 텍스트 기반의 대화형 엔진 (챗봇) Amazon Rekognition 이미지 및 비디오 분석 단일 중앙 스토리지 안전하고 비용 효율적인 스토리지 Amazon S3

46. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 데이터 레이크와 AI/ML 텍스트를 음성으로 변환 (TTS) Amazon Polly Amazon Lex 음성 또는 텍스트 기반의 대화형 엔진 (챗봇) Amazon Rekognition 이미지 및 비디오 분석 Amazon Sagemaker 머신러닝/딥러닝 플랫폼 단일 중앙 스토리지 안전하고 비용 효율적인 스토리지 Amazon S3

49. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. Amazon SageMaker One-click 머신러닝 알고리즘 학습 Hyperparameter 최적화를 통한 손쉬운 학습 고도로 최적화된 머신러닝 알고리즘들 복잡한 엔지니어링 노력이 필요 없는 쉬운 배포 운영환경 완전 관리 및 자동 스케일링 구축 Jupyter Notebook 인스턴스 생성 배포 학습

51. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. 단일 중앙 스토리지 안전하고 비용 효율적인 스토리지 S3 카탈로그 및 검색 메타데이터 엑세스 및 검색 DynamoDB Elasticsearch 엑세스 및 유저 인터페이스 사용자에게 쉽고 안전하게 엑세스 권한 부여 API Gateway IAM Cognito 보호 및 보안 자격 증명을 통한 데이터 보안 Security Token Service Cloudwatch Cloudtrail KMS Athena Quicksight EMR Redshift 처리 및 분석 예측 및 처방 분석을 통한 통찰력 Firehose Direct Connect Snowball DMS 데이터 수집 데이터를 신속하고 안전하게 S3로 유입 Glue ETL Lambda Glue Catalog AI/ML CloudHSM Macie Storage Gateway 끝으로…

52. © 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved. AWS Summit 모바일 앱과 QR코드를 통해 강연 평가 및 설문 조사에 참여해 주시기 바랍니다. 내년 Summit을 만들 여러분의 소중한 의견 부탁 드립니다. #AWSSummit 해시태그로 소셜 미디어에 여러분의 행사 소감을 올려주세요. 발표 자료 및 녹화 동영상은 AWS Korea 공식 소셜 채널로 공유될 예정입니다. 여러분의 피드백을 기다립니다!

53. 감사합니다

금융 데이터분석을 위한 효과적인 AWS 아키텍쳐::유다니엘::AWS Summit Seoul 2018

Amazon Web Services Korea

금융 데이터분석을 위한 효과적인 AWS 아키텍쳐::유다니엘::AWS Summit Seoul 2018