[금융사를 위한 AWS Generative AI Day 2023] 3_AWS Generative AI 기술특징과 접근방향_김선수_AWS.pdf

UPDATE EVENT TITLE IN SLIDE MASTER
FINANCIAL SERVICES |
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
AWS 기반의 Generative AI 기술 특징과
접근 방향
김선수
AI/ML Business Development Manager
Amazon Web Servicies

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 2
Agenda
1. Overview
2. Customer demand
3. Why AWS
4. AWS Services
5. How to approach generative AI

Generative AI
1. Overview

금융사를 위한 AWS GENERATIVE AI DAY
Generative artificial intelligence (AI)
• 대화, 스토리, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어를
생성합니다.
• 방대한 데이터 말뭉치들에 대해 사전 학습된 대규모 모델을 기반으로 하며,
일반적으로 Foundation Models(FM)이라고 합니다.

기존 ML models vs. Foundation models
문장 생성/요약
정보 추출
예측
Q&A
Chatbot
사전학습 적용
범용 태스크
수행
Unlabeled data
Foundation
Model
문장 생성/요약
정보 추출
예측
Q&A
Chatbot
학습 배포
특정 목표,
태스크 수행
ML model
…
…
…
…
Labeled
data
…
…
…
…
정제 된 충분히 많은 데이터로 특정 목적 포커스된
학습/배포 과정을 목표 지능 수준까지 반복 수행
정제 안된 초거대 용량 데이터로 초거대 FM을
사전학습 시킨 후 범용 태스크 수행에 적용

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
문서 처리
컨텐츠 정리
관리 지원
이상 징후 감지
대화 이력 검색
상담원 지원
챗봇 & 가상 비서
개인화
콜센터 분석
컨텐츠 로컬화
코드 생성
합성 데이터 생성
글, 이미지, 영상 생성
글 요약
웹페이지용 이미지 생성
비디오 향상
영상 향상
애니메이션 생성
음악 생성
고객 경험 향상 직원 생산성 강화 비즈니스 운영 개선 창의/창조
Generative AI의 활용 사례

주요 예시
“매우 깨끗한 거실 사진”
2017 2022
StackGAN,
Zhang et al.
Stable Diffusion,
Rombach et al.

주요 예시 : Stable Diffusion 2.0
포토리얼리즘에 근접하고 있음

주요 예시 : Stable Diffusion 2.0
원하는 스타일에 맞게 훈련시키기

© 2023, Amazon Web Services, Inc. or its affiliates. Al rights reserved.
Generative AI
2. Customer demand

Generative AI에 대한 기업의 유형
파운데이션 모델을
처음부터 스스로 구축하여
Tuner와 Consumer에게
제품으로 제공하는 기업.
Model Provider
Provider가 생성한
파운데이션 모델을 이용하여
자사 데이터로 파인 튜닝된
모델을 생성/배포하여
자사 목적에 맞게 활용
Model Tuner
참여
유형
Model Consumer
Provider 및 Tuner가 생성한
파운데이션 모델에 API 및
개발자 툴을 사용하여, 자사 AI
애플리케이션 개발
대표적인
Provider
HuggingFace

보안성 + 맞춤형 최적화에 대한 요구 (customization)
적은 수량의 레이블링 된 예시
특정 작업에 대한 정확도 극대화
Fine-tune
목적
필요한 데이터
§ 특정 사업의 목적 반영
§ 도메인 특성 반영된 언어 구현
§ 특정 작업을 위한 성능 확보
§ 전후 맥락 이해 기반의 사실적 대응
§ Hallucination 감소

Generative AI 접근에 있어서 공통적으로 기대하는 부분
사용 편의 + 보안
Base FM을 선택하고, 보안성을
확보하면서 사용 최적화하며,
차별화된 애플리케이션 구축
비용 효율성
최적의 성능과 비용을 보장하기
위한 인프라 관리
더욱 빠른 가치 제공
공통적인 비즈니스 작업들을
위한 Generative AI 서비스 시작
1 2 3

Generative AI
3. Why AWS?

AI/ML 혁신은 아마존 DNA 안에 있습니다
Amazon.com에서
1분당 4,000+개 제품 판매
매일 160만개 패키지 매주 수십 조 번의
Alexa 상호 작용
2016년 Prime Air
첫 배송

More than 100,000 customers use AWS for ML
16

보안 확보된
Customizing을 통해
차별화 주도
AWS의 광범위하고, 깊이
있는 기능으로 쉽게 구축
시작
모델 선택을 통한
머신러닝 민주화
17
AI21 Labs, Anthropic,
Stability AI, Amazon
등이 제공하는 다양한 FM
중에서 선택하여 기업에
가장 적합한 모델 사용
AWS의 차별화

보안 확보된
차별화 주도
시작
18
소수의 정제 샘플을 통해
비즈니스에 적합한 FM을
유저에 맞게 재생성 가능.
모든 데이터는 암호화되어
Amazon Virtual Private
Cloud (VPC)를 벗어나지
않으므로 고객의 데이터가
private하고, confidential
유지된다는 점에서 신뢰
AWS의 차별화

보안 확보된
차별화 주도
시작
19
200+여 개가 넘는 AWS의
다양한 클라우드 서비스
연계 활용
AWS의 차별화

Generative AI에 대한 기업 유형
Amazon
SageMaker
(full control)
AWS Neuron
(Inferentia
&Trainium)
Fully customizable OR fully managed
Hybrid Manage
Amazon SageMaker JumpStart
Focus on tuning, building & deploying
Fully Managed
Amazon Bedrock
Amazon Foundation Model Hub
Model Provider Model Tuner Model Consumer

기업 유형 별 Generative AI 접근 가능한 방향
Provider
Foundation Model
Amazon SageMaker
사용자
Tuner 사용자
Amazon
SageMaker
JumpStart
Consumer API Layer
사용자
Amazon Bedrock
(under private preview)
모델 제공
가능
• 프롬프트/텍스트 임베딩
• 파인 튜닝
• 파인 튜닝
• 사전 훈련된 모델
• 프롬프트/텍스트 임베딩
Tuning
Deployment
Consumer
고객 수행
AWS 제공

LG AI Research의 Amazon SageMaker 기반 FM 구축 사례
https://www.youtube.com/watch?v=vd8aYD8epNI
뉴욕 패션위크 AI Artist “TILDA”는 어떻게
탄생하게 되었을까? LG AI 연구원 - 고객 사례
https://aws.amazon.com/solutions/case-studies/lg-ai-research-case-study/
LG AI Research의 엑사원 아키텍쳐 다이어그램

Generative AI
4. AWS Services

AWS Trainium
Amazon CodeWhisperer Amazon Bedrock Amazon SageMaker
AWS Inferentia2
AWS의 Generative AI 관련 서비스와 인프라

Amazon SageMaker JumpStart
파 운 데 이 션 모 델 허 브 로 서 몇 번 의 클 릭 만 으 로
배 포 및 기 본 파 인 튜 닝 스 크 립 트 제 공
Benefits
• Generative AI 생태계의 다양한 파운데이션
모델 허브
• 사전 구축된 모델 파인 튜닝 및 추론 스크립트
제공
• 직관적이고 쉬운 UI 및 API 기반
• 빠르게 시작할 수 있는 예제가 포함된 노트북
제공
• 조직 내에서 파인 튜닝 모델 공유 및 협업
SageMaker
Training
and
Inference
Prompt / text
embeddings
API
Layer
SageMaker
Endpoint
Foundation Models
SageMaker JumpStart
Model hub, deploy, fine-tune
Accelerated Computing
Trn1(n), Inf2, P4d, P5
Fine-tune
25

Browse: Foundation Model 탐색

Experiment: Foundation model 실험

SageMaker Jumpstart 기반의 Foundation Model 예시
Publicly available
Models
Cohere
generate-med
Tasks
Text generation
Information
extraction
Question
answering
Summarization
Models
Text2Image
Upscaling
Tasks
Generate
photo-realistic
images from
text input
Improve quality
of generated
images
Features
Fine-tuning on
SD 2.1 model
Models
Flan T-5 models
(8 variants)
DistilGPT2, GPT2
Bloom models
(3 variants)
Tasks
Machine
translation
Question
answering
Summarization
Annotation
Data generation
Models
AlexaTM
20B
Tasks
Machine
translation
Question
answering
Summarization
Annotation
Data generation
Models
Jurassic-1
Grande 17B
Tasks
Text generation
Long-form
generation
Summarization
Paraphrasing
Chat
Information
extraction
Question
answering
Classification
Models
Lyra-Fr
10B
Tasks
Text generation
Keyword
extraction
Information
extraction
Question
answering
Summarization
Sentiment
analysis
Classification
Proprietary models

Amazon Bedrock (under preview)
파 운 데 이 션 모 델 ( F M ) 을 사 용 하 여 생 성 A I
애 플 리 케 이 션 을 구 축 하 고 확 장 하 는 쉬 운 방 법
Benefits
• API를 통해 FM을 사용하여 생성 AI
애플리케이션 개발 가속화
• 인프라를 관리할 필요가 없음
• Amazon, AI21 Labs, Anthropic, Stability AI,
Cohere 등의 Foundation model 선택
• 데이터 유출 없이 조직의 데이터를 사용하여
FM 을 커스터마이징
• 포괄적인 AWS 보안 제어 및 서비스
API
Layer
Amazon
bedrock
Prompt / text
embedding
Fine-tune
Foundation
Models
29

Amazon Bedrock의 글로벌 유명 FM 지원 지속 확대
Jurassic-2 Claude 2 Stable Diffusion
Multilingual large
language models
(LLMs) for text
generation in
Spanish, French,
German,
Portuguese,
Italian, and Dutch
LLM for thoughtful
dialogue, content
creation, complex
reasoning, creativity,
and coding, based on
Constitutional AI and
harmlessness training
Generation of
unique, realistic,
high-quality images,
art, logos,
and designs
Now available:
Stable Diffusion
XL 1.0
Amazon Titan
Family of models built
by Amazon that are
pretrained on large
datasets, which makes
them powerful,
general-purpose
models
Command
and Embed
Text generation
model for business
applications and
embeddings model
for search, clustering,
or classification in
100+ languages
Note: Additional models also available through Amazon SageMaker JumpStart

Generative AI를 위한 목적 최적화된 accelerator
AWS Inferentia
딥 러닝 모델 실행을 위한
클라우드에서 추론 당
최저 비용
추론 당 비용이 동급의 Amazon
EC2 인스턴스보다 최대 70% 저렴
AWS Trainium
LLM 및 Diffusion 모델의
가장 비용 효율적인
고성능 학습 활용
동급의 Amazon EC2 인스턴스
대비 최대 50% 학습 비용 절감
AWS Inferentia2
LLM 및 diffusion 모델을 위한
최저 추론 당 비용으로
높은 성능 제공
동급의 Amazon EC2 인스턴스
대비 최대 40% 낮은 가격 성능

Generative AI를 위한 목적 최적화된 accelerator
AWS Inferentia
딥 러닝 모델 실행을 위한
클라우드에서 추론 당
최저 비용
추론 당 비용이 동급의 Amazon
EC2 인스턴스보다 최대 70% 저렴
“SK텔레콤의 ML서비스 개발팀에서는 Inf1 인스턴스에서
운영되는 모델을 이용하여 기존 대비 약 70% 정도의 개선된 추론
성능을 확인했으며, 기존 대비 50% 비용으로 최대 3.5배 더 많은
추론 요청을 처리할 수 있게 되었습니다.”
출처: https://aws.amazon.com/ko/blogs/tech/skt-mlops-using-aws-inferentia-stepfunctions/

Amazon CodeWhisperer:
AI 코딩 도우미로 더 빠르고 안전하게 애플리케이션 구축
Amazon CodeWhisperer를 사용자는 작업을 성공적으로 완료할 가능성이 27% 더 높았으며,
CodeWhisperer를 사용하지 않은 참가자보다 평균 57% 더 빨랐습니다.
실시간으로
코드 제안 생성
찾기 어려운 취약점 관련
코드 스캔
오픈 소스 훈련 데이터
또는 필터와 유사한
코드를 플래그

Generative AI
5. How to prepare generative AI

Generative AI 생태계
AI 서비스
LLM 모델 제공 기업
클라우드
AI 반도체
응용 애플리케이션
챗봇, 질의응답, 코드 도우미, 이미지 생성 등
Closed Source
Foundation Model
GPT-3 (Open AI)
모델 허브
허깅페이스, Replicate
Open Source
Foundation Model
Stable Diffusion
(Stability AI)
머신러닝 인프라
AWS, GCP, Azure, Coreweave
컴퓨팅 하드웨어 (AI 전용 가속기)
GPUs (NVIDIA), TPUs (Google), Inferentia/Trainium (AWS)
대분류 레이어 세부 분류 및 예시
AI 관리형
서비스 및
도구
OpenSearch,
Amazon Kendra,
LangChain 등
출처: https://a16z.com/2023/01/19/who-owns-the-generative-ai-platform 에서 각색

Generative AI 고려사항
환각
불투명성
컴플라이언스 & 법규
오남용 위험성
정적 지식
컴퓨팅
신흥 분야
도메인 적응
접근성
혁신적 생태계
리스크
이점

Generative AI 접근 방향
Eyes Wide Open
Generative AI 는 초기 기술단계에 있음. 다양한 모델에 대한 지속적인 평가를 통해 목적에 적합한 모델 결정
No One Size Fits All
기업 내의 Generative AI 의 요구 사항은 재정 자원, 보안 요구 사항, 거버넌스 및 기술에 따라 다양함
이를 기반으로 구축할 것인지 구매할 것인지에 대한 전략 결정이 필요
Open Infrastructure Platforms
Generative AI 생태계의 다양한 FM 을 지원하는 클라우드를 사용하여 지속적인 혁신이 필요
Listen and Enable
현업에서 사용할 수 있는 기술과 역할을 파악하고 적합한 서비스 선택 필요

Wrap-up: AWS Summit New York
(2023.07.26)
① Amazon Bedrock을 통해 Cohere와 같은 회사의 추가적인
Foundation Model 제공하며 그 활용 폭이 지속 확장되고 있습니다.
② Amazon Bedrock용 Agent를 생성하여 복잡한 작업을 자동화하고
Proprietary 데이터를 기반으로 애플리케이션에 대한 맞춤형 최신
답변을 제공할 수 있습니다.
③ Amazon OpenSearch Serverless에 대한 벡터 엔진 지원을 통해
고객이 검색에 벡터를 활용할 수 있는 더 간단한 방법을 제공합니다.
④ Amazon QuickSight의 Generative BI는 자연어 질문을 기반으로
비즈니스 인텔리전스를 생성하여 통찰력을 보다 쉽게 제공합니다.
⑤ AWS HealthScribe는 Generative AI를 사용하여 의료 전문가의
문서 작업 부담을 덜어주고 환자들을 더 편하게 합니다.
⑥ 신규 Amazon EC2 P5 인스턴스는 NVIDIA H100 GPU를 활용하여
Generative AI 학습 및 추론을 가속화합니다.
⑦ AWS는 Generative AI를 사용하는 데 도움이 되는 무료 및 저렴한
기술 교육 과정을 제공합니다.

Wrap-up: AWS와 함께하는 Generative AI 제언
Why?
What?
How?
§ AWS의 Digital Innovation Program Workshop
(Amazon의 Working Backwards 방식의 발굴)
Generative AI 프로젝트
3
AWS 기반의 다양한
Generative AI 서비스
2
Generative AI 기반의
Use case 발굴
1
§ AWS의 다양한 Foundation Model 확인, 점검
§ AWS 기반의 다양한 교육 프로그램 기반 학습
§ AWS Professional Service와 프로젝트 추진
§ AWS Partner Network 협업 통한 프로젝트 진행

Thank you!

[금융사를 위한 AWS Generative AI Day 2023] 3_AWS Generative AI 기술특징과 접근방향_김선수_AWS.pdf

More Related Content

What's hot

Similar to [금융사를 위한 AWS Generative AI Day 2023] 3_AWS Generative AI 기술특징과 접근방향_김선수_AWS.pdf

More from AWS Korea 금융산업팀

[금융사를 위한 AWS Generative AI Day 2023] 3_AWS Generative AI 기술특징과 접근방향_김선수_AWS.pdf