AI_introduction and requirements(2024.05.12).pdf

인공지능 도입 및 고려사항
디지털 전환(DX) - AI

이 찬 우
교육분야 Education field
AI & ML / Infra / Cloud / Data / Security/ ITGovernance
약력 Instruction
금융보안원 금융 ·Cloud ·보안 분야 강의담당
한국생산성본부 AI ·Infra ·보안 분야 강의담당
한국금융연수원 인증 ·Cloud ·보안 분야 강의담당
인공지능산업융합단 AI · 빅데이터 분야 강의담당
한국기술교육대학교 Infra · Cloud ·보안 분야 강의교수
한국정보보호산업협회 AI ·보안 분야 강의담당
한국정보보호학회 Cloud ·보안 분야 논문위원
서울사이버대학교 소프트웨어 공학과 겸임교수
고려사이버대학교 .정보관리 보안학과 겸임교수
서울디지털대학교 IT공학부 정보보호 전공 객원교수
경력 Career
現(AI-THE,CEO) / 前(금융협회·카카오·SK·쿠팡·뤼이드)
이 찬 우 교수
| 강의및 문의는링크드인(LinkedIn)연락처참고 |

국가적인 관심(전국민 AI)

국가적인 관심(K-클라우드 프로젝트)

국가적인 관심(DPG, 디지털 플랫폼 정부)

CONTENTS  인공지능 기획 시 고려사항
 클라우드와 인공지능
 머신러닝의 이해
 ChatGPT 개념 및 활용
 생성형 AI의 미래
8

인공지능 도입 분석
10
출처 : KISDI, 교통물류부문 인공지능(AI) 도입 현황 및 시사점(2021.08)

11

12

13

인공지능은 기계학습에 불과하다?
핵심정보의 요약 / 학습 알고리즘

인공지능 학습 빅데이터
19

디지털 트랜스포메이션
20

인공지능 기획 시 고려사항(GPU)
22

인공지능 기획 시 고려사항(Data)
23

인공지능 기획 시 고려사항(Data 품질관리)
24

인공지능 기획 시 고려사항(Data 품질관리)
25

인공지능 기획 시 고려사항(AI 위험)
26
AI 활용 확대에 따른 AI 위험(부작용) 우려가 제기

27
적대적 공격(Adversarial Threat)

28
데이터 오염(Data Poisoning) -> Cleaning

29
인공지능과 개인정보보호

30

31

32

33

34

35
DeepFake : 인공지능을 기반으로 활용한 인간 이미지 합성 기술

MODULE - 02
클라우드와 인공지능

머신러닝보다 큰 개념
규칙 엔진, 전문가 시스템 등 자가학습 가능 여부와
관계없이 인간 지능을 필요로 하는 작업을
수행하는 시스템 모두를 포괄하는 개념임
37

자원 활용의 제약사항으로 인해 초기의 머신러닝은
이었음
GPU를 통한 가 가능해지고
클라우드로 할 수 있게 됨
38

머신러닝에서 많은 시간이 걸리는 과정은 과 임
실제 운용 시 추론 단계에서는 훨씬 적은 자원만을 씀
비용을 최적화하면서도 원하는 결과를 빠르게 얻을 수 있음
39

머신러닝에서 중요한 것은 임
아무리 좋은 모델과 코드를 만들어도 양질의 데이터로
학습하지 않으면 원하는 결과를 얻을 수 없음
방대한 데이터를 효율적으로
저장하고 관리할 방법이 필요함
클라우드에서는 저장용 스토리지를 원하는 만큼 하고
필요에 따라 간편하게 할 수 있어 용도에 적합함
40

41

AWS 에서 제공하는 머신러닝과 인공지능
42

네이버 클라우드 AI 서비스
45

클라우드와 인공지능의 만남
46
- 인공지능 기술이 클라우드 서비스를 통해서 하나의 플랫폼이나 프레임워크 등으로
제공하고 있는 것은 이제 기본적인 사항임
- 반대 방향으로 발전하는 인공지능 기술을 클라우드 컴퓨팅이나 서비스에 적용해 클라우드
서비스의 성능과 효율을 증가시키고자 하는 방향도 여러 측면에서 나타남
- 이를 통해 좀 더 효율적이고 전략적이며 통찰력 있는 방식으로 클라우드 서비스를
제공하고 동시에 추가적인 유연성, 민첩성, 경비 절감을 얻을 수 있음
개요

47

48
- 데이터 퀘스트는 인공지능 기술을 클라우드 컴퓨팅에 적용하면서 얻을 수 있는 이점을
다음과 같이 제시하고 있음
1) 비용 효율성
2) 향상된 데이터 관리
3) 생산성 가속화
4) 지능형 자동화
5) 보다 심층적인 실행 가능한 통찰력
6) 보안 향상
7) 신뢰 증가
적용 시 이점

49
- 첫 번째는 통합의 문제
* 서로 다른 두 기술이 결합할 때마다 통합을 원활하게 진행하는 데에는 항상 어려움이 있음
* 이런 통합은 근본적으로 기업이 일단 애플리케이션과 기술을 클라우드로 이전한 이후에
인공지능 레이어를 추가하는 방식으로 생각할 수 있음
* 따라서 디지털 트랜스포메이션을 진행하는 것이 먼저이고 그 다음에 통합의 문제를 생각할
수 있음
클라우드와 인공지능의 통합운용 시 고려사항

50
- 두 번째는 데이터가 불충분할 때
* 현재의 인공지능 기술은 대량의 좋은 데이터를 갖추었을 때 가장 잘 작동함
* 데이터가 구조화 되어 있지 않거나 불완전한 경우가 많기 때문에 큰 도전이며 데이터
품질은 클라우드 자체에서도 인공지능 기술을 적용하는 데 매우 중요한 이슈가 됨

51
- 세 번째는 데이터에 대한 보안 및 개인 정보 보호의 문제
* 클라우드 자체의 보안 문제이면서 인공지능 기술 자체가 갖는 추가의 보안 문제에 대한
대책이 필요함
* 특히 학습에 사용한 데이터에 개인정보가 포함되어 있거나 의사 결정에 편향을 줄 수
있는 데이터가 있는 경우, 책임 있고 신뢰할 수 있는 인공지능 기술을 사용함을 보장하기
어렵기 때문에 더욱 특별한 주의가 요구됨

MODULE - 03
머신러닝의 이해

인공지능/머신 러닝/딥러닝
53

회귀일까요? vs 분류일까요?
55

회귀일까요? vs 분류일까요?
56

단순히
책을 보는 것
책 속의 내용을
이해하는 것
막 한글을 깨우친 아이에게 칸트(Immanuel Kant)의
‘순수이성비판’ 책을 읽도록 하면 어떻게 될까?
머신 러닝
출처 : 이찬우 인공지능의 이해 강의자료
57

컴퓨터에게
지식을
저장하는 것
컴퓨터가
그 지식을
이해하는 것
완전히 다른 영역
이를 해결하기 위해 등장한 것이 바로 ‘머신러닝’
머신 러닝
58

보통 인간은 어떤 문제를 해결한 경험을 토대로 문제를
이전보다 개선된 방법으로 해결하려고 노력하게 됨
경험적으로 문제를 해결하는 방법을 컴퓨터에 적용한 것
머신러닝
머신 러닝
59

기계를 학습시켜 과제(T) 수행에 대한 측정(P)이 개선되도록
지속적 경험(E)을 수행하는 구조임
컴퓨터에게 특정 과제(T, Task)를 해결하면서
그 성과를 측정(P, Performance measure)하는
경험(E, Experience)을 하게 함
머신 러닝
60

[야구 경기 승리 전략을 학습하는 머신러닝 프로그램]
예
 야구 경기를 승리하는 것
과제(T)
 득점을 많이 하고 실점을 최소화
하는 것
－득과 실 차이를 최대로 하는 것
성과 측정(P)
 실제 야구 경기를 수행하는 것
경험(E)
 프로그램은 경기에서 발생하는 다양한 상황인
투수의 방어율, 그 날의 컨디션, 수비 능력,
타자의 타율, 주루 능력 등
수 많은 조건에 따라서 경험(E)을 훈련하게 됨
머신 러닝
61

비지도학습
(Unsupervised
Learning)
지도학습
(Supervised
Learning)
강화학습
(Reinforcement
Learning)
머신 러닝
62

01 지도학습(Supervised Learning)
• 입력된 데이터에 대한 판단 결과가 명확히 주어진 경우 사용하는 방법임
[아이들이 사물을 하나씩 익혀 나가는 과정]
 사물을 실제 접하기 전에 그림책을 먼저 보는 경우가 많음
① 자동차 종류에 대한 그림책을 보면서
승용차, 버스, 트럭에 대해서 알게 됨
② 밖에 나가서 지나가는 차들을 보면서,
“이건 승용차, 저건 버스”라고 배운 지식을 활용하게 됨
③ 갑자기 도로에 견인차가 지나가게 되면, 아이는 이전에 배운 트럭과는
다른 모습을 보면서 ‘저건 트럭인가요?’ 하고 묻게 될 것임
예
머신 러닝
63

02 비지도학습(Unsupervised Learning)
• 입력된 데이터에 대한 판단 결과가 명확하게 주어지지 않은 경우 사용함
• 답이 정해져 있지 않기 때문에 하나의 결과를 도출할 수 없기에
주로 군집분류(Clustering)에 사용하는 방법임
[서울로 출퇴근 하는 사람들의 이동 경로 데이터만을 알고 있는 경우]
 기계가 스스로 학습하면서 이들의 사는 지역, 출근 지역을 구분하게 됨
예
<1/2>
머신 러닝
64

• 입력된 데이터에 대한 판단 결과가 명확하게 주어지지 않은 경우 사용함
• 답이 정해져 있지 않기 때문에 하나의 결과를 도출할 수 없기에
주로 군집분류(Clustering)에 사용하는 방법임
[아이리스(Iris Data Set) 꽃 분류]
 네 가지 특징을 이용해서 총 세 종류의 꽃(Iris Setosa, Iris Versicolour,
Iris Virginica)으로 군집분류하는 것임
－150개의 꽃 이미지를 꽃받침(Sepal)의 길이와 폭, 꽃잎(Petal)의
길이와 폭 등
실제 데이터에는 꽃 종류 이름이 주어져서 지도학습으로도 사용되지만,
특징만 가지고 꽃의 종류를 군집분류 하는 비지도학습으로 많이 사용됨
예
<2/2>
머신 러닝
65

A와 B의 두 가지 입력된 자료가
A인지 B인지 모름
단지 둘의 차이를 스스로
학습해서 ‘다르다’라고
군집분류하는 것
비지도학습
‘입력된 자료 A에 대해서
A이다.’라는 답(Label)을 줌
A가 A임을 알 수 있도록
스스로 학습하는 것
지도학습
머신 러닝
66

03 강화학습(Reinforcement Learning)
• 주어진 문제의 답이 명확히 떨어지지는 않지만,
결과에 따라서 보상(Reward)과 손실(Penalty)이 주어질 경우
보상을 최대화 하는 방향으로 진행하도록 모델을 학습하는 방식
머신 러닝
67

• 비지도학습과의 비교
• 주로 게임을 플레이 하거나 전략적인 판단을 통해 방향을 설정할 때 활용되는
방식임
입력된 데이터에 대한 답이 명확하게 주어지지 않음
유사점
강화학습은 결과를 통해 피드백을 받아 이를 학습에 반영한 것임
차이점
머신 러닝
68

[‘퐁’ 게임을 학습하는 경우]
 양쪽의 바(Bar)를 상하로 움직이면서 공을 받아 내는 게임임
 공을 받아 치지 못하면 상대방이 득점함
 머신러닝으로 퐁 게임을 학습 하는 경우 플레이 결과에 따라서 받게 되는
보상(Reward)이 주어짐
기계학습은 이렇게 주어진 보상을 프로그램이 최대로 달성할 수 있도록
이루어짐
예
머신 러닝
69

빅데이터 시대의 도래
방법론의 발전
머신러닝은 AI연구 분야 주도
 SVM(Support Vector Machine)
 RBM(Restricted Boltzmann Machine)
예
머신 러닝
70

머신러닝의 발전 한계
특징 설계(Feature Engineering)의 문제
[머신러닝을 이용해 사람 얼굴 이미지 인식을 하는 경우]
예
 머리 : 검은색
 눈 : 동그람
 얼굴 : 윤곽의 이미지 밝기 차이
각각의 특징을 통해 다른 사물과
사람 얼굴을 분류하게 됨
<1/2>
머신 러닝
71

머신러닝의 발전 한계
특징 설계(Feature Engineering)의 문제
[머신러닝을 이용해 사람 얼굴 이미지 인식을 하는 경우]
예
<2/2>
 사람들의 얼굴로 학습을 진행한 기계에
녹색으로 페이스 페인팅(Face Painting)한
사진을 입력
우리는 사람의 얼굴이라고 생각하지만,
기계는 사전에 분류된 얼굴색의 특징과
다르기 때문에 분류에 실패하게 됨
머신 러닝
72

머신러닝
분류 성능
사전에 정의된 특징(Feature)과 특징의
중요성을 나타내는 가중치(Weight)를
어떻게 주는냐에 따라 좌우됨
머신러닝 성능을 높이기 위해서 각각의 도메인 별로
특징 설계는 어려운 과제 중 하나였음
특징을 사전에 정의하는 것은 학습하고자 하는
영역(Domain) 마다 다르게 나타남
 이미지, 영상, 음성, 텍스트 등
머신 러닝
73

• 리처드 코엘료(Richert Coelho)가 기술한 책
• ‘특징 설계’에 관한 챕터를 보면, 다음과 같이 기술하고
있음
Building Machine Learning Systems with Python
잘 선택된 특징으로 만든 간단한
알고리즘이 그다지 잘 선택되지 못한
특징의 최신 알고리즘 보다 좋은 결과가
나온다.
머신러닝 성능은 얼마나 효과적인 특징을 찾아내느냐에 따라
달려있다고 할 수 있음
머신 러닝
74

• 리처드 코엘료(Richert Coelho)가 기술한 책
• ‘특징 설계’에 관한 챕터를 보면, 다음과 같이 기술하고
있음
Building Machine Learning Systems with Python
잘 선택된 특징으로 만든 간단한
알고리즘이 그다지 잘 선택되지 못한
특징의 최신 알고리즘 보다 좋은 결과가
나온다.
머신러닝 성능은 얼마나 효과적인 특징을 찾아내느냐에 따라
달려있다고 할 수 있음
머신러닝으로 학습을 할 경우 데이터의 영역(Domain)에 따라서
데이터의 특징 설계를 할 수 있는 전문가들이 필요함
머신 러닝
75

MODULE - 04
ChatGPT 개념 및 활용

GPT 란?
G(Generative)는 딥러닝을 통해 스스로 언어를 생성하는 능력을
갖추었다는 의미이다.
“기존에 AI는 미리 만들어 놓은 몇 가지 답을 조합하여 결과를 내 놓았다면,
ChatGPT는 다양한 질문에 자연적이고 논리적이며 상세한 답을 할 수 있다.”
P(Pre-trained)는 사전에 이루어진 학습에 기반하여 답을 생성한다는
의미이다.
“대화 과정에서 얻은 정보나 콘텐츠는 ChatGPT에 영향을 주지 못하지만, 대화의 숨은
맥락을 파악하고 이전의 질문과 대화를 활용한 답변은 가능하다.”
T(Transformer)는 딥러닝 모델 아키텍처를 말하는데 언어 번역, 언어
생성 및 질의응답과 같은 자연어 처리 작업에 널리 사용되는 강력한
모델이다.
“ChatGPT에서 사용되는 트랜스포머 아키텍처는 언어 생성 작업에 특별히 최적화된
모델이다.”

ChatGPT 및 OpenAI
1) ChatGPT(1/5)
 구글은 2014년 알파고 ‘딥러닝’ 테스트 이후 2017년 수학적 기법을
응용해 서로 떨어져 있는 데이터 요소의 의미관계를 파악하는
인공지능 트랜스포머 모델을 공개함
※ 2017년 구글 트랜스포머 발표 후 수많은 인공지능 모델이 이를
응용하여 발전함
 2015년 엘론 머스크 등에 의해 설립된 OpenAI사는 이 트랜스포머
모델을 응용하여 다음 연도에 GPT-1(파라미터 1.17억개)을
공개하였고, 2019년엔 GPT-2(파라미터 15억개), 2020년에 GPT-
3(파라미터 1,750억개), 2021년에 인간 피드백을 통한 자료 검증을
통해 GPT-3.5와 최근 GPT-4.0 서비스

ChatGPT 및 OpenAI
1) ChatGPT(2/5)
 GPT 탄생 이후 해외 구글, 마이크로소프트, 페이스북과 국내 네이버,
카카오 등에서 GPT 모델과 유사한 대화형 서비스를 앞다투어
출시하고 있음
※ ChatGPT는 21년 9월 이전까지의 데이터만 보유하고 있음
 생성형 AI(Generative AI)란?
 간단히 말하면 생성형 AI란 사람이 AI에게 특정 입력(프롬프트)을
통해 어떤 것을 만들어 달라고 요구하면 그 요구에 맞춰서 결과를
만들어주는 인공지능
 프롬프트: 생성형 AI에서 AI로부터 응답을 받기 위한 입력값

Tip. 생성형 AI
 생성형AI로 다양한 형태가 있겠지만 현재 가장 활발한 부류는 언어/이미지 모델
 언어 모델로 LLM(Large Language Model, 거대 언어 모델) 은 대량의 텍스트
데이터를 학습하여 문장 생성, 번역 등 다양한 자연어 처리 작업을 수행하는데 활용

ChatGPT 및 OpenAI
1) ChatGPT(3/5)
 GPT(Generative Pre-trained Transformer)는 OpenAI에서
개발한 자연어 생성 모델로 주어진 텍스트의 다음 단어를 예측하는
태스크를 학습하며, 이를 통해 사람이 쓴 것처럼 의미 있는 텍스트를
생성 가능
 ChatGPT는 언어 처리 인공지능 모델인 GPT-3.5와 GPT-4를
기반으로 하는 대화형 인공지능 서비스
- 22년 11월, 인공지능 연구기관인 OpenAI가 GPT-3.5를 기반으로
제작된 ChatGPT 공개

Tip. WebchatGPT(크롬 확장)

ChatGPT 및 OpenAI
1) ChatGPT(4/5)
 23년 3월, OpenAI는 성능이 개선된 GPT-4를 공개하였으며,
ChatGPT의 유료서비스(ChatGPT Plus)를 통해 사용 가능
- ChatGPT Plus : 원활한 접속 및 빠른 응답시간, 새로운 기능을 먼저
사용할 수 있는 구독형 서비스($20/월) → 텍스트 생성(이메일, 기사,
시･소설 등), 답변, 대화, 번역, 요약, 소스코드 생성 및 수정 등 가능
- 상위모델인 GPT-4는 이미지 입력까지 가능(멀티 모달)
- 23년 11월, GPT-4 Turbo 모델 발표

ChatGPT 및 OpenAI
1) ChatGPT(5/5)
 기존 챗봇은 단답형 대화나 주어진 정보 내에서 답변이 가능했다면,
ChatGPT는 사용자가 입력한 텍스트의 맥락을 이해하고 과거
대화를 기억함으로써 일상적인 언어를 통해 사람과 의사소통 가능
- 미국 와튼스쿨 MBA, 미국 의사면허시험(USMLE) 등을 통과하는
성능을 보였으며, GPT-4는 미국 변호사 시험에서 상위 10%의 점수를
받을 수 있을만큼 성능 향상
※ GPT 미국 변호사 시험 점수 : GPT-3.5(213점/400점) → GPT-
4(298점/400점)

Tip. ChatGPT 만 있을까?
Google 바드(Bard)
 바드(Bard)란? 구글에서 개발한 대규모 언어모델
 바드와 챗GPT의 차이점
- 구글 업무 툴과 연동성: Google docs, G-mail로 내보내기 가능
- 답변 검증을 위한 검색 지원
- 다른 답변 보기에서 원하는 답변 선택 가능
 사용 방법
① 네이버, 구글 등 검색창에 ‘바드’ 또는 ‘Bard’를 검색하여 바드 홈페이지로 접속
② 구글 바드 홈페이지 오른쪽 하단에 ‘Bard 사용해보기’ 클릭
③ 구글 계정으로 로그인
④ 로그인이 완료되었다면, 알고 싶은 내용을 하단 ‘여기에 프롬프트 입력’

MS, BING 오픈 AI
 BING 오픈 AI란? 마이크로소프트의 BING과 챗GPT가 결합한 새로운
인공지능이 탑재된 검색엔진
 BING 오픈 AI와 챗GPT의 차이점
- 데이터를 실시간 반영
- 자료의 구체적 출처 표기
- 추가 정보에 대한 링크 제공
 사용 방법
① 검색엔진 BING에 접속
② 예시 질문 하나를 선택하여 검색
③ 일반적인 검색 결과 뿐만 아니라 AI가 검색어에 관해 전반적인 분석
결과를 화면 우측에 보여줌

주요 오픈소스 LLM 비교(특징)

주요 오픈소스 LLM 비교(API 비용)

ChatGPT 및 OpenAI
2) ChatGPT의 영향
 ChatGPT와 기존 검색 엔진 간의 차이점은 다음과 같음

Tip. 기존 자연어 모델 vs ChatGPT
출처 : https://tech.kakaoenterprise.com/181

자연어 생성 인공지능 모델
2) 인간 피드백 기반 강화학습(RLHF)(1/4)
 인간 피드백을 통한 강화학습(RLHF, Reinforcement Learning
from Human Feedback)은 사람의 피드백(Human Feedback)을
통해 강화학습을 시킬 경우 인간적인 말투, 문화적인 요소 등을
반영할 수 있는데 ChatGPT는 RLHF를 적용함으로써 인간과 구별할
수 없을 정도로 자연스러운 문장 구사 가능

 GPT-3.5는 GPT-3와 매개변수 수(1,750억 개)가 같아 성능 면에서
큰 차이는 없으나, 인간 피드백을 통한 강화학습(RLHF,
Reinforcement Learning from Human Feedback) 적용으로
대화에 최적화

 강화학습(Reinforcement Learning)이란 학습 데이터가 주어진
상태에서 변화가 없는 정적인 환경에서 진행되는 지도 학습이나
비지도 학습과 달리 불확실한 환경과 상호작용을 통해 주어진
업무를 학습하는 것을 의미함
 어떤 환경 안에서 정의된 주체(agent)가 현재의 상태를 관찰하며
선택할 수 있는 행동(action) 중 최대의보상(reward)을 가져다 주는
행동이 무엇인지 학습함

 강화학습의 동작 순서는 다음과 같음
- 정의된 주체(agent)가 주어진 환경(environment)의 현재
상태(state)를 관찰(observation)하여, 행동(action) 수행
- 환경의 상태가 변화하면서 정의된 주체에게 보상(reward)
- 보상을 기반으로 정의된 주체는 더 많은 보상을 얻을 수 있는
방향(best action)으로 행동 학습

GPT의 적용 및 한계
3) 기술적 한계
 거짓 답변을 사실처럼 대답하거나, 최신 정보에 대한 내용은 답변하지
못하는 등 다양한 한계점 존재 (할루시네이션 : AI가 존재하지 않는
환각을 보는 것처럼 없는 답변 혹은 틀린 답변을 제시)

GPT의 도입 비용 분석
1) 가정
 먼저 아마존웹서비스(AWS)에서 지원하는 70억(7B) 매개변수의 오픈
소스 라마 2를 기반 모델로 사용할 경우, 라마 2가 매개변수당 2 바이트를
소비하는 BFLOAT16을 사용해 훈련했기 때문에 모델 크기는 140기가
바이트(GB)가 됨
 모델을 배포할 때는 140GB의 메모리를 소비하는 모델 가중치와
0.14GB의 메모리를 소비하는 로라 미세조정 가중치를 저장할
140.14GB의 추가 메모리가 필요하며, 오버헤드를 고려하면 약 1.5배인
약 210GB 메모리를 유지하는 것이 좋음

2) 첫번째 사례 – AWS 서버 호스팅
 AWS EC2 온디맨드 가격을 기준으로 하면 GPU 컴퓨팅 비용은 시간당
3.70달러
 모델을 메모리에 로드한 상태로 유지하고 들어오는 요청에 응답하는 데
드는 비용이 하루 90달러이며, 매월 약 2700달러의 비용이 듦
 첫번째 모델에서 요청이 실패할 경우를 대비한 이중화를 고려하면 비용은
하루 180달러, 월 5400달러가 됨
 단, AWS 생성한 만큼 비용을 지불하게 되며, 미세조정 비용은 훈련 시간에
따라 달라짐

2) 두번째 사례 – GPT 3.5 Turbo 서비스 구독
 하루 180달러의 비용으로 API를 통해 매일 2220만 단어를 보낼 수 있으며,
이는 7만4000페이지 이상의 데이터이며 각 페이지당 300단어에
해당하는 비교적 큰 수치로, AWS보다 1시간 동안 더 많은 양을 처리할 수
있음
 월 5,400달러로 첫번째 사례와 비슷함
 단, 오픈AI는 종량제 가격이기 때문에 사용한 만큼만 비용을 지불하며,
미세 조정 비용은 데이터 양에 따라 책정됨
 단점은 오픈AI의 경우는 일일 사용한도가 있어 이를 초과하면 서비스가
예고없이 중단될 수 있음(해결 방법은 사용 제한을 늘려 서비스를
활성화시키는 것)

2) 세번째 사례 - 직접 구축 및 운영
 독자적인 모델을 기반으로 자체 호스팅 서비스를 제공할 경우, 비용은 인력
및 유지 관리와 같은 추가 비용으로 인해 총 비용이 20만~25만달러(약
2억8000~3억5000원)로 크게 증가할 수 있음
 물론 처음부터 독자적인 모델을 소유하면 데이터 및 사용량에 대한
통제력을 유지하는 등의 이점이 있지만, 자체 호스팅을 실행 가능하게
만들려면 인력 및 물류를 관리하기 위한 리소스와 함께 하루 최대 2220만
단어를 훨씬 초과하는 사용자 요청 로드가 필요함

3) 결론
 클라우드 환경을 이용한 서비스 호스팅과 오픈 AI의 GPT 와 같은 서비스
구독의 경우 비용 절감의 효과가 있음
 독자적인 구축 및 운영은 비용 절감의 효과 보다는 독자적인 모델과
최적화에 이점이 있다고 볼 수 있음
 단, 단기적인 비용 절감의 효과는 5년 이상 장기적으로 분석 시 달라질 수
있으므로 유의해야 함(독자적인 구축의 경우 5년 감가상각 고려한 비용
선지출, 서비스의 경우 사용량에 따라 변동적인 후불제)

4) 추가적인 팁
 LLM 서버를 직접 운영하는 경우, 단순히 서버 운영비용 외에도 여러
추가적인 비용 요소가 발생함
 예를 들어, API 게이트웨이, 스토리지 솔루션 등의 인프라 구성 요소들이
추가 비용으로 부과됨
 이러한 비용은 본 포스트에서 구체적으로 다루지 않았지만, 직접 서버를
운용할 경우 이러한 부수적인 비용들을 고려해야 하며, LLM 서버는 활성
사용 요청이 없는 경우에도 계속해서 프로비저닝되어 있어야 하기 때문에,
이로 인한 유지비용이 발생함
 자원을 최대한 활용하여 비용을 절감하는 효과적인 방법 중 하나는
요청들을 배치 처리하는 것(최근 OpenAI를 포함한 여러 업체들이 Batch
API를 도입하여 제공하고 있음)

5) OpenAI – Batch API
 더 나은 비용 효율성: 동기 API에 비해 50% 비용 할인
 더 높은 속도 제한: 동기 API에 비해 훨씬 더 많은 여유 공간
 빠른 완료 시간: 각 배치는 24시간 이내에 완료(종종 더 빨리 완료됨)
 즉각적인 응답이 필요하지 않은 작업 처리에 적합함
 속도 제한으로 많은 쿼리를 빠르게 실행할 수 없는 경우 적합함
 간단하게 비동기식 작업의 일괄처리 실행 가능

MODULE - 5
생성형 AI의 미래

AI 로드맵으로 살펴보는 ChatGPT
현재는
여기!?

1) 검색의 미래
 ChatGPT가 현재 검색 기술을 위협하는 이유는 검색의 패러다임이,
“필요한 정보를 데이터베이스에서 찾는 것”에서 “질문하면 원하는
답을 바로 얻는 것”으로 바뀔 수 있기 때문임
 왜 구글은 이러한 변화를 반가워 하지 않을까?
- 2021년 기준 구글의 광고 수익이 전체 매출의 81%를 차지했으며,
이러한 광고 모델은 검색에 기반하고 있음(구글 광고 모델은 검색을 했을 때
검색 결과와 관련된 내용 광고를 보여주는 ‘애드워즈’와 검색을 통해 들어간
블로그나 홈페이지에 구글 광고를 게재하는 방식인 ‘애드센스’ 모델이 있음)
- 검색이 링크를 보여주는 것이 아니라 원하는 답만 알려주는 방식으로
바뀌게 된다면 이러한 광고 비즈니스 모델은 존폐의 기로에 서게 됨

2) 자연어 처리의 미래
 Transformer는 훈련 데이터의 숫자적 표현을 계산하는 일종의
심층신경망 아키텍처로, 순차적 데이터에서 관계를 추적함으로써
문맥과 의미를 학습함
 자연어 처리에 대한 수요 증가와 함께 Transformer에 대한 수요 증가
- 예를 들어, DALL-E는 텍스트 데이터를 이해하고 해당 데이터를
이미지로 변환하는 Transformer를 활용
- GPT-3 역시 텍스트-텍스트 Transformer 기술을 활용한 모델로
사람이 작성한 것처럼 보이는 텍스트를 생성하고 시를 쓰고 이메일을
작성할 수 있음

3) 새로운 이미지 생성의 미래
 확산 네트워크(Diffusion Networks)는 원본 데이터를 무작위로
만드는 과정을 역으로 추적하여 새로운 데이터를 생성하는 것
- 생성형 AI에 확산 네트워크를 사용함으로써 이미지 생성, 다양한 예술
스타일로의 렌더링, 애니메이션 등의 다양한 기능을 활용할 수 있음
 이미지 및 비디오 생성 모델은 메타버스 및 게임 등의 산업에서
현실적이고 몰입감 있는 가상세계 개발에 활용 됨
- SK 텔레콤 : AI 챗봇 ‘에이닷’에 생성형 AI를 도입하고 메타버스에
적용한다는 계획
- KT : 메타버스 ‘지니버스’에 생성형 AI NPC를 도입할 계획

4) 멀티 모달 처리의 미래
 생성형 AI는 멀티 모달리티를 가질 수 있게 함
 즉, 이미지와 텍스트, 음성 등 여러 모달리티를 동시에 처리할 수 있음
- 멀티 모달 생성 모델은 여러 모달리티의 데이터 학습으로 더욱
정확해지며, 대형 언어 모델(LLM)의 성장을 촉진함

5) 생산성 향상의 미래
 MS Office, Notion AI 등 다양한 툴에 ChatGPT와 같은 AI 자연어
생성 모델이 적용되고 있음
 Copilot, VSCode처럼 개발 환경에도 적용되고 있음
- 하지만, 생성형 AI의 결과물은 오류를 포함하기 때문에 검토가 필요함
- 적당한 Draft의 작성을 지원하고 결과물의 조사 및 분석을 도와줌

생성형 AI 가치사슬(맥킨지)로 알아보는 미래
1) 컴퓨터 하드웨어
 생성형 AI는 콘텐츠를 생성하기 위해 많은 지식이 필요함
- 예를 들어, OpenAI의 GPT-3는 약 45테라바이트의 텍스트 데이터로 훈련됨
- 이러한 작업량은 수십억 개의 매개변수를 병렬로 처리할 수 있는 "가속기"
칩을 가지고 있는 그래픽처리장치(GPU)나 텐서처리장치(TPU)로 구성된 대규모
클러스터를 필요로 함
 이러한 특수화된 AI 프로세서의 설계와 생산은 집중화되어 있으며,
NVIDIA와 Google이 칩 디자인 시장을 지배하고 있음

2) 클라우드
 GPU와 TPU는 비싸고 부족한 자원이기 때문에 대부분의 기업들이
대규모 AI 모델을 구축하고 조정 및 실행하는 작업은 클라우드에서 수행
- 이를 통해 기업은 필요에 따라 계산 능력에 쉽게 접근하고 비용을 관리할 수 있음
 주요 클라우드 업체들은 생성형 AI 워크로드를 실행하고 하드웨어/칩의
우선적 액세스를 위한 가장 포괄적인 플랫폼을 보유하고 있음

3) 파운데이션 모델
 생성형 AI의 핵심에는 파운데이션 모델이 있음
- 파운데이션 모델은 인간 뇌에 연결된 수십억 개의 뉴런에 영감을 받은 확장된
인공신경망을 포함하고 있음
- 이전의 딥러닝 모델과는 달리, 매우 크고 다양한 형태의 비정형 데이터를 처리하고
여러 작업을 수행할 수 있음
 대부분의 대기업은 더 높은 수준의 데이터 보안 및 개인정보 보호를 위해
LLM을 자사 환경에서 동작하길 원하고 있음
- 엔비디아는 '엔비디아 AI 파운데이션'을 통해 GPU 포함 컴퓨팅 자원과 여러 LLM,
파운데이션 모델을 활용할 수 있는 플랫폼을 클라우드 서비스 형태로 제공할 계획

4) MLOps 도구 및 기술
 파운데이션 모델을 적용하고 애플리케이션 내에 배포하기 위한 특화된
MLOps 도구 및 기술이 필요함
- 여기에는 추가 훈련 데이터를 통합하고 레이블을 지정하거나 애플리케이션이
모델과 상호 작용할 수 있는 API를 구축하는 기능이 포함되며 클라우드(모델
허브)에서 서비스로 제공됨
 상용 모델의 경우, 라이선싱 계약을 통해 모델에 액세스할 수 있도록
API를 제공하거나 MLOps 기능을 제공
- 오픈소스 모델의 경우, 다양한 서비스를 제공하기 위한 독립적인 모델 허브가
등장하고 있음

5) 생성형 AI를 활용하여 구축된 애플리케이션
 일반적으로 생성형 AI 애플리케이션은 두 가지 범주로 구분함
- 하나는 파운데이션 모델을 거의 그대로 사용하는 경우(특정한 사용자 인터페이스를
생성하거나, 고객의 요청을 더 잘 이해할 수 있도록 맞춤화 작업을 수행)
- 또 다른 하나는 Fine-tuned 파운데이션 모델(추가적인 특화 데이터가 제공되거나,
매개변수가 조정된 모델)을 활용하여 특정 사용 사례에 대한 결과물을 제공하는 것

6) 생성형 AI의 활용을 위한 서비스
 생성형 AI의 활용을 위한 서비스 및 전문 지식 서비스를 제공함
- 기존 AI 서비스 제공업체들은 생성형 AI 시장을 위한 서비스를 발전시킬 것임
- 특정 기능, 산업, 다양한 맥락에서 생성형 AI를 적용하기 위한 특수한 지식을 가진
특화된 업체들도 시장에 진출할 것으로 예상

"기술로 사람을 변화시킨다“ 이 찬 우 CEO | CISO | Professor
Blog : https://blog.naver.com/jg706
Facebook : https://www.facebook.com/jg706
Slideshare : https://www.slideshare.net/jg706
Linkedin : https://www.linkedin.com/in/richard706/
Mobile. 010-4772-0130 E-mail. jg719411@nate.com
들어주셔서
감 사 합 니 다.

AI_introduction and requirements(2024.05.12).pdf

Recommended

Recommended

More Related Content

Similar to AI_introduction and requirements(2024.05.12).pdf

Similar to AI_introduction and requirements(2024.05.12).pdf (20)

More from Lee Chanwoo

More from Lee Chanwoo (20)

AI_introduction and requirements(2024.05.12).pdf