2016년 1월 7일 AWS Cloud행사에서 최정욱 솔루션즈 아키텍트 께서 발표하신 “ 빅 데이터 분석을 위한 AWS 활용 사례 “ 발표자료입니다.

1. 빅데이터 분석을 위한 AWS 활용사례
최정욱 | AWS 솔루션즈 아키텍트
용석현 | eMnet 솔루션 개발 엔지니어

2.  빅데이터 소개
 빅데이터 분석 업무에 AWS 클라우드 활용 사례
 빅데이터와 AWS 클라우드
 eMnet의 AWS 활용 사례
 결론
목 차

3. 빅데이터 소개

4. Technologies and techniques for working
productively with data, at any scale.
빅데이터

5. When your data sets become
so large that you have to start innovating around
how to collect, store, organize, analyze and share it
빅데이터

6. 웹사이트
블로그/리뷰/이메일/사진
소셜 네트워크 서비스
페이스북, 링크드인
응용프로그램 서버 로그
모바일 앱, 게임
센서 데이터
날씨, 온습도,스마트 그리드
이미지/비디오
교통정보, CCTV
트위터
5천만 트윗/일
빅데이터 출처

7. AWS 클라우드를 통한 빅데이터 고민 해결
빅데이터 AWS 클라우드
다양성, 용량, 속도로 인해
새로운 처리 도구들이 필요함
다양한 연산, 저장 및 네트워크
옵션 제공

8. AWS 클라우드를 통한 빅데이터 고민 해결
무한한 크기로 확장 가능한
데이터세트
거의 무제한 확장 지원
빅데이터 AWS 클라우드

9. AWS 클라우드를 통한 빅데이터 고민 해결
반복적이고, 실험적 형태의
데이터 조작 및 분석
반복적이고, 실험적 형태의 인프라
배포 및 사용에 최적화
빅데이터 AWS 클라우드

10. AWS 클라우드를 통한 빅데이터 고민 해결
편차가 큰 워크로드 존재 높은 워크로드 변화량에 최적의
효율성 제공
빅데이터 AWS 클라우드

11. AWS 클라우드를 통한 빅데이터 고민 해결
일반적으로 완벽한 결과보다
빠른 결과가 더 중요.
병렬컴퓨팅을 통한 빠른 결과 제공
빅데이터 AWS 클라우드

12. 빅데이터 분석 업무에
AWS 클라우드 활용 사례

13. “누가 우리 서비스를 사용할까?”

14. 모바일 사용자 비중이 높다.
모바일 개발에 투자 집중
수많은 로그 중 의미 있는 정보는?

15. 9,432,061 개별 모바일 기기가
Yelp 모바일 웹을 사용함.
4백만 건 이상의 전화 연결 사용
5백만 건 이상의 경로 탐색 사용
2013년 1월 기준

16. “누가 비디오 게임을 구매할까?”

17. 35억 건의 레코드
13TB의 클릭 스트림 로그
7,100만 건의 고유한 쿠키
일일:

19. 500% 비용 대비 광고 효과 실현
결과:

20. Sushiro: Kaiten Sushi 회전 초밥 체인

21. Sushiro: Kaiten Sushi 회전 초밥 체인

24. 빅데이터와 AWS 클라우드

25. 생성 수집 및 저장 분석 및 계산 협업 및 공유

26. 데이터 생성에는 문제가 없음

27. 생성 수집 및 저장 분석 및 계산 협업 및 공유
낮은 비용,
높은 처리량

28. 생성 수집 및 저장 분석 및 계산 협업 및 공유
수많은 제약 사항
낮은 비용,
높은 처리량

29. + 유연하고 높은 확장성
+ 사전 투자 없음
+ 사용한 만큼 과금
+ 필요시 바로 사용
= 제약사항 제거

30. 빅 데이터 분석 가속화
생성 수집 및 저장 분석 및 계산 협업 및 공유

31. 하나의 도구로 모든
요구사항을 만족시킬 수 없음

32. 빅데이터 지원을 위한 주요 AWS 서비스
Amazon
S3
Amazon
Kinesis
Amazon
DynamoDB
Amazon
Redshift
Amazon
Elastic
MapReduce

33. 모든 종류의 파일 저장
객체기반 스토리지
무제한 확장성
99.999999999% 내구성
Amazon S3

34. 실시간 프로세싱
높은 처리량; 유연성
쉬운 사용 방법
간편한 서비스 연동
- EMR, S3, Redshift, DynamoDB 등
Amazon Kinesis

35. NoSQL 데이터베이스
끊김 없는 확장 지원
관리 불필요
수밀리세컨드 수준의 지연
Amazon
DynamoDB

36. 관계형 데이터웨어하우스
대형 병렬 처리 기반
페타 바이트급 확장 제공
완전 관리형 서비스
Amazon
Redshift

37. 하둡/HDFS 클러스터
간편한 사용 – 완전 관리형
다양한 가격 구조 제공
간편하고 완벽한 연동
- S3, DynamoDB 및 Kinesis
Amazon
Elastic
MapReduce

38. 원 클릭 EMR 생성
하드웨어 구성
- 인스턴스 타입 및 개수
보안 및 접근 관리
- 키 페어, 권한, 롤, 프로필
기본 구성
- EMR 이름, 실행 형태
소프트웨어 구성
- 벤더, 버전, 응용프로그램

39. aws emr create-cluster --release-label emr-4.2.0
--instance-groups
InstanceGroupType=MASTER, InstanceCount=1, InstanceType=i2.xlarge
InstanceGroupType=CORE, InstanceCount=5000, InstanceType=i2.xlarge
--auto-terminate
원 라인 EMR 생성

40. EMR 운영

41. Clickstream
processing
applications
Aggregated
clickstream
statistics
Clickstream
archive
Clickstream
Trend analysis
참조 아키텍처 : 클릭 스트림 분석

42. 참조 아키텍처 : 배치 분석

43. Use commonly-available cluster
scheduling tools, such as
Grid Engine or Condor
참조 아키텍처 : 병렬 데이터 처리

44. Media streaming
Free steak campaign
Disaster recovery
Web site & media sharing
Facebook app
Ground
campaign
SAP & SharePoint
Marketing web site
Social Media Monitoring
Consumer social app
IT operations
Mars exploration ops
Interactive TV apps
Consumer social app
Facebook page
Securities Trading Data Archiving
Financial markets analytics
Web and mobile apps
Big data analytics
Digital media
Ticket pricing optimization
Streaming webcasts
Mobile analytics
Consumer social app
Core IT and
media
빅데이터 분석 사례

45. 국내 빅데이터 분석 사례
1만개의 모바일 게임 앱의
사용자 데이터 분석
마케팅 효과 측정을 위한
웹 로그분석
Recopick- 쇼핑 로그 기반
실시간 상품 추천 서비스
5백만 사용자 음악 스트리밍
데이터 분석 및 추천
가정용 및 상업용 전기
사용량 분석 서비스
쿠키런 게임 로그 수집 및
분석 플랫폼 운영

46. http://aws.amaz
on.com/marketp
lace
빅데이터 케이스 스터디
aws.amazon.com/solutions/case-studies/big-data

47. eMnet의 AWS 활용 사례
용석현 (shyongoing@emnet.co.kr)

48. 2000년 ~ 2003년
온라인광고사업진출
2004년 ~ 2007년
• 온라인 광고 시장 진입
• 네이버/야후/파란 공식 대행사
• 오버추어 최우수 대행사
• 구글 리셀러 선정(국내 최초)
• 광고효과 분석시스템 오픈
국내외지사확장
• 일본지사(도쿄) 설립
트랜스코스모스와 전략적 제휴
• 통합 광고관리 시스템 오픈
• 광고 관리 솔루션 6건 특허 획득
2007년 ~ 2010년
2010년 ~ 2014년
• 중국지사(북경) 설립
• 일본지사(도쿄) 확장 및 법인전환(2014.1.1부)
• 통합 로그분석 시스템 오픈
• 온라인 광고 대행사 최초 코스닥 상장(2011)
• 온라인 미디어렙(네프미디어) 설립
• 감성분석 시스템 개발중
자료:일본지사포함당사의광고취급액
최상의온라인마케팅전문컨설팅기업
해외진출/사업영역확장
2000 2004 2007
8.7
억
150억
630억
2010
1,380
억
2011
1,650
억
2012
1,940
억
2013
1,819
억
2014
1,718
억
솔루션개발/검색광고성장
eMnet

49. • 광고제안에서운영,관리에이르기까지한번에아우르는특허받은통합광고집행관리시스템구축
• 광고주에따라차별화된과학적인솔루션제공
솔루션기반으로광고전략기획,광고효과분석중심의컨설팅사업
eMnet Solutions

50. ADinsight
1,800개의 웹사이트에서 일 3,000만 건의 로그 생성
ADinsight?
마케팅 효과 측정을 위한 웹 로그분석 솔루션
고객사의 모든 트래픽은 ADinsight가 분석해야 할 로그
고객사의 트래픽이 언제, 얼마나 급증 할지 모른다
더 많은 로그를 더 빠르게 분석
ADinsight의 과제

51. ADinsight 아키텍처 마이그레이션
Amazon Redshift
Amazon
Kinesis
Kinesis Enabled App
AWS Cloud
Log Server
RDB Cluster
Hadoop Cluster
HDFS
On-Premise (IDC)
Elastic
Beanstalk
Auto Scaling
Amazon S3
Unload / Copy
로그 저장
전 처리 (파싱, 계산)
데이터 분석
로그 수집
분석 결과 저장
결과 리포팅

52. AWS 클라우드의 장점
Amazon Redshift
Amazon
Kinesis
Kinesis Enabled App
AWS Cloud
Log Server
RDB Cluster
Hadoop Cluster
HDFS
On-Premise (IDC)
Elastic
Beanstalk
Auto Scaling
Amazon S3
Unload / Copy
데이터 처리 시간 단축
유연한 인프라 확장 / 축소
라이브러리를 제공해 쉽고 빠르게 구현 가능
데이터 통합
쉬운 비용 절감대용량 데이터를 쉽게 저장
높은 성능 빠른 처리 속도
인프라 관리를 AWS에 맡김으로써 서비스에만 집중
로그 저장
전 처리 (파싱, 계산)
데이터 분석
로그 수집
분석 결과 저장
결과 리포팅

53. Next step
Elastic Load Balancing Amazon EC2Route 53
AWS Cloud
Amazon
Kinesis
Log Server
On-Premise (IDC)
Auto Scaling Group

54. 결론

55. 생성 수집 및 저장 분석 및 계산 협업 및 공유

56. 생성
수집 및 저장
분석 및 계산
협업 및 공유
a
Amazon
DynamoDB
Amazon
RDS
Amazon
Redshift
AWS
Direct Connect
AWS
Storage Gateway
AWS
Import/ Export
Amazon
Glacier
Amazon S3
Amazon
Kinesis
Amazon EMR

57. a
Amazon EC2 Amazon EMR
Amazon
Kinesis
생성
수집 및 저장
분석 및 계산
협업 및 공유

58. aAmazon
Redshift
Amazon
DynamoDB
Amazon
RDS
S3 Amazon EC2 Amazon EMR
Amazon
CloudFront
AWS
CloudFormation
AWS
Data Pipeline
생성
수집 및 저장
분석 및 계산
협업 및 공유

59. The right tools
At the right scale
At the right time

60. 감사합니다.