11. undifferentiated heavy lifting
• 2006年のWeb 2.0 SummitでTim OʼReilly が Jeff Bezos
と対談
• その際、ジェフは“undifferentiated heavy lifting”につい
て⾔及しました
http://cdn.oreillystatic.com/network/2006/12/20/web2-jeff-bezos-
video06.mp4
https://www.flickr.com/photos/farber/292880154
#AWSAdTechJP
12. Industry Solutions
• Amazon CTO の Werner Vogels もメディアの取材の際に、
『Stop spending money on “undifferentiated heavy
lifting”』とコメントしています
http://www.cio.co.nz/article/466635/amazon_cto_stop_spending_money_undifferentiated_heavy_lifting_/
#AWSAdTechJP
17. Example: RTB Data Collection
Over 600億 events/day
ü データ集計のレイテンシは秒単位へ
ü ⼀⽇約150TBのデータを保存
#AWSAdTechJP
18. Big Data
• デジタルマーケティングビジネスにおいてはデータが全
て - 競争優位性をもたらすもの
• 誰もが注⼒している分野であるが、今なお、そこにお⾦
を使い過ぎてしまいがちである
• 最近のAWSのお客さまでのトレンド
– Apache Spark
– Druid
– Analytics on Streaming Data
#AWSAdTechJP
19. Building a Real-Time Bidding Platform on AWS
https://d0.awsstatic.com/whitepapers/Building_a_Real_Time_Bidding_Platform_on_AWS
_v1_Final.pdf#AWSAdTechJP
21. • Analysis Traffic Ingestion and Processing
– From Amazon Kinesis data is typically moved into a durable
repository like Amazon S3 and processed with frameworks like
Apache Spark (using Spark Streaming and Kinesis integration)
• Durable Data Repository for Long-Term Storage
– Amazon Elastic MapReduce (EMR) is a managed cluster compute
frameworkthat can natively read directly from Amazon S3
utilizing open source tools such as Apache Spark
• RTB Analytics Platform
– In the machine learning space for very large data sets, a
common pattern is to use the machine learning library that
comes with Spark MLlib on EMR
Building a Real-Time Bidding Platform on AWS
#AWSAdTechJP
22. Amazon Web Services
AZ AZ AZ
Durable, highly consistent storage replicates data
across three data centers (availability zones)
Aggregate and
archive to S3
Millions of
sources producing
100s of terabytes
per hour
Front
End
Authentication
Authorization
Ordered stream
of events supports
multiple readers
Real-time
dashboards
and alarms
Machine learning
algorithms or
sliding window
analytics
Aggregate analysis
in Hadoop or a
data warehouse
Inexpensive: $0.028 per million puts
Real-Time Streaming Data Ingestion
Custom-
built
Streaming
Application
s
(KCL)
Inexpensive: $0.014 per 1,000,000 PUT Payload Units
Storage - Amazon Kinesis Streams
Kinesis Stream
1 Shard
< 1MB-in / 2MB-out
Each record < 1 MB
PutRecords() < 500 (5MB)
Increased retention 7 days
#AWSAdTechJP
24. Spark Steaming – Long Running Spark App
Driver Program
StreamingContext
SparkContext
Spark jobs to
process
received data
Worker Node
Executor
Long Task Receiver
Worker Node
Executor
Task Task Task
Input
Stream
Worker Nodeがデータ
のプロセッシング
Output
Batch
#AWSAdTechJP
25. Solution Example: Druid + Spark
ü 今やデファクトになりつつある Apache Spark
ü Druidはまだpopularではないが、アドテクのリー
ディングカンパニーでは徐々に浸透中
Druid はApache Sparkと⼀緒に使うことができ
る、リアルタイムなOLTP(オンライン分析処理)
エンジン
Youtubeにある講演動画などを⾒ると英語の場合”ドゥルード”と発⾳
#AWSAdTechJP
30. Where is the Non Differentiated Heavy Lifting?
Customer
Manages
All-On Prem
RTB
colo with
Exchange S3,
Networking
EC2
S3,
Networking
EC2
S3,
Networking
EC2
ASG, ELB
DynamoDB
ASG, ELB
DynamoDB
Manage
Administer
Algo, ML
#AWSAdTechJP
35. AutoScaling w/ On-demand x Spot
http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-2015-amazon-
ec2-auto-scaling
① ②
③ ④
#AWSAdTechJP
36. Solution Example: Ad Exchanges Outside AWS
36
Equinix
AdIX
AWS
ユーザー様
Ad Exchange
Provider
Ad Exchange
Provider
Ad Exchange
Provider
Equinix
AdIX
Ad Exchange
Provider
Ad Exchange
Provider
Ad Exchange
Provider
バージニア
ニューヨーク
DXパートナー:
・Channel on NNI (<1GB) or
・Dedicated port (>1GB)
Private
IP
Public IP
Public
IP
DXパートナー
DXパートナー
インターネット経由と⽐べて25%の
ネットワークレイテンシの軽減を実現し、
安定した接続を実現した事例
#AWSAdTechJP
37. Solution Example: Ad Exchanges Outside AWS
37
http://www.equinix.com/industries/advertising/interconnection/
#AWSAdTechJP
38. AWS Ad Tech in Korea
• Buzzvil: Ad Network
– EC2, ELB, RDS, S3 でスモールスタート
– その後Auto Scaling, CloudFront, Lambda, DynamoDB, Kinesis等を活⽤
#AWSAdTechJP
http://blog.buzzvil.com/2015/11/06버즈빌-aws-활용기/
39. AWS Ad Tech in Korea
• IGAWorks: DMP
– AWSマネージドサービスを活⽤しモダンな構成に
#AWSAdTechJP
https://aws.amazon.com/ko/solutions/case-studies/IGAWorks/
40. AWS Ad Tech in Korea
• IGAWorks: DMP
– re:Invent 2015に登壇 - (DAT202) Managed Database Options on AWS
https://www.youtube.com/watch?v=-F3Y68_RfWQ
#AWSAdTechJP
41. AWS Ad Tech in Korea
https://www.youtube.com/watch?v=-F3Y68_RfWQ
⽇本のアドテク企業様からも、
このようなグローバルな場で事例を出して、
よりプレゼンスを⾼めていただければ幸いです!
• IGAWorks: DMP
– re:Invent 2015に登壇 - (DAT202) Managed Database Options on AWS
#AWSAdTechJP
42. AWS Korea Ad Tech team
• お隣韓国のAdTech担当とイベント共催の計画等をしています
– 韓国での登壇や事例紹介にご興味があれば是⾮お声がけく
ださい!
#AWSAdTechJP