Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Ad Tech on AWS - IVS CTO Night and Day Spring 2016

1,484 views

Published on

IVS CTO Night and Day Spring 2016のアドテクセッション用スライドです

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Ad Tech on AWS - IVS CTO Night and Day Spring 2016

  1. 1. Ad Tech on AWS #AWSAdTechJP Amazon Web Services Japan 篠原英治
  2. 2. { "Name" : ”Eiji Shinohara", "Twitter" : "@shinodogg", "Blog" : "http://shinodogg.com", "Profile" : { "Role" : "Solutions Architect", "Market": [ "Startup", "Ad-Tech" ], "Subject Matter Expert" : [ "Amazon CloudSearch", "Amazon Elasticsearch Service" ] } }
  3. 3. AWS JP Ad Tech team was active in 2013 • Gathered bunch of Japanese AdTech use-cases
  4. 4. AWS JP Ad Tech team is active again in 2016 • 2016年からNew Yorkにいる元ソリューションアーキテクトが AdTech専任の事業開発担当になりました
  5. 5. AWS Digital Advertising Customers
  6. 6. Zhong Hong, Vice President We support about 50 agencies worldwide... Efficiency is great but capability is even more crucial... AWS is the perfect infrastructure and technology service provider for entrepreneurial companies, both in terms of cost efficiency and the ability to scale into demand Christopher Amen-Kroeger, Senior Vice President of Engineering AWS Offers: Efficiency & Scale and Innovation
  7. 7. “We run the RTB platform on more than 2,500 machines, approximately eight hours a day globally, at a cost of less than $0.05 per day per machine...” “Because weʼre running on AWS, weʼre able to focus 95 percent of our staff on new product development. Using AWS allows us to focus on innovating our platform and solving customer problems.” Valentino Volonghi, CTO AdRoll Efficiency & Scale: Enabling Real Time Bidding
  8. 8. Efficiency & Scale: RTB Data Collection • Improved speed (mins to secs), simplicity & cost reduction ü Reducing data latency to seconds ü Ingesting approximately 150TB daily
  9. 9. Issue: Drastic changes in daily traffic volume (70%) • AWS Answer • Dynamically scale capacity up and down • Use Reserved Instances (RI) • Purchase capacity at significant discount (EC2 Spot Market – 70% off market) Efficiency & Scale: Economics of Spot Market
  10. 10. “AWS has enabled us to build an infrastructure that is efficient, elastically scalable, low latency, and redundant. AWS is a key partner of ours, enabling TellApart to offer the fastest and most scalable technology in display ad retargeting to our retail clients.” Mark Ayzenshtat, CTO TellApart Efficiency & Scale: Economics of Spot Market
  11. 11. Efficiency & Scale: AWS Global Reach • “As new markets move their inventory to programmatic we have to make sure we are there as well. AWS helps us by being able to roll out in new markets instead of weeks and months...” • Cristopher Sandberg, CTO Eyeota Global Audience Platform ü 1.5B user profiles ü 30,000 publishers
  12. 12. Continuous Ad Metrics Extraction Incremental Ad Statistics Computation Metering Record Archive Ad Analytics Dashboard Advanced Analytics: Streaming Big Data (Bizo)
  13. 13. CDN Real-time Bidding Retargeting Platform Reporting Qubole Real Time AppsKCL Apps Archiver Amazon Kinesis Event Replay Amazon S3 Advanced Analytics: Streaming Big Data https://aws.amazon.com/solutions/case-studies/dataxu/ https://www.youtube.com/watch?v=Ma6AlL_PFLo
  14. 14. Firehose (Kinesis) Decision & Optimization Real-time Analytics Archive S3 Streaming Big Data: Firehose Architecture Bidder Data (wins) Site Events 3rd Party Segments https://www.youtube.com/watch?v=7eENkamwY7c
  15. 15. Innovation in Advertising New Ad Formats New Ad Delivery Methods Digital Marketing Hubs IoT and Location Driven Ads
  16. 16. New Ad Technologies: In Image • New advertising formats IN-IMAGE ü 400M daily visitors across 2,000 premium publishers ü 1 billion events (approximately 6 TB of data) every day. • “With AWS, we can smoothly process billions of events daily with 24/7 reliability, and can scale quickly to meet spikes in demand...” • Ken Weiner Chief Technology Officer https://aws.amazon.com/solutions/case-studies/gumgum/
  17. 17. GumGum Architecture https://aws.amazon.com/solutions/case-studies/gumgum/
  18. 18. New Ad Technologies: Location + Mobile Ads • “With AWS Lambda, our various engineering teams can tap into a parallel data stream to create microservices independently from the main analytics application. It helps us get new services to our customers faster. For a startup, faster time to market is key.” • Mohit Dilawari Director of Engineering Location driven mobile advertising ü 37,000 apps ü 3B devices worldwide. https://aws.amazon.com/solutions/case-studies/localytics/
  19. 19. Advertiser Solutions Ad Networks and Exchanges Publisher Solutions Content Publishers Brands and Marketers Data Providers Digital Advertising Value Chain
  20. 20. AWS Regions as Centers of Gravity Advertiser Ad Exchange Ad Network Publisher Ad Network Ad Network Ad Network Advertiser Publisher Reasons: ü Low latency ü Lower traffic costs ü Large scale secure B2B data sharing High Growth in ü Mobile ü Video
  21. 21. AWS JP Ad Tech team is active again in 2016 • お隣韓国のAdTech担当とイベント共催の計画等をしています – 登壇や事例紹介等でご興味があれば是⾮お声がけください!
  22. 22. Ad Tech in Korea • Buzzvil: Ad Network – EC2, ELB, RDS, S3 でスモールスタート – その後 Auto Scaling, CloudFront, Lambda, DynamoDB, Kinesisなどを活⽤
  23. 23. Ad Tech in Korea • IGAWorks: DMP – AWSマネージドサービスを活⽤しモダンな構成に
  24. 24. Ad Tech in Korea • IGAWorks: DMP – re:Invent 2015に登壇 - (DAT202) Managed Database Options on AWS https://www.youtube.com/watch?v=-F3Y68_RfWQ
  25. 25. Ad Tech in Korea https://www.youtube.com/watch?v=-F3Y68_RfWQ ⽇本のアドテク企業様からも、 このようなグローバルな場で事例を出して、 よりプレゼンスを⾼めていただければ幸いです! • IGAWorks: DMP – re:Invent 2015に登壇 - (DAT202) Managed Database Options on AWS
  26. 26. AWS JP Ad Tech team is active again in 2016 • AWS Japanでも組織を強化しています • 海外カンファレンスでAWSを利⽤しているグローバルのプレーヤーや 技術担当とのディスカッションの場なども提供していきます – もし、出展の計画等ございましたらお声がけください!
  27. 27. Building a Real-Time Bidding Platform on AWS • Whitepapers – https://aws.amazon.com/whitepapers/
  28. 28. Building a Real-Time Bidding Platform on AWS • ⽇本語で要約してみました
  29. 29. Building a Real-Time Bidding Platform on AWS • Whitepaperの⽬的 – アーキテクト、広告主、そしてDeveloperがRTBを理解し、AWS上で構築 できるようになる – お客さまがご利⽤になっているものに近いリファレンスアーキテクチャの 提⽰とRTB platform on AWSをはじめる上での付加的な情報の提供
  30. 30. Introduction • 2016年のRTBの状況 – オンライン広告は⾮常に伸びており、そこに投⼊されるお⾦は、2016年に テレビ広告を上回ると⾔われている – オンライン広告の中でもRTBは顕著な伸びを⽰している • RTBはオークションベースでディスプレイ広告の表⽰を取り扱うもの • RTBは2015年においてprogrammaticallyに購⼊する広告の74%を占 めており、それは110億USドル規模である • RTBは2016年に30%の伸びると⾔われている • RTBはMobileのディスプレイ広告でも⼀般的になってきている – 扱うボリュームが増えていくについて、⼀つ⼀つの広告インプレッション に対して、より良い判断を⾏う必要性が出てくる • AWSはリアルタイムに低レイテンシで解析することを可能にするソ リューションを取り揃えている
  31. 31. Real-Time Bidding Explained • RTBの流れ – Webサイトを訪れ、そこに広告が配信されていたとすると、以下のような プロセスを経ていることになる 1. ユーザーがWebサイトやMobileアプリ(Publisher)を訪れる 2. Publisherもしくは 3rd PartyのデータプロバイダからAd Exchangeへ インプレッションの通知 3. Ad Exchangeから⼊札リクエストをBidder(Advertiser)へ通知。通常 は100ミリ以内に⼊札価格をAd Exchangeへ返す 4. 最も⾼い価格で⼊札したBidder(Advertiser)がそのインプレッション に対する広告表⽰の権利を勝ち取る 5. AdvertiserはWebサイトやMobileアプリに広告クリエイティブを配信 する
  32. 32. Real-Time Bidding Explained • RTBの流れ https://satori.marketing/marketing-blog/ad-technology/rtb/
  33. 33. Real-Time Bidding Explained • Elastic Nature of Advertising and Ad Tech – DailyのWebトラフィックのボリュームは以下のように時間帯によって開き が⼤きい – RTBの⼀般的なloadは下記のような図になる • トラフィックが少ない時間帯にリソースを落としておくことで⼤きな コスト削減になる
  34. 34. Real-Time Bidding Explained • Elastic Nature of Advertising and Ad Tech – 季節要因によってもトラフィックのボリュームは⼤きく異なる • 例えばUSにおいては、12⽉のChristmas holidayシーズンや春のTax シーズンなどはトラフィックが⼤きく伸びる • AWSであれば前述のようにピークに合わせたリソースのプロビジョニ ングは不要
  35. 35. Real-Time Bidding Explained • Why Speed Matters – Ad Exchangeは全てのBidderに対して100ミリ秒以内の⼊札リクエストの 応答を求める • 1ミリ秒でも遅れれば、いくら⾼い⼊札応答を返したとしても広告が表 ⽰されることはない – ⼊札で負けることは、あなたの重要な顧客層に対する広告表⽰の機会を失 うことである • 1分間に何百万もの⼊札リクエストを受け取ることになる • 全ての⼊札リクエストをさばける能⼒はBidder(Advertiser)にとって Criticalなものである – Exchangeへのネットワーク接続を含めて、可能な限りQuickに!
  36. 36. Real-Time Bidding Explained • Advertising Is Global – オンライン広告は正にグローバルなアクティビティになってきている • 多くのポテンシャルのあるオーディエンスに広告を届けたければ、 RTBプラットフォームを世界中の全てのExchangeの近くに配置する必 要がある – 地理的にExchangeから遠く離れたところでは100ms以下という制限は満 たせない • RTBプラットフォームを構築するのであれば、世界中にデプロイをす ることを考えなければならない
  37. 37. Real-Time Bidding Explained • The Economics of RTB – デジタル広告ビジネスは⾮常にコンペティティブでマージンは減少傾向 – 様々なテクノロジーソリューションを活⽤できるかもしれないが、安価な 配信を実現しなければ利益を確保することはできない – RTBのコスト • トラフィックを受け、それを記録する • ⼊札ロジックの実⾏ • ⼊札ロジックで使うデータリポジトリの運⽤ – RTB on AWSにおけるコスト最適化 • いくつもの戦略を採⽤可能
  38. 38. Real-Time Bidding Explained • Components of a RTB Platform – Bid Traffic Ingestion and Processing • どのWebサイト、広告表⽰サイズ、ユーザーのデモグラ情報といった ⼊札トラフィックを受付け、ユーザーの過去データ等と照らし合わせ、 ⼊札価格を計算し、広告URLとともに結果を返す。これを⾮常に短時 間⾏う必要がある – Analysis Traffic Ingestion and Processing • 解析⽤のトラフィックはAd ExchangeやPublisherからトラッキング⽤ のPixel画像を元に送られてくる。⼊札リクエストのようにtime- sensitiveなものではないが⾮常に価値のある情報であり、⼊札価格を 決定するために活⽤されるべきもの。このデータを分析することはイ ンプレッションがどれだけの価値があるか⾒積もる上でクリティカル なものである
  39. 39. Real-Time Bidding Explained • Components of a RTB Platform – Low Latency Data Repository • ⼊札リクエストに対してクイックな応答をするためには、ユーザー情 報の照会/ユーザーへの広告のマッチ度/どの程度その広告がそのユー ザーに⾒られたか?といったデータを低レイテンシ(10ミリ秒以下が好 ましい)で取得する必要がある • 異なるリージョンからそのユーザーがアクセスしてくるような場合は、 リージョン間でレプリケーション出来る機能はクリティカルである – Durable Data Repository for Long-Term Storage • ⼤量のデータ(過去全てのデータ)を、安価に保持するためのもの • ユーザーの⾏動を予測するためには過去データの活⽤は⽋かせない – 例えば、12⽉のショッピング⾏動と4⽉のショッピング⾏動はこと なるはずで、仮に去年の12⽉のユーザーの⾏動データを持ってい れば、今年の12⽉にユーザーがどのような⾏動をするか予想しや すい • 広告主⾃⾝が保持する1st Partyデータだけでなく、データプロバイダ が提供する3rd Partyも活⽤
  40. 40. Real-Time Bidding Explained • Components of a RTB Platform – Analytics Platform • 機械学習といった技術を活⽤し、特定のデモグラおよびユーザーに とってどの程度その広告が効果的か計算する • 複数のデバイスにまたがったユーザーの⾏動をトラックして記録し、 ユーザーのプロファイルおよびオーディエンスセグメントを更新する • Long Term Durable Data Repositoryにある様々なデータを活⽤する – 処理結果データはLow-Latency Data Storeに保持して⼊札リクエ ストに対してクイックに応答出来るようにする – Campaign Management • ⼀般的にはマルチテナントなWebアプリケーションで、広告キャン ペーンの管理および広告予算を管理する • ⼊札に関する詳細なレポートを顧客に提供する – “on the fly”で広告キャンペーンを⼿動もしくは⾃動で調整する – その場合は調整結果をLow-Latency Data Storeへ反映させる
  41. 41. Real-Time Bidding Explained • RTB Platform Diagram – ⼀般的なRTBプラットフォームにおける各コンポーネント
  42. 42. Real Time Bidding on AWS • Elasticity on AWS – Amazon EC2 • 数分間で起動できるサーバーインスタンス • トラフィックに応じたクイックなスケールアップ/ダウンが可能 • 解析処理をバッチで稼働させることも可能 – 稼働終了後インスタンスを落とせばその間は課⾦されない • 予想不可能なスパイクにも対応可能 • ⻑期間のコミットメントや巨額の初期投資は不要
  43. 43. Real Time Bidding on AWS • Low Latency Networking on AWS – AWS Region • Exchangeがある場所と同じ地域にあるAWS Regionを使うことで低レ イテンシを実現 – AWS Direct Connect • PublicなInternet回線を経由すると、jitter(イライラする)なレイテン シが起こる可能性がある • ExchangeとあなたのVPCをDirect Connect(DX)で結ぶことによって ⾼速で安定した接続を実現 – EC2 Instance type • Enhanced networking with SR-IOV(拡張ネットワーキングの有効化) – http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/enh anced-networking.html
  44. 44. Real Time Bidding on AWS • AWS Global Footprint – AWSなら世界中のリージョンにRTBプラットフォームをデプロイ可 – デプロイメントサービスを利⽤できるのも⼤きなアドバンテージ • AWS CloudFormation – https://aws.amazon.com/cloudformation/ • AWS OpsWorks – https://aws.amazon.com/opsworks/ • AWS Elastic Beanstalk – https://aws.amazon.com/elasticbeanstalk/ – もし特定のリージョンで広告キャンペーンを持つことがなくなったのであ れば、すぐにシャットダウン可能 • 次に利⽤する機会があれば直ぐに⽴ち上げ直すことも可能 • AWSは使った分だけの従量課⾦
  45. 45. Real Time Bidding on AWS • The Economics of RTB on AWS – RTB on AWSを改良していく⼀般的な⽅法 • Auto Scaling機能を使ったエラスティックなスケールの実現 • Spot Instancesを使ったコスト削減 – Spot Fleet APIの活⽤ » http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ spot-fleet.html – Spot Bid Advisorの活⽤ » https://aws.amazon.com/jp/ec2/spot/bid-advisor/ • リザーブドインスタンスによるコスト削減 • Direct Connectを使った外部との⾼速で安定したネットワーク接続 • Amazon DynamoDBを使ったダイナミックなスケールの実現
  46. 46. Real Time Bidding on AWS • Components of an RTB Platform on AWS – RTBプラットフォームについて理解し、そこで使われるコンポーネントが どんなものか分かったところで、どのコンポーネントにどのAWSサービス が使われていくか解説 – Bid Traffic Ingestion and Processing on AWS • ⼊札リクエストの負荷分散にElastic Load Balancing(ELB)の活⽤ – ELBはAWSによるフルマネージドなロードバランサ » 複数Availability Zoneへの振り分けを簡単に実現 » ヘルスチェック機能 • Auto ScalingやAPI/CLIを使ったスケールイン/アウト – Whitepaper『Managing Your Infrastructure at Scale』に詳細 • オープンソースのBidderであるRTBkit(http://rtbkit.org/) – EC2上に簡単にローンチ可能
  47. 47. Real Time Bidding on AWS • Components of an RTB Platform on AWS – Analysis Traffic Ingestion and Processing on AWS • Amazon Kinesisへの直接のデータの取り込み、もしくは、ELB+EC2 でデータを取り込みpre-processingした後にKinesis Producerを使っ てKinesisへフォワード • Kinesis Client Library(KCL)を使ったKinesisストリームからのデータ の取り出し • Kinesis⇒S3(DurableなRepository)にデータを保存 • Amazon Kinesis Firehoseを活⽤すれば⼤量データのS3への保存プロ セスを簡略化可能
  48. 48. Real Time Bidding on AWS • Components of an RTB Platform on AWS – Low Latency Data Repository on AWS • AWS Managedサービスを活⽤ – Amazon DynamoDB – Amazon ElastiCache – Do-it-yourselfでEC2上にAerospike, Cassandra, Couchbaseといった データベースを稼働させることは可能 • Amazon DynamoDBは⾮常に⼤きなテーブルを少ない管理系タスクお よび⼈的な介⼊無しに運⽤可能 – DynamoDB Streamsを活⽤しリージョンをまたいだレプリケーションを 実現 – トランザクション量に応じたプロビジョンスループットの上げ下げ » クラスタ管理等は不要。容易なコスト削減 » テーブル毎にスループットを設定可能
  49. 49. Real Time Bidding on AWS • Components of an RTB Platform on AWS – Amazon DynamoDB • Hash KeyとRenge Keyを使ったユーザーのカテゴライズ例 – ユーザーIDをハッシュキー、ユーザーが属するセグメントをレンジキー – ユーザーが属するセグメントによって⼊札価格を調整
  50. 50. Real Time Bidding on AWS • Components of an RTB Platform on AWS – Durable Data Repository for Long-Term Storage on AWS • Amazon S3 – スケーラブル、セキュア、⾼可⽤性を実現。使った分だけの従量 課⾦ – Object Lifecycle Management » 例) 7年経過したオブジェクトはAmazon Glacierへ • Amazon Elastic MapReduce – 分散データ処理基盤 – S3から直接データを読み込み、Apache Sparkといったオープン ソースのツールを使って分析可能 • AWS Lambda – S3にオブジェクトが配置されたイベントを元に、イベント・ドリ ブンなプロセッシングの実現 – 今までのbatch-basedなアーキテクチャからの開放
  51. 51. Real Time Bidding on AWS • Components of an RTB Platform on AWS – RTB Analytics Platform on AWS • 機械学習のアプローチを取られることが多い – Spark MLlib on EMRが使われることが多い » もちろん他のツールをEMR上で稼働させることも可能 – Amazon Machine Learning(Amazon ML) » S3にあるLong-termなデータセットを使った分析が可能 • Whitepaper『Big Data Analytics Options on AWS』 • 分析のワークロードに⽤いられることが多いサービス – Amazon Simple Workflow Service(SWF) – AWS Data Pipeline – AWS Lambda
  52. 52. Real Time Bidding on AWS • Components of an RTB Platform on AWS – Campaign Management on AWS • いわゆるWell-ArchitectedなWebアプリケーション • Bid-processingと同じようにシステムになることが多いが、永続化 データの可⽤性がより問われる • Amazon RDS – Oracle, SQL Server, Aurora, MySQL, PotgreSQL, そしてMaria DBをサ ポート – インストール、パッチあて、⽇次バックアップのような保守運⽤的なタス ク、そしてMulti-AZの同期レプリケーションをサポート • Amazon CloudFront – コンテントデリバリネットワーク – セキュアに素早く、ユーザーに⼀番近いエッヂの拠点からJavaScriptや広 告画像を配信することが可能
  53. 53. Reference Architecture Example • AWSの各サービスを活⽤した場合の構成図
  54. 54. Conclusion • Real-time bidding – 成⻑トレンドである – 効率的にインテリジェントに広告配信するには様々なコンポーネントを構 築する必要がある – AWSのサービス群はそれぞれのコンポーネントにパーフェクトにFitする • コスト削減が可能でRTBプラットフォームの複雑さを軽減可能 • AWSのグローバルインフラストラクチャの利点を享受できる – スケーラブルなreal-timeインフラを構築する上でオペレーションを⼤幅に AWSにオフロードできる • 競合との差別化に繋がる本質的なタスクに注⼒可能!
  55. 55. アドテクもアマゾンで!

×