Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
2 0 1 7 . 0 7
數 位 廣 告 的 基 本 架 構
P o p c o r n y ( 陸 振 恩 )
Who am I
• 陸振恩 (popcorny)
• Director of Engineering @TenMax
• 之前經歷
– 交大資科所
– 第四屆趨勢百萬程式競賽冠軍
– 聯發科技 (2005- 2010)
– SmartQ (2...
Funp集團
3
數位廣告的特色
• 可量測的
• 預算範圍廣
• 格式多樣
• 可以鎖定客群 (Targeting)
• 馬上投遞
4
數位廣告的技術特性
• 量體大 (Volume)
• 反應時間短 (Velocity)
• 資料雜 (Variety)
• 垃圾多 (Veracity)
• 標準大數據的4V
5
數位廣告的技術特性
• 量體大 (Volume)
• 反應時間短 (Velocity)
• 資料雜 (Variety)
• 垃圾多 (Veracity)
• 標準大數據的4V
6
基本架構?
生態架構 & 技術架構
7
Outline
• 廣告伺服器 (Ad Server)
• 廣告網路 (Ad Network)
• 即時競價 (Real Time Bidding)
8
Ad Server
9
Ad Server
• 顧名思義,就是專門用來處理廣告的Server
• 基本組成
– 廣告管理介面 (Web Console)
– 廣告投放 (Ad Serving)
– 素材投遞 (Creative Delivery)
10
Ad Server: 廣告管理介面
• 上廣告的介面
• 分成供給方跟需求方
• 供給方
– 版位
– 廣告代碼
• 需求方
– 訂單
– 廣告
– 素材
• 廣告跟素材需要綁定
• 廣告跟版位需要綁定
11
Ad Server: 廣告投遞
• 當收到一個廣告請求時,決定用哪一個廣告來投放
• 考慮因素有哪些?
– 只能投遞到有綁該版位的廣告
– 廣告排程(走期)
– 廣告預算
– 廣告輪播
– 額外的條件
12
Ad Server: 廣告投遞
13
Ad Server: 素材投遞
• 素材投遞的考量因子
– 網路頻寬
– 網路延遲
– $$$$
• 通常會使用CDN (Content Delivery Network)來投遞素材
– Reverse Proxy的概念
– 使用者會去跟最近的...
素材投遞
15
自架廣告伺服器遇到的問題
• 用包天的方法相對沒有彈性
• 用包量的方法每天的量也不固定
• 沒有賣完的流量怎麼處理
• 要養一批業務來收廣告也不一定符合經濟效益
16
Ad Network for the rescue
17
Ad Network
• 撮合廣告買方跟賣方的平台
• 通常會針對一種區域或類型的廣告(例如台灣的原生廣告,
大陸的影音廣告,東南亞的手機廣告等等…)
• 對買方(廣告主)可以有比較多的網站選擇
• 對賣方(網站)也可以不用自己養銷售團隊
18
Ad Network
19
Ad Network的基本組成元件
• 廣告後台
• 廣告投遞
• 素材投遞
• 定向技術 (Targeting)
• 報表系統 (Report System)
• 點擊率預測 (CTR Prediction)
20
Ad Network: 定向技術
21
• 可以讓廣告只投到某些流量的技術
Ad Network: 定向技術
22
• 內容定向 (Contextual Targeting)
– 可透過爬蟲去爬廣告出現的網頁
– 根據內容給它自動分類
– 甚至找出關鍵字,跟廣告想要投
遞的關鍵字匹配
Ad Network: 報表系統
• 根據某個時間區間內,在某些條件下的,某個(或某些維度)
下的數據
• 功能
– 成效報表
– 對帳報表
– 請款
– 分析
23
Ad Network: 報表系統
• 基本組成
– 時間區間 (Day Range)
– 過濾 (Filter)
– 維度 (Dimensions)
– 數值 (Metrics)
24
Ad Network: 報表系統
Select
dim1, dim2, dim3,
sum(metrics1) as metrics1,
sum(metrics2) as metrics2,
sum(metrics3) as metrics3
...
Ad Network: 報表系統
26
• OLAP Cube
Ad Network: 報表系統
• Data Warehouse
– 儲存Cube資料的地方
– 儲存多個來源的資料
– 專門為查詢的需求優化
– 用Column-based Store來提升效率
– 用反正規化(denormalizatio...
Ad Network: 報表系統
• BI(Business Intelligence) Tool
– 視覺化呈現的Tool
– 方便切換不同維度去呈現資料
– 基本圖表: Pivot Table, Plot, Pie Chart, Bar C...
Ad Network: 報表系統
29
Ad Network: 點擊率預測
• 點擊率(Click Through Rate) 預測是所有優化的核心
• CTR = #Clicks / #Impressions * 100%
• 功用
– 幫助選擇最適合的廣告
– 幫助判斷流量價值
...
Ad Network: 點擊率預測
• Feature Engineering
– 有非常多的features會影響點擊率
– 有些時候這是其中幾個features的結合而產生的新features
– 數值類(numeric data)轉成類別...
Ad Network: 點擊率預測
32
Ad Network: 點擊率預測
• 挑戰
– 量體大
– 回報低
– 生命週期短
– 預測所花的時間非常短 (<0.1ms)
• 成效跟成本的tradeoff
33
Ad Network會遇到的問題
• 供需失衡問題
– 廣告需求 >>> 流量供給
– 廣告需求 <<< 流量供給
• 供給過量雖然可以透過埋別人的Code來處理剩餘流量,但
是缺乏彈性。
• 需求面無法找到很窄的受眾 (e.g. 再行銷)
•...
RTB for the rescue
35
Real Team Bidding
• RTB的角色
– SSP (Supply Side Platform)
– ADX (Ad Exchange)
– DSP (Demand Side Platform)
– DMP (Data Manag...
Real Team Bidding
• 一個廣告請求可以丟給很多的DSP (Demand Side Platform)
• 每個廣告請求都會產生一個競標
• 價高者得
• 用第二高價為得標價
• 100ms要做出決定 (包含網路延遲)
37
RTB Auction
38
RTB架構的好處
• 對DSP
– 更容易觸及到更多的使用者
– 可以投遞很窄的族群(e.g. retargeting)
• 對SSP
– 更有效率得給更多買家購買流量
39
DSP
• DSP會有的功能
– 廣告後台
– 廣告投遞
– 素材投遞
– 定向技術 (Targeting)
– 報表系統 (Report System)
– 點擊率預測 (CTR Prediction)
– Cookie Matching
–...
RTB的架構中投遞人是個重點
41
但是DSP怎麼知道
ADX打過來的廣告請求是誰?
42
Cookie Matching
Cookie Matching
• 一種兩個domain交換cookie(identity)的方法
• ADX通常會提供cookie matching service
• DSP會在埋在客戶網站中的程式碼發出cookie matching
re...
Cookie Matching: Matching階段
44
Cookie Matching: Bidding階段
45
Retargeting
• 會造訪過我的網站的人,應
該更有可能在我站內購買。
• 想盡辦法把他在從站外找回
來
• 是一個量少但質精的策略
46
Product Retargeting
• 當看過某件商品後,非常有
可能他會購買該商品。
• 想盡辦法頭遞給他廣告外,
還要推薦給他最近看過的商
品
47
DMP
• DMP (Data Management Platform)
• 掌管匿名使用者(audience)的資料
• 類似CRM,只是不是針對customer,而是audience
• 可以分為
– 人口分布: 年齡, 性別, 收入
– ...
Recap
• 介紹了三種廣告架構
– Ad Server
– Ad Network
– RTB
• 誰優誰劣?
– Ad Server有最高的透明度,以及流量掌握度
– Ad Network可以有最豐富類型的廣告類型,透明度中等
– RTB可...
Recap
• 廣告系統的組成
– 廣告後台
– 廣告投遞
– 素材投遞
– 定向技術
– 報表系統
– 點擊率預測
– Cookie Matching
– 重定向
– DMP
50
廣告系統技術架構圖
51
最後來看整個AdTech的生態系
52
Thanks
Questions?
53
LUMA Landscape DISPLAY ad 2017
Thanks
Questions?
54
Upcoming SlideShare
Loading in …5
×

網路廣告的基本架構

2,968 views

Published on

台灣數位媒體廣告量已於2016年超越電視廣告,成為廣告量排名第一的媒體,除了因為網路佔據了大眾越來越多的時間之外,更是因為數位廣告可透過技術鎖定廣告受眾,將廣告即時推播到受眾使用的裝置上,讓廣告更加有成效。

而數位廣告背後的技術,則是包含最近當紅的大數據分析以及機器學習,因為在廣告的量體大且需即時反應的本質中,要如何透過分散式架構處理,是一個重要的課題。TenMax陸振恩技術總監將在本次講座,揭開廣告系統運作的神秘面紗。

Published in: Technology
  • Hello! Get Your Professional Job-Winning Resume Here - Check our website! https://vk.cc/818RFv
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

網路廣告的基本架構

  1. 1. 2 0 1 7 . 0 7 數 位 廣 告 的 基 本 架 構 P o p c o r n y ( 陸 振 恩 )
  2. 2. Who am I • 陸振恩 (popcorny) • Director of Engineering @TenMax • 之前經歷 – 交大資科所 – 第四屆趨勢百萬程式競賽冠軍 – 聯發科技 (2005- 2010) – SmartQ (2011 – 2014) – cacaFly/TenMax (2014-present) • FB: https://fb.me/popcornylu 2
  3. 3. Funp集團 3
  4. 4. 數位廣告的特色 • 可量測的 • 預算範圍廣 • 格式多樣 • 可以鎖定客群 (Targeting) • 馬上投遞 4
  5. 5. 數位廣告的技術特性 • 量體大 (Volume) • 反應時間短 (Velocity) • 資料雜 (Variety) • 垃圾多 (Veracity) • 標準大數據的4V 5
  6. 6. 數位廣告的技術特性 • 量體大 (Volume) • 反應時間短 (Velocity) • 資料雜 (Variety) • 垃圾多 (Veracity) • 標準大數據的4V 6
  7. 7. 基本架構? 生態架構 & 技術架構 7
  8. 8. Outline • 廣告伺服器 (Ad Server) • 廣告網路 (Ad Network) • 即時競價 (Real Time Bidding) 8
  9. 9. Ad Server 9
  10. 10. Ad Server • 顧名思義,就是專門用來處理廣告的Server • 基本組成 – 廣告管理介面 (Web Console) – 廣告投放 (Ad Serving) – 素材投遞 (Creative Delivery) 10
  11. 11. Ad Server: 廣告管理介面 • 上廣告的介面 • 分成供給方跟需求方 • 供給方 – 版位 – 廣告代碼 • 需求方 – 訂單 – 廣告 – 素材 • 廣告跟素材需要綁定 • 廣告跟版位需要綁定 11
  12. 12. Ad Server: 廣告投遞 • 當收到一個廣告請求時,決定用哪一個廣告來投放 • 考慮因素有哪些? – 只能投遞到有綁該版位的廣告 – 廣告排程(走期) – 廣告預算 – 廣告輪播 – 額外的條件 12
  13. 13. Ad Server: 廣告投遞 13
  14. 14. Ad Server: 素材投遞 • 素材投遞的考量因子 – 網路頻寬 – 網路延遲 – $$$$ • 通常會使用CDN (Content Delivery Network)來投遞素材 – Reverse Proxy的概念 – 使用者會去跟最近的CDN節點要資料 14
  15. 15. 素材投遞 15
  16. 16. 自架廣告伺服器遇到的問題 • 用包天的方法相對沒有彈性 • 用包量的方法每天的量也不固定 • 沒有賣完的流量怎麼處理 • 要養一批業務來收廣告也不一定符合經濟效益 16
  17. 17. Ad Network for the rescue 17
  18. 18. Ad Network • 撮合廣告買方跟賣方的平台 • 通常會針對一種區域或類型的廣告(例如台灣的原生廣告, 大陸的影音廣告,東南亞的手機廣告等等…) • 對買方(廣告主)可以有比較多的網站選擇 • 對賣方(網站)也可以不用自己養銷售團隊 18
  19. 19. Ad Network 19
  20. 20. Ad Network的基本組成元件 • 廣告後台 • 廣告投遞 • 素材投遞 • 定向技術 (Targeting) • 報表系統 (Report System) • 點擊率預測 (CTR Prediction) 20
  21. 21. Ad Network: 定向技術 21 • 可以讓廣告只投到某些流量的技術
  22. 22. Ad Network: 定向技術 22 • 內容定向 (Contextual Targeting) – 可透過爬蟲去爬廣告出現的網頁 – 根據內容給它自動分類 – 甚至找出關鍵字,跟廣告想要投 遞的關鍵字匹配
  23. 23. Ad Network: 報表系統 • 根據某個時間區間內,在某些條件下的,某個(或某些維度) 下的數據 • 功能 – 成效報表 – 對帳報表 – 請款 – 分析 23
  24. 24. Ad Network: 報表系統 • 基本組成 – 時間區間 (Day Range) – 過濾 (Filter) – 維度 (Dimensions) – 數值 (Metrics) 24
  25. 25. Ad Network: 報表系統 Select dim1, dim2, dim3, sum(metrics1) as metrics1, sum(metrics2) as metrics2, sum(metrics3) as metrics3 from report where dt >= '2017-07-14' and dt < '2017-07-22' and dim4 = 'ooxx' group by dim1, dim2, dim3 25 dimensions metrics date range filter
  26. 26. Ad Network: 報表系統 26 • OLAP Cube
  27. 27. Ad Network: 報表系統 • Data Warehouse – 儲存Cube資料的地方 – 儲存多個來源的資料 – 專門為查詢的需求優化 – 用Column-based Store來提升效率 – 用反正規化(denormalization)來提升效率 27
  28. 28. Ad Network: 報表系統 • BI(Business Intelligence) Tool – 視覺化呈現的Tool – 方便切換不同維度去呈現資料 – 基本圖表: Pivot Table, Plot, Pie Chart, Bar Chart – Dashboard 28
  29. 29. Ad Network: 報表系統 29
  30. 30. Ad Network: 點擊率預測 • 點擊率(Click Through Rate) 預測是所有優化的核心 • CTR = #Clicks / #Impressions * 100% • 功用 – 幫助選擇最適合的廣告 – 幫助判斷流量價值 • 常見的做法 – Logistic Regression 30
  31. 31. Ad Network: 點擊率預測 • Feature Engineering – 有非常多的features會影響點擊率 – 有些時候這是其中幾個features的結合而產生的新features – 數值類(numeric data)轉成類別類(categorical data) – 前處理資料讓資料更方便被ML library處理 • Training – 雖然都是Logistic Regression,但是優化方法可以很多種. (GD, FTRL, Momentum, ADAM) – Batch方法也可以有所不同 (Full-batch, Mini-batch, SGD) 31
  32. 32. Ad Network: 點擊率預測 32
  33. 33. Ad Network: 點擊率預測 • 挑戰 – 量體大 – 回報低 – 生命週期短 – 預測所花的時間非常短 (<0.1ms) • 成效跟成本的tradeoff 33
  34. 34. Ad Network會遇到的問題 • 供需失衡問題 – 廣告需求 >>> 流量供給 – 廣告需求 <<< 流量供給 • 供給過量雖然可以透過埋別人的Code來處理剩餘流量,但 是缺乏彈性。 • 需求面無法找到很窄的受眾 (e.g. 再行銷) • 需求面也無法滿足比較爆炸性的需求 34
  35. 35. RTB for the rescue 35
  36. 36. Real Team Bidding • RTB的角色 – SSP (Supply Side Platform) – ADX (Ad Exchange) – DSP (Demand Side Platform) – DMP (Data Management Platform) 36
  37. 37. Real Team Bidding • 一個廣告請求可以丟給很多的DSP (Demand Side Platform) • 每個廣告請求都會產生一個競標 • 價高者得 • 用第二高價為得標價 • 100ms要做出決定 (包含網路延遲) 37
  38. 38. RTB Auction 38
  39. 39. RTB架構的好處 • 對DSP – 更容易觸及到更多的使用者 – 可以投遞很窄的族群(e.g. retargeting) • 對SSP – 更有效率得給更多買家購買流量 39
  40. 40. DSP • DSP會有的功能 – 廣告後台 – 廣告投遞 – 素材投遞 – 定向技術 (Targeting) – 報表系統 (Report System) – 點擊率預測 (CTR Prediction) – Cookie Matching – 重定向 (Retargeting) – DMP 40
  41. 41. RTB的架構中投遞人是個重點 41
  42. 42. 但是DSP怎麼知道 ADX打過來的廣告請求是誰? 42 Cookie Matching
  43. 43. Cookie Matching • 一種兩個domain交換cookie(identity)的方法 • ADX通常會提供cookie matching service • DSP會在埋在客戶網站中的程式碼發出cookie matching request • 在競標的時候,ADX會把ADX cookie id轉成DSP cookie id。 43
  44. 44. Cookie Matching: Matching階段 44
  45. 45. Cookie Matching: Bidding階段 45
  46. 46. Retargeting • 會造訪過我的網站的人,應 該更有可能在我站內購買。 • 想盡辦法把他在從站外找回 來 • 是一個量少但質精的策略 46
  47. 47. Product Retargeting • 當看過某件商品後,非常有 可能他會購買該商品。 • 想盡辦法頭遞給他廣告外, 還要推薦給他最近看過的商 品 47
  48. 48. DMP • DMP (Data Management Platform) • 掌管匿名使用者(audience)的資料 • 類似CRM,只是不是針對customer,而是audience • 可以分為 – 人口分布: 年齡, 性別, 收入 – 興趣: 運動, 財經, 旅遊 – 消費行為: 女裝, 尿布, 3C • 資料來源 – 行為分析 – 可從email資訊跟外站或是線下交換資料 – 相似受眾 (Lookalike) 48
  49. 49. Recap • 介紹了三種廣告架構 – Ad Server – Ad Network – RTB • 誰優誰劣? – Ad Server有最高的透明度,以及流量掌握度 – Ad Network可以有最豐富類型的廣告類型,透明度中等 – RTB可以有最大的人群觸及率,適合針對人群去投遞 49
  50. 50. Recap • 廣告系統的組成 – 廣告後台 – 廣告投遞 – 素材投遞 – 定向技術 – 報表系統 – 點擊率預測 – Cookie Matching – 重定向 – DMP 50
  51. 51. 廣告系統技術架構圖 51
  52. 52. 最後來看整個AdTech的生態系 52
  53. 53. Thanks Questions? 53 LUMA Landscape DISPLAY ad 2017
  54. 54. Thanks Questions? 54

×