Some experience and learning on Mobile Big Data Analysis

1. 行動廣告與大數據資料分析策略與執行
--- 商務觀點分享
Vpon 行動科技
數據科學家趙國仁

2. Agenda & Objectives
Vpon intro.
Big Data & Data Scientist
- 4V, Metromap, CEO’s view
Mobile Ads Big Data
- AdN, RTB, DSP, …
- Spark, Kafka, Docker, HDFS, Couchbase, …
- Sample bidding strategy, …
Reach + Richness + Range

3. Vpon 行動廣告
2014年第二季台灣行動市場數據報告

4. Vpon in Taiwan
1,700萬
每月接觸超過1,700 萬不重複裝置
17億
每月可遞送廣告量達17 億次以上
1,000家
服務超過1,000+ 家的知名品牌廣告主
Source: UU, Q2 2014, Vpon Inc.

5. Vpon in Asia
亞太區
涵蓋大陸、港澳台、星馬、印尼、泰國、菲
律賓、日韓
60億
每月可遞送廣告量達60 億次以上
Source: UU, Q2 2014, Vpon Inc.

6. 週間行動上網時段分析
3G Wi-Fi
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
平日白天使用3G、晚上8點後使用Wi-Fi
 白天上班、上課的時段，使用3G上網較Wi-Fi普遍，從早上7點通勤時段曲線開始成
長，尤其是中午休息時段12點時呈現高峰。
 對比上季數據，晚間使用Wi-Fi時段提早1小時，約20點後即開始出現成長，最高峰
時段呈現在22點，並從0點開始驟降，顯示上網行為和消費者生活型態息息相關。
Source: UU, Q2 2014, Vpon Inc.

7. 周末行動上網時段分析
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
周末夜間上網增加、9點後行動用量開始成長
 周末民眾普遍睡得較晚，相較周間行動上網從9點開始才出現明顯成長，同時白
天時段3G和Wi-Fi的使用是持平的。
 晚間時段一樣以Wi-Fi的使用量較高，不過使用時段明顯拉長，夜間使用量相較平
日增加，顯示消費者周末較晚睡。
Source: UU, Q2 2014, Vpon Inc.
3G Wi-Fi

8. 各系統上網時段分析
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
iPad夜間使用量高
 比較各系統上網時段，可明顯發現iPad從晚間21點開始使用量提升持續到夜間1點，
顯示消費者回到家中使用平板的機率高。
 手機的整體使用時段較類似，但相較Android，iPhone使用者晚間19點後的使用
量呈現持平，推測iPhone螢幕較小的關係，使用者轉換使用平板電腦的機會較高，
而Android則因螢幕較大的關係沒有此狀況。
Source: UU, Q2 2014, Vpon Inc.
Android iPhone iPad

9. 端午連假行動上網情況
端午節
5/22-5/27 5/29-6/3
Thu Fri Sat Sun Mon Tue
連假行動流量提升
 通常於連續假期，行動上網流量都會上升，這個月端午假期雖然只有3天，但相
較前週同期，流量成長約1.2倍。
Source: UU, Q2 2014, Vpon Inc.

10. 捷運血案事件行動上網情況
5/13-5/19 5/20-5/26
鄭捷血案
當日
Tue Wed Thu Fri Sat Sun Mon
時事影響行動流量
 觀察板南線週邊行動流量，在鄭捷血案事件發生後持續一週，行動流量相較上
一週明顯偏低(約-11%)，顯示消費者搭乘捷運和使用手機的比例降低。
Source: UU, Q2 2014, Vpon Inc.
板南線周邊行動流量

11. Data Science in Vpon

12. Vpon大數據運作模組
收集用戶使用行為大數據分析資料庫
• Profile
• Classification
• Recommendation
Retargeting
中國超過2億
香港超過600萬
台灣超過1,700萬
20GB/day
20TB/year
透過多重數據分析找出資料背後的價值

13. Challenge: 大數據特色- 4V
資料量大資料多樣性
資料輸入
和處理速度快
資料真實性

14. Data Science Metromap

15. Data Science Venn Diagram
Stat vs. MLDM?
(Big) Programming?
Tags?

16. Advertiser Utility: The Value
Funnel
CPM campaign:
Revenue = N/1000 ⋅CPM
CPC campaign:
Revenue = N ⋅ CTR ⋅ CPC
CPA campaign:
Revenue = N ⋅ CTR ⋅ CVR⋅ CPA

17. 成功案例：優化廣告成效
CTR (廣告點選率)
+3.6倍
一般成效優化成效
準TA接觸率準TA接觸率
85% 81%
TOTAL
廣告曝光量
(Impression)
- 5倍
一般成效優化成效
 Vpon實際運用大數據協助廣告主
以使用者關聯性分析，透過點擊
廣告的使用者行為找出類似的潛
在使用者投放廣告，其CTR表現成
效為未優化前的3.6倍。
 以相關演算法精準鎖定準目標族
群，有效減少多餘的曝光浪費，
降低預算成本。透過優化分析後，
即使減少5倍的曝光量，實際能接
觸的TA比例並無減少太多。

18. Data Economy
傳統-> 數位經濟學
Internet Economy
REACH High
RICHNESS
High
Low
Traditional Economy
(quality)
(quantity)
Attr. vs. behavior
Base of
targeting

19. Data Science Performance
Performance (CTR, CVR, CPI)
of and and DSP
Data Algorithms
Tools

20. Data Science Performance
Performance (CTR, CVR, CPI)
of AdNet and DSP
Data Algorithms
Problem-solving
Thinking
Tools

21. Source: http://becomingadatascientist.wordpress.com/

22. Data-driven Performance
資料豐富度
(The power source of behavioral
forecasting)
Reach
Richness
High
High
Low
使用者接觸量(Reach of UU)
Range
High 使用者情境(The audience affiliate
of whole context)
Performance (CTR, CVR,
CPI)
of AdNet and DSP
Problem-solving
Thinking
Data
Algorith
ms
Tools

23. Data Scientist as CEO of Data
Source: 經理人(117)

24. Reach & Richness
in Mobile Ads

25. Data Economy
傳統-> 數位經濟學
Internet Economy
REACH High
RICHNESS
High
Low
Traditional Economy
(quality)
(quantity)

28. AdN  RTB
Source: Chandrakanth(2012), Theorem India

30. RTB Bidding Flow
Source: Adsmogo Mobile Ads eXchange v1.2

31. AdN  DSP
 Seller(Publisher / Developer)
p(imp/req) 
p(Revenue) 
• Revenue = CPM * IVR
 Buyer
Reach  CPC/CPI 
Targeting 
 AdN DSP
p(profit)
Publisher  AdX
Service desk  self help

32. Mobile Ads Data Economy
Internet Economy
High REACH
High
RICHNESS
Low
Traditional Economy
(targeting, prediction)
(data volume, qps)

33. In-database Processing(MPP)

34. Exploratory Architeture

35. Pricing Engine Framework
Kafka
Jenkins
Apache Spark
HDFS
Batch Layer
Realtime processors
( Spark Streaming)
Data Injection
Speed Layer
Serving Layer
Kafka
Data Streaming
Couchbase
Docker Container
Avro
Avro
Akka/Scala Actors

36. Code Size Comparison
Source: Matei Zaharia(2013)

37. Performance Comparison
Source: Matei Zaharia(2013)

38. Integrated Framework
Source: Matei Zaharia(2013)

39. Data Sharing in Spark
Source: Matei Zaharia(2013)

40. Example: Logistic Regression
Source: Matei Zaharia(2013)

41. Example: Logistic Regression
 val data = spark.textFile(...).map(readPoint).cache()
 var w = Vector.random(D)
 for (i <- 1 to ITERATIONS) {
 val gradient = data.map(p =>
 (1 / (1 + exp(-p.y*(w dot p.x))) - 1) * p.y * p.x
 ).reduce(_ + _)
 w -= gradient
 }
 println("Final w: " + w)
Source: Matei Zaharia(2013)

42. Logistic Regression Performance
Source: Matei Zaharia(2013)

43. Internet as a mass media
“Half the money I spend on advertising is wasted;
the trouble is I don‘t know which half.”
-- John Wanamaker, ~ 1875

44. Current Challenges
How to identify?
Find the "best match" between a given user in a
given context and a suitable advertisement.
-- Dr. Andrei Broder and Dr. Vanja Josifovski, Standford University
Limited Info.
Budget? Creative?...
Bid Price?

45. Channels play different roles in the
customer journey
Source: http://www.thinkwithgoogle.com/

46. Advertiser Utility: The Value
Funnel
CPM campaign:
Revenue = N/1000 ⋅CPM
CPC campaign:
Revenue = N ⋅ CTR ⋅ CPC
CPA campaign:
Revenue = N ⋅ CTR ⋅ CVR⋅ CPA

47. Valuation of Ads
ΣT
i=1CTR * v(ai, ui) = ΣT
i=1e(ai, ui, ci) = eCPM
Advertiser:
Media:

48. How DSP Track & Optimize
Bidding
• Pixel/Beacon: landing, browse, shopping cart, conversion …
• Cookie in web (Cookie mapping)
• IDFA/AID in mobile
Audience Tracking
• Feature engineering/Pre-generated tags, Look alike, Re-targeting
• Privacy -> Campaign-based
• P(c|u)
Audience Selection
• Campaign/Ad, TA, Creative…
• Base/up bound price, freq. cap…
Campaign
Mgmt
• 100ms
• Winning probability function, Traffic forecasting Real-time bidding
Impression • Click, CTR
Conversion • CVR, CPA

49. Demand-side platform and its
bidding engine in RTB
Landscape?
Targeting Attr.?
Cold start?

50. 51
Retention Rate

52. Bid Landscape Forecasting
 Only reference market price by base price
 Imp, UU, Click, Conv.
 DSP, per campaign, per targeting criteria…
 the advertisers’ targeting profiles  the winning
bid value
 Pacing
Source: Ying Cui, Ruofei Zhang, Wei Li, Jianchang Mao(2011), Bid Landscape Forecasting in Online Ad Exchange Marketplace, Yahoo! Labs

53. Traffic forecasting
 An impression on Jeremy Lin BBS post of MiuPTT
 Two product ads
A: Linsanity T-Shirt
B: Baseketball shoes
 Not optimized if only bid for highest price
B bid higher than A
Inventory A is much fewer than inventory B

54. Bid Landscape Forecasting
Source: Ying Cui, Ruofei Zhang, Wei Li, Jianchang Mao(2011), Bid Landscape Forecasting in Online Ad Exchange Marketplace, Yahoo! Labs

55. Bid Landscape Forecasting
-- Bid Star Tree Expansion
*
*C
1
*
*C
2
*
B1
C1
*
B1
C2
*
*
*
*
*
*
*
*
C1
*
*
C2
*
B1
*
• Remove few-imp path for
not too sparse
• Easily to target all
Source: Ying Cui, Ruofei Zhang, Wei Li, Jianchang Mao(2011), Bid Landscape Forecasting in Online Ad Exchange Marketplace, Yahoo! Labs
Target Attribute

56. Bidding Price Calculation
Bidding Price = F (base price, CVR ) • In the same campaign, the conversion value is the
same
= base price * φ • φ = CVR / avg CVR
φ = p(c|u, i) / Ej [ p(c|u, j) ]
• I, j : inventory (on Web/App)
Ej [ p(c|u, j) ] = Σj p(c|u, j) p(j) = p(c|u)
φ = p(c|u, i) / p(c|u)
φ = p(c|s, i) / p(c|s)
• All inventories in the same segment are the same,
• i could also be inventory cluster

57. Bidding Price Model Building
• Cold start
• Training feature of segment and inventory respectively
• Do not train combined feature for preventing over fitting
on few training data φ = p(c|s, i) / p(c|s)
• Cold start
• Training feature of segment
DSP cross-campaigns:
bid = BasePrice(s, a) * p(c|s, I, a) / p(c|s, a)
AUC: the area under the ROC curve(TP/FP)
Lift: target response divided by average response.

58. Bidding Price Calibration
 Forecasting
Sampling & learn
 On-line adjustment
Feedback control & Re-learn
 Loss reason
Prior Probability Shift
• Budget, Freq. cap, …
Competition

59. 3R (Reach+Richness+Range)
in Mobile Ads

60. Vpon大數據分析
Vpon在亞洲擁有超過3.8億不重複使用者，透過每次的廣告遞送持續收集使用者
行為數據，每月處理超過10TB的資料量，以多重的數據探勘法，幫助廣告主找到
最有價值的潛在消費者。Vpon 有效地優化行動廣告的投放，遞送給使用者最適
合的廣告曝光，降低預算成本，促進轉換率，進而提高整體的廣告效益。
收集用戶行為連結廣告主資料大數據分析優化精準投放
• 廣告點選行為
• 使用裝置
• 使用APP
• 廣告偏好
• 使用時間
• 定位區域
• 社群行為….
• 分類
• 分群
• 推薦系統
• Retargeting
• 分眾投放溝通
• 個人化行銷
• 搭配其他媒體
條件投放
整合其他資料庫
Ex. 客戶既有CRM
資料庫、社群粉
絲資訊(facebook
fans)…
Second-Party Data First-Party Data

61. 成功案例：優化廣告成效
CTR (廣告點選率)
+3.6倍
一般成效優化成效
準TA接觸率準TA接觸率
85% 81%
TOTAL
廣告曝光量
(Impression)
- 5倍
一般成效優化成效
 Vpon實際運用大數據協助廣告主
以使用者關聯性分析，透過點擊
廣告的使用者行為找出類似的潛
在使用者投放廣告，其CTR表現成
效為未優化前的3.6倍。
 以推薦演算法精準鎖定準目標族
群，有效減少多餘的曝光浪費，
降低預算成本。透過優化分析
後，即使減少5倍的曝光量，實際
能接觸的TA比例並無減少太多。

62. 成功案例：優化轉換成效
CTR(廣告點選率) +3.6倍
CVR(轉換率)
一般成效優化成效
CVR(轉換率)
+4.9倍
+1.8倍
一般成效優化成效再優化
 運用大數據分析演算，將廣告投
放給更精準的族群，雖然在CTR的
表現只有提高一點點，但Vpon成
功將轉換率提升3.6倍。
 大數據透過時間和資料的累積，
我們可以持續優化成效，Vpon經
過多層的演算法，成功於第一次
優化帶來4.9倍的轉換率，再次優
化繼續提升1.8倍。

63. If only attach importance to quantify the business
model, it will not have the ability to find a potential
growth opportunities: "The pursuit of quantifying the
biggest problem is that people ignore the context of
the behavior generated, detached from the context of
the event, and have not been included in the model
ignores variables effectiveness. "
企業若只重視量化模式，
將無法擁有尋得潛在成長
契機的能力：「追求量化
最大的問題在於，忽略人
們產生行為的脈絡，把事
件從情境中抽離，且忽略
沒有被納入模式中的變數
效力。」
- Roger Martin
Rothman School of Management, Toronto

64. 3R：Reach+Richness+Range
大數據經濟學
資料豐富度
(The power source of behavioral forecasting)
Reach
Richness
High
High
Low
使用者接觸量(Reach of UU)
Range
High 使用者情境(The audience affiliate of whole context)

65. 使用者情境(Range)影響大數據精準度
以現今消費者多螢的使用習慣，每一波的活動宣傳，單一媒體的成效表現數
據，和其他媒體的宣傳搭配息息相關。
TV campaign
View
Rating
Reach
Brand Awareness
Request
Click
Impression
Conversions
Range
Mobile Campaign
Offline Campaign
Reach
Traffic
Buzz
Actions
Reach
Richness

66. 成功案例：掌握3R成效更優異！
36973
33797
26711
23595
9617
40000
35000
30000
25000
20000
15000
10000
2.3%
3.8% 4.1% 4.1%
1.2% 1.3% 1.3% 1.5%
5000
0
+TV
29 Thu 30 Fri 31 sat 1 sun 2 Mon 3 Tue 4 Wed 5 Thu 6 Fri 7 Sat 8 Sun
Total Conversions
ats conversion的數量前台報表的整體轉換率全網投放的轉換率
整合媒體宣傳發揮綜效
14.7%
7151 6833 6225
25969
10707
7828
4.9%
3.0%
16.0%
14.0%
12.0%
10.0%
8.0%
6.0%
4.0%
2.0%
0.00% 0.30% 0.00% 0.00% 0.0%
CVR
 觀察APP的下載率和大數據優化的轉換率結果，我們可以發現，當活動媒體規畫
搭配行動廣告時，整體效益有效提升。整合其他媒體的宣傳檔期和素材的一致
性，在同時播放電視廣告時，行動廣告的優化轉換成效甚至可以高過於正常的
APP下載率表現，顯示在跨屏的時代，大數據分析更要考量環境的變數。

67. Takeaway ~
 RTB, SSP, AdX, DSP
 Data Scientist as CEO of Data
 Big Data Pricing Engine
 Scalable Big data infrastructure
 Spark, Kafka, Docker, HDFS, Couchbase, …
 Bidding Strategy & Design of Pricing Engine
 Reach, Richness, Range
 Reach：audience span, base of segmentation
 Richness：relatedness(contribution) to conversion (target)
 Range：affiliation with audience
 Integrated, all media, full context engaging factors

68. BIG
DATA
Humility
謙虛
Humanity
人性
資料始終為了人性

69. 感
謝：
Vpon 大數據技術團隊
Vpon 大數據資料分析團隊
台灣資料科學愛好者年會主辦單位
誠
徵：
各類（大數據）開發人才
104 Vpon