Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Transfer learning在广告
点击率预估的应用
黄晶
微博:黄晶PKU
2015.6
个人简介:jhuangpku.github.io
library(wordcloud)
wordcloud(blog$word, blog$freq, random.order=F, color=pal)
主要内容
 业务问题
 解决方案
学术界方案
Data-level transfer
Parameter-level transfer
应用效果&Future Work
 广告时间----WE ARE HIRING
什么是在线广告
广告A
出价5元
 规则
广告主对关键词出价bid
点击一次收费bid(实际
GSP)
 目标:收益最大化
有限位置怎么选择广告?
Bid*广告点击率降序排列
核心问题:点击率怎么估计
点击率:0
平均收益:0元
广告B
出...
怎么预估点击率
 数据/样本
一个广告的一次展现
 特征
ID类特征
泛化特征
统计特征
….
 模型
LR->GBDT->DNN
怎么预估点击率-LR
数据集
1 0 0 …
1 0 0 …
0 1 0 …
0 0 0 …
0 0 0 …
0 1 0 …
0 0 1 …
1
0
1
0
0
0
0
Target y
X1
X2
X3
X4
X5
X6
X7
0 0 0 …...
我们的问题-商业知心
广告
成
特点:同一套广告描述 VS 多种展现形式(不断有新展现形式)
学术界方法
Instance-base
Feature-base Parameter-base
借数据
借数据 借参数
Data-Level
Source Target
Data-level
基本假设:S上的data经过合理
的变化,可以变成T上的data
核心&问题:data相似度的衡量
Ps(x,y) ->Pt(x,y)
代表方法:
 Instance b...
Data-Level
Source Target
Data-level
基本假设:S上的data经过合理
的变化,可以变成T上的data
核心&问题:data相似度的衡量
Ps(x,y) ->Pt(x,y)
代表方法:
 Instance b...
Parameter-Level
Parameter-level
基本假设:S上的权重和T上的权
值有”相似性”
核心&问题:权值相似度的衡量
该度量方法表现为一个约束
代表方法:
 parameter base
W1
W2
W3 W3’
W4...
Parameter revisited
Parameter-level
W1
W2
W3 W3’
W4 W4’
W5 W5’
Common
source target
近似实现common-part和individual-part的方法:
St...
应用效果&Future Work
 应用效果
 Future Work
数据:Source,target的选择
特征:可迁移特征的选择(单slot在S上训练T上校验)
模型:multi-task / GBDT增量
项目 线下auc 线上ct...
bdl_job@baidu.com
Transfer learning@r语言大会2.0 发布版
Upcoming SlideShare
Loading in …5
×

Transfer learning@r语言大会2.0 发布版

2,427 views

Published on

transfer learning application in ctr prediction

Published in: Data & Analytics
  • Be the first to comment

Transfer learning@r语言大会2.0 发布版

  1. 1. Transfer learning在广告 点击率预估的应用 黄晶 微博:黄晶PKU 2015.6
  2. 2. 个人简介:jhuangpku.github.io library(wordcloud) wordcloud(blog$word, blog$freq, random.order=F, color=pal)
  3. 3. 主要内容  业务问题  解决方案 学术界方案 Data-level transfer Parameter-level transfer 应用效果&Future Work  广告时间----WE ARE HIRING
  4. 4. 什么是在线广告 广告A 出价5元  规则 广告主对关键词出价bid 点击一次收费bid(实际 GSP)  目标:收益最大化 有限位置怎么选择广告? Bid*广告点击率降序排列 核心问题:点击率怎么估计 点击率:0 平均收益:0元 广告B 出价2元 广告C 出价1元 点击率:0.1 平均收益:0.2元 点击率:0.1 平均收益:0.1元
  5. 5. 怎么预估点击率  数据/样本 一个广告的一次展现  特征 ID类特征 泛化特征 统计特征 ….  模型 LR->GBDT->DNN
  6. 6. 怎么预估点击率-LR 数据集 1 0 0 … 1 0 0 … 0 1 0 … 0 0 0 … 0 0 0 … 0 1 0 … 0 0 1 … 1 0 1 0 0 0 0 Target y X1 X2 X3 X4 X5 X6 X7 0 0 0 … 1 0 0 … 1 0 0 … 0 1 0 … 0 0 0 … 0 1 0 … 0 0 1 … 。。 query 广告ID Y=1 Y=0 ||||),,(min 1 wCywXl m i iii  距离分界面越远,loss越小 ))),(1log()1(),(log(),,( wXhywXhyywXl iiiiiii  )exp(1 1 ),( i ti Xw wXh   )exp(1 1 )|1(P i ti Xw Xy  点击率学习目标:给定样本,y=1的概率 0 0 1 … ?Xn 0 0 1 …
  7. 7. 我们的问题-商业知心 广告 成 特点:同一套广告描述 VS 多种展现形式(不断有新展现形式)
  8. 8. 学术界方法 Instance-base Feature-base Parameter-base 借数据 借数据 借参数
  9. 9. Data-Level Source Target Data-level 基本假设:S上的data经过合理 的变化,可以变成T上的data 核心&问题:data相似度的衡量 Ps(x,y) ->Pt(x,y) 代表方法:  Instance base  Feature base x1 三维示例 x1 x2 问题:X2!=0的由于数据少,未观测到 x1 x2 真实T分布 x1 x2 相似变换 x2 w降低 W增加 观测S分布 观测T分布 调整后S分布
  10. 10. Data-Level Source Target Data-level 基本假设:S上的data经过合理 的变化,可以变成T上的data 核心&问题:data相似度的衡量 Ps(x,y) ->Pt(x,y) 代表方法:  Instance base  Feature base 现实是 噪音! 噪音!! 噪音!!!
  11. 11. Parameter-Level Parameter-level 基本假设:S上的权重和T上的权 值有”相似性” 核心&问题:权值相似度的衡量 该度量方法表现为一个约束 代表方法:  parameter base W1 W2 W3 W3’ W4 W4’ W5 W5’ Common source target ||||)()( 2 1 )()( ''' wwCwwLwwLwwwLwf SSTSS T SS  target上的拟合 正则 新权值在Source的数据上的loss近似模拟 另一种观点:bayes LR 提供的是先验 :source上的权重 :target上的权重 Sw wwS  Sw
  12. 12. Parameter revisited Parameter-level W1 W2 W3 W3’ W4 W4’ W5 W5’ Common source target 近似实现common-part和individual-part的方法: Step1:在source上的训练只训练“可迁移”的特征—common-part Step2:在target上把所有特征带进去训练 效果:common-part变动较少,individual-part变动较多 Common-part的业务含义,不同query在不同卡片的weight近似一致 ||||)()( 2 1 )()( ''' wwCwwLwwLwwwLwf SSTSS T SS 
  13. 13. 应用效果&Future Work  应用效果  Future Work 数据:Source,target的选择 特征:可迁移特征的选择(单slot在S上训练T上校验) 模型:multi-task / GBDT增量 项目 线下auc 线上ctr 医疗知心中间页找医院TL模型 +0.8% 2.08% 教育知心无线找课程TL模型 +5%+ 7.52%
  14. 14. bdl_job@baidu.com

×