Построение моделей на примере продаж рекламы / Алексей Праслов
•Download as PPTX, PDF•
0 likes•372 views
При оптимизации каких-либо метрик в своём проекте вы можете сталкиваться с такой ситуацией, когда множество вариантов выбора велико. А каждый отдельный эксперимент требует затрат ресурсов, иногда значительных. В условиях, когда нет возможности протестировать все варианты, мы можем решать задачу моделирования и восстанавливать зависимости одних метрик от других. Но как организовать эксперимент так, чтобы при минимальных затратах ресурсов получать наиболее качественные модели? На что смотреть при внедрении результатов? Ведь модель, построенная на части пользователей, может изменится, когда вы примените её на 100% своей аудитории. В своём докладе затрону тему дизайна экспериментов и расскажу о подходах, которые мы используем на практике при оптимизации продаж рекламы через разные каналы в Авито. А также обращу внимание на проблемы, которые можно встретить при внедрении результатов.
Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (14)
Similar to Построение моделей на примере продаж рекламы / Алексей Праслов
Similar to Построение моделей на примере продаж рекламы / Алексей Праслов (20)
More from Ontico
More from Ontico (20)
Построение моделей на примере продаж рекламы / Алексей Праслов
- 1. Построение моделей на примере продаж рекламы Алексей Праслов аналитик, Avito
- 2. Что делать когда нужно протестировать много вариантов? A B
- 3. План презентации • Подход к решению проблемы • Как организовывать эксперимент • Как интерпретировать результаты • Что нужно учитывать при внедрении результатов
- 4. Как распределить трафик между различными каналами продаж Премиальные прямые продажи Google AdExchange RTB биржи Остаточные прямые продажи Рекламные сети Цена показа известна Подробная статистика Установка порога цены Цена за тысячу показов Показы Google AdExchange Премиальные прямые продажи Остаточные прямые продажи Какую ставку поставить рекламным сетям и RTB биржам в собственном аукционе?
- 5. Общее описание метода Выбрать параметры для оптимизации Подготовить дизайн эксперимента Проведение эксперимента Построение модели • Порог цен RTB биржи 1 • Порог цен Google AdExchange • Ставка RTB биржи 1 • Ставка рекламной сети 1 𝑋 = (Порог цен RTB биржи 1, Порог цен Google AdExchange, Ставка RTB биржи 1, Ставка рекламной сети 1) Выручка = 𝑓(X) Разным группам пользователей показываем рекламу с разными настройками
- 6. Описание эксперимента Группа пользователей 1 Группа пользователей 2 Группа пользователей 3 Группа пользователей 4 Группа пользователей 5 (1, 3, 3, 6) (3, 3, 6, 9) (3, 3, 9, 12) (3, 6, 6, 12) (1, 3, 9, 12) 𝑋 = (Порог цен RTB биржи 1, Порог цен Google AdExchange, Ставка RTB биржи 1, Ставка рекламной сети 1) Выручка = 𝑓(X)
- 7. Преимущества регрессионных моделей Порог цен RTB биржи Выручка = 𝑎 ∗ Порог цен RTB биржи2 + 𝑏 ∗ Порог цен RTB биржи + 𝑐 Выручка • Меньшая чувствительность модели к единичным выбросам • Необходимо меньшое количество измерений • Понимание закономерностей внутри исследуемых систем
- 8. Дизайн эксперимента: определение границ • Репрезентативность модели может снижаться на всём диапазоне допустимых значений • При неправильно определённой области эксперимента модель может быть нерепрезентативной • Необходимо правильно определить область исследования Порог цен RTB биржи Выручка
- 9. Дизайн эксперимента: выбор точек • Необходимо обеспечить наименьшую ошибку коэффициентов при параметрах модели • Получить информацию об исследуемой области • Провести исследование в малом количестве точек Порог цен RTB биржи Ставка рекламной сети Для определения оптимального набор экспериментальных точек мы использовали алгоритм Фёдорова Реализован в R в пакете AlgDesign Федоров В.В. (1971) Теория оптимального эксперимента
- 10. Выбор параметров моделирования • Случайная ошибка Порог цен RTB биржи Выручка • Систематическая ошибка
- 11. Информационные критерии: • Критерий Акаике – AIC • Критерий Шварца – BIC Выбор параметров моделирования Количество параметров модели Точность модели Порог цен RTB биржи Выручка
- 12. Одинаковый учёт метрик • Различные источники статистки могут применять различные методы при подсчёте одних и тех метрик • Необходимо обеспечить единообразие метода учёта • Лучше использовать инструменты с понятным поведением - Yandex RTB - Google Double click for publishers
- 13. Необходимо учитывать потери Площадка Рекламная сеть $ Отправлено показов 100K Продано 10K Получено 100K Отправлено 90K Получено обратно 90K 100 руб. 𝐶𝑃𝑀 = 100 ∗ 1000 100 000 − 90 000 = 𝟏𝟎 р CPM – доход на 1000 показов
- 14. Необходимо учитывать потери Площадка Рекламная сеть $ Отправлено показов 100K Потеряно 5К Продано 10K Получено 95K Отправлено 85K Потеряно 4К Получено обратно 81K 100 руб. 𝑒𝐶𝑃𝑀 = 100 ∗ 1000 95 000 − 85 000 = 𝟏𝟎р 𝑟𝐶𝑃𝑀 = 100 ∗ 1000 100 000 − 81 000 = 𝟓. 𝟑р
- 15. При внедрении результатов необходима верификация Доходность источника спроса зависит от объёма трафика CPMCPM Спрос на показы Маленький объём Большой объём Высокий средний CPM Низкий средний CPM Спрос на показы
- 16. Размер экспериментальной группы влияет на результат 0% 1% 2% 3% 4% 5% 6% 7% 8% 9% 10% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% размер экспериментальной группы прирост выручки
- 17. Результаты +6% дохода c оптимизируемых позиций avito.ru после 2 циклов оптимизации +8% дохода с оптимизируемых позиций m.avito.ru после 1 цикла оптимизации
- 18. Благодарю за внимание! Праслов Алексей apraslov@avito.ru alecs812
Editor's Notes
- Обычно когда мы говорим об АБ тестировании мы подрузамеваем, что у нас есть вариант А и вариант Б и нам необходимо их сравнить и выбрать лучший. В своём докладе я бы хотел затронуть тот случай когда нам необходимо протестировать множество различных вариантов. Но так получается, что все их проверить либо затратно с точки зрения упущенной прибыли, либо долго. К тому же при тестировании на больщом количестве вариантов мы подвержены появлению выбросов. По которым мы можем сделать не самые оптимальные выводы. т своём докладе я вам расскажу, как на практике мы решаем такую задачу на примере продаж рекламы на Avito.
- Сначала я опишу проблему и подход к её рещению. Далее расскажу про то как организовывать эксперимент и каncк интерпретировать результаты. И на что сомтреть при их внедрении.
- В своей практике мы столкнулись со следующей задачей: Авито достаточно крупный интернет ресурс и мы потенциально можем продававть до 1 миллиарда показов рекламы ежедневно. И у нас есть задача максимально эффективно монетезировать весь наш траффик. Одним каналом продажи рекламы это обеспечить невозможно. Возникает вопрос: как распределять траффик между всеми источниками спроса. Часть трафика мы продаём RTB-биржам, часть трафика рекламным сетям, а часть трафика путём прямых продаж. И так получается, что по некоторым покупателям мы заранее знаем цену, которую они платят за каждый конкретный показ, а некоторым нам этого не сообщают. Мы только в среднем знаем сколько они заплатили за определённое количество показов. А систему для показа мы выбираем в рамках аукциона. Для аукциона ставка это важный фактор. Мы хотим показывать рекламные сети, но получается чтобы их встроить в аукцион, нужно какую то ставку выставить и чтобы при этомт схема была максимально прибыльной.= Также возникает вопрос, какой порог цен поставить RTB биржам.
- Мы предлагаем использовать следующий подход. Изначально определяем то, какие параметры будем оптимизировать. Это могут быть ставка сетей в нашем аукционе, порог цен для RTB бирж. У нас появляется векторное множество различных параметров. Одной точкой в этом множестве являются ставки, пороги цен систем. Потом мы разным группам пользователей показываем разные вариант настроек этих систем.
- И тут следует обратить внимание, что мы одновременно проводим эксперимент между разными группами пользвателей. В результате у нас есть данные по прибыльности каждого варианта настроек. И мы строем модель зависимости выручки, от ставок, порогов цен.
- Во первых, даже если мы проведём эксперимент во всех точках, то у нас появится большая вероятность что в некоторых точках будут выббросы. Модель учитывает информацию из всех точек и поэтому менее чувствительна к выбросам в отдельных из них. Во вторых мы хотим провести эксперимент в как можно меньших точках. Потму что каждая точка это дополнительное время или недополученная прибыль. И в третьих мы получаем понимание о том, как устроен наш аукцион. Что в последствии даёт возможность проводить более оптимальные и экономные эксперименты.
- Хорошо. Мы хотим начать исследовать и получить модель зависимотсти нашей метрики от параметров. Как нам начать планировать. В какой области параметров проводить эксперимент. Первое на чём мы можем потерять время, это не там начать исследовать. Мы можем получить только часть информации и построить на ней неверную модель. Модел, которую мы бы построили по таким точкам, рекомендовала подымать порог цен RTB биржи выше и выше. Он всё равно будет и дальше выкупать. Но эта модель скрывала тот факт что с какого то порога цен RTB биржа уже не так хорошо выкупает. Тут я могу посоветовать заранее по отдельным параметрам проводить оценочные небольшие эксперимнеты, возможно в последствии сэкономит время.
- Хорошо, с границами эксперимента мы разобрались. А вот какие точки в рамках этих границ брать. Для начала необходимо понимать в каких областях данная модель работает. Например, у нас заранее было знание, что рекламная сеть выкупает траффик дешевле чем RTB биржа. Поэтому мы исключаем точки, где ставка сети выше порога цен RTB биржи. Далее из этого множества нам необходимо выбрать точки, которые потенциально обеспечат нам меньшую ошибку при коэфициентах. Существует целое направление, которое исследует как производить дизайн эксперимента. Для своих экспериментов мы использовали алгоритм Фёдорова, реализованный в R в пакете AlgDesign. Он хорошо описан в книге Фёдорова Теория оптимаьлного эксперимента. Данный подход снижает риск выбрать неудачный дизайн.
- Провели эксперимент, получили точки - надо строить модель. Следует помнить о двух видах ошибки: случайные и систематические. Случайные ошибки - это свойство данных. Систематическая ошибка - это ошибка метода, скажем так. Например мы можем взять слишком простую модель. При моделировании с этой ошибкой мы можем работать и снижать её.
- Сразу возникает вопрос, а какого вида модель будет, какие признаки использовать. И тут есть две крайности: - либо модель будет у вас простой, но ничего нового она вам не скажет - либо вы используете много признаков и модель у вас получится сложной и переобучится. И в итоге она вам тоже ничего нового не скажет. Как некоторая характеристика качества модели предлагается использование информационных критериев. В частности критерий Акаике или критерий Шварца. Чем они ниже, тем качественней модель. Они как бы уравновешивают склонность модели к переобучению и точность модели.
- Хотел бы обратить ваш внимание на такую тему, как верификация результатов. В нашем случае сложилась такая ситуация, что спрос на рекламу с увеличением цены падает, как и везде. Есть небольшое количество рекламодателей, которые готовы трафик на Авито покупать за дорого, и чем ниже цена, тем таких желающих появляется больше. Поэтому когда мы экспериментируем на малом количестве трафика, рекламная сеть может купить его за дорого, дорогих рекламодателей хватает у неё. И модель может подумать, что надо весь трафик туда направлять, ведь эта рекламная сеть дорого покупает. А когда мы размер групп увеличиваем и рекламная сеть уже не готова выкупать столько трафика по такой же дорогой цене т.к. то в ней дорогие рекламодатели уже все необходимые показы рекламы себе получили и больше им не надо.
- По окончании одного эксперимента мы проверили как это явление влияет на результат эксперимента. Получили следующую картину. Поэтому важно понимать природу системы, над которой вы проводите эксперименты. А то 1% всё может быть великолепно, а вот уже на 50% всё плохо. Надо за этим следить.