Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

как математика позволяет зарабатывать деньги

  • Login to see the comments

как математика позволяет зарабатывать деньги

  1. 1. Реклама на поиске Михаил Левин Заместитель руководителя разработки рекламной системы Яндекса
  2. 2. Реклама над результатами поиска 2
  3. 3. Справа 3
  4. 4. И под результатами поиска 4
  5. 5. За что нам платят рекламодатели? •  Показы? CPM (Cost-per-mille) •  Конверсии? CPA (Cost-per-action) •  Клики! PPC (Pay-per-click) Показы 5 Клики Конверсии
  6. 6. Как отбирать рекламу? •  В соответствии с запросом пользователя •  Пример: «пластиковые окна в ростове» •  Ключевые фразы –  окна –  пластиковое окно –  пластиковые окна –ростов –  окна –пластиковые –  деревянные окна •  Формируем список кандидатов 6
  7. 7. Что лучше показать? •  Одно рекламное место •  Объявление №1: 1000 показов, 100 кликов •  Объявление №2: 500 показов, 100 кликов •  Объявление №3: 10000 показов, 300 кликов •  Вероятности клика: 10%, 20%, 3% 7
  8. 8. Как отбирать рекламу? •  В соответствии с запросом пользователя •  Пример: «пластиковые окна в ростове» •  Ключевые фразы –  окна –  пластиковое окно –  пластиковые окна –ростов –  окна –пластиковые –  деревянные окна •  Формируем список кандидатов •  Ставки! 8
  9. 9. Что лучше показать? •  Одно рекламное место •  №1: 1000 показов, 100 кликов –  Ставка $0.3 •  №2: 500 показов, 100 кликов –  Ставка $0.1 •  №3: 10000 показов, 300 кликов –  Ставка $2 •  Вероятности клика: 10%, 20%, 3% •  CPM = денег с 1000 показов: $30, $20, $60 9
  10. 10. Сколько списать? •  Аукцион: кто больше? •  Аукцион 1-й цены: плати свою ставку •  Плохо: все «врут», постоянная торговля •  Аукцион 2-й цены: плати ставку следующего •  Выгодно «говорить правду» 10
  11. 11. Аукцион второй цены •  Ценность клика v (value-per-click) •  Ставка b, наибольшая из остальных b’ •  Цена клика c < b •  Вероятность клика p •  Прибыль с одного показа s = p(v – c) •  Выгодно ставить b = v! •  b < v - невыгодно –  b’ > v → p = 0, s = 0 в любом случае –  b’ < b → с = b’, s = p(v – c) и при b = v –  b < b’ < v → s = 0, но при b = v было бы s = p(v – b’) •  Аналогично, b > v - невыгодно 11
  12. 12. Обобщенный аукцион второй цены •  Что если рекламных мест несколько? •  Чем выше, тем больше кликов •  Списываемая цена = минимальная ставка, при которой остаемся на той же позиции 12
  13. 13. Поисковая реклама •  Мировой рынок $25 000 000 000 в 2013 •  Выручка Яндекса в 2013 > $1 000 000 000 •  Типичное улучшение на 2% - $20M в год 13
  14. 14. Что используется •  Теория игр, теория аукционов •  Машинное обучение •  Моделирование, симуляции •  Эксперименты на пользователях •  Статистика, эконометрика •  Распределенные вычисления •  Big Data – MapReduce и др. 14
  15. 15. Вероятность клика или CTR •  CTR (click-through rate) ≔ P(click) = ? •  P(click) = Clicks / Shows •  Зависит от запроса Q •  P(click) = Clicks(Q, Ad) / Shows(Q, Ad) •  Слишком много уникальных запросов L •  Фраза P – почти то же, что запрос Q •  Фраз ограниченное число •  P(click) = Clicks(P, Ad) / Shows(P, Ad) 15
  16. 16. «Жирные» слова в заголовке 16
  17. 17. Вероятность клика •  P(click) = Clicks(P, Ad) / Shows(P, Ad) •  За какой период брать статистику? •  А если запрос все-таки влияет? –  Ключевая фраза iphone, продают последнюю модель –  iphone 3GS, iphone 5, iphone 6, iphone наушники – разный CTR •  Объявление отвечает на запрос? •  Есть доставка в регион пользователя? •  Смотрит с компьютера или с телефона? 17
  18. 18. Вероятность клика •  Как использовать всю информацию? •  Сотни миллионов строк логов •  В каждой строке сотни признаков •  Машинное обучение Clicks   Region   Text  Relevance   …   Click?   P(click)   10   100   Москва   0.586   …   0   0.11   1   200   Ростов   0.253   …   0   0.003   …   …   …   …   …   …   …   0   18 Shows   1   СПб   0.85   1   0.12  
  19. 19. Релевантность •  Оценки асессоров •  Общие слова запроса и объявления •  Статистика по объявлению, домену •  Можно убрать 20% лишних показов и не потерять кликов! 19
  20. 20. Позиционный эффект •  Пользователи читают сверху вниз •  Первая позиция гораздо лучше второй •  Прогнозируем CTR по статистике •  Завышаем прогноз объявлению с 1-й позиции •  Можем вообще не показать лучшее объявление! 20
  21. 21. Позиционный эффект: пример •  Две рекламных позиции •  Первая позиция на 30% более кликабельна •  CPM1=$10, всегда на 1-й позиции •  CPM2=$9, 50% на 1-й, 50% на второй •  CPM3=$8, всегда на 2-й позиции •  3-е объявление лучше всех: –  CPM1(Pos1) = CPM1 = $10 –  CPM2(Pos1) = 0.5 * CPM2 + 0.5 * CPM2 * 1.3 = $10.35 –  CPM3(Pos1) = CPM2 * 1.3 = $10.4 •  Но оно не покажется L 21
  22. 22. Позиционный эффект: лечим •  Разные веса событиям в «обучающем логе» •  Клик на второй позиции важнее •  Раздельная статистика по позициям •  «Многорукий бандит» •  Модели поведения пользователя 22
  23. 23. Как узнать, стало ли лучше? •  Две формулы: старая и новая •  Берем запросы из прошлого •  Берем всю базу с объявлениями •  Симулируем аукцион с обеими формулами •  Смотрим, где больше кликов, денег •  Откуда взять клики? •  Генерируем клики новой формулой 23
  24. 24. Как на деле узнать, стало ли лучше? •  Запустим и посмотрим на клики, деньги •  А что если погода плохая? •  Эксперимент: на 2% пользователей новая формулу, на остальном - старая •  Сравним клики, деньги в среднем на 1% пользователей •  Как долго ждать? •  Оценим статистическую значимость •  A/B-тестирование 24
  25. 25. Поможем рекламодателям •  Не до всех фраз можно догадаться •  Но мы-то все знаем! •  Найдем похожие фразы у других и добавим •  Сейчас все ищут фразы под запросы •  А у нас найдется все •  Проиндексируем объявления •  Найдем все, релевантные запросу 25
  26. 26. Вопросы? 26
  27. 27. Михаил Левин Зам. руководителя разработки рекламной системы Яндекса mlevin@yandex-team.ru Спасибо

×