2 search

472 views

Published on

Выступление Федора Романенко на открытии проекта Я.Студент в ВШЭ
Поиск в ответе за всё

Published in: Education
  • Be the first to comment

  • Be the first to like this

2 search

  1. 1. Поиск в ответе за всё Федор Романенко Качество поиска Яндекса, ведущий менеджер-эксперт
  2. 2. Поиск – главные компоненты
  3. 3. Поиск - робот Скачать и обработать интернет • • • • • 4 10 млрд. страниц 2000 серверов для кеша 10 петабайт 5 млрд. скачивается ежедневно 50 алгоритмов обхода
  4. 4. Поиск - BigData Собрать все данные и многократно обработать • • • • • 5 все логи (только поиск > 200 млн. хитов в день) 2000 серверов 20 петабайт 500 задач одновременно 1000 факторов ранжирования
  5. 5. Поиск - онлайн Каждый запрос ищем по всему интернету • • • • • • • 6 7 дата-центров 20000 серверов 5000 серверов обрабатывает запрос 50мс на поиск по 10 млрд. 10 тыс. деревьев на 1000 факторах для 1 док. 200 млн. запросов в день 2K RPS
  6. 6. Поиск - вертикали Лучше понимаем мир через моделирование • • • • 20 вертикалей отдельные сервисы: Яндекс.Видео, Яндекс.Картинки, ... моделирование реальности: объекты, а не страницы типы объектов: видео-клипы, картинки с копиями, товары, предложения • майним и агрегируем информацию по объектам 7
  7. 7. Качество Возникает, когда есть, из чего выбирать
  8. 8. Поиск - качество Выбираем единицы из миллионов • • • • [яндекс] - 20 млн. ответов, нужно выбирать лингвистика – 20 языков 10 млн. ручных оценок машинное обучение: 10 тыс. деревьев на 1000 факторах • 20 формул • 100 классификаторов • построение выдачи из вертикалей и колдунщиков 9
  9. 9. Поиск - работа над качеством Нет одного алгоритма поиска, есть сотни маленьких • • • • • • 10 определяем продуктовые требования выбираем метрику, чтобы измерить и сравнить повышаем за счет новых сигналов и других приемов метрика, по которой все хорошо, - плохая метрика различных качеств и метрик очень много проверяем на пользователях: AB-тестинг, TDI
  10. 10. Главное окошко рунета ???
  11. 11. 200 миллионов в день [вконтакте] [фермионная струна] [почему я такая умная, а живу как дура] [продажа заводов по производству несъемной опалубки] [зачем люди объединяются в группы, что группа дает человеку] [анджелина джоли] [ошибка 3004 в itunes при обновлении ios 7, что делать] [……..]
  12. 12. Единый ответ Люди начинают решать ВСЕ задачи через поиск
  13. 13. Единый ответ Мы можем • Найти информацию в интернете Но также и • Ответить фактом • Показать видео, дать послушать музыку • Задать уточняющий вопрос • Проводить на вертикальный сервис • Подобрать бизнес • Начать процесс взаимодействия (Острова) Ограничений нет! 14
  14. 14. • В поисковом окне люди формулируют все свои потребности • Граница между поисковыми и информационными сервисами условна • Поиск – это гигантский искусственный супермозг, который должен помочь всем • Сервис, который к нему не подключен, не сможет помочь многим 15
  15. 15. Ценности Яндекс нужен, только пока создает уникальные ценности для людей: помогает в онлайне или оффлайне
  16. 16. Нужно использовать сильные стороны • Top 5: Google, Baidu, Yahoo, Яндекс, Bing • Dream-team из 5000 человек • Очень много данных • Big Data, технологии анализа • Умеем создавать информационные продукты • Известность и очень много денег • 50 млн пользователей на старте 17
  17. 17. Ценности: случаи из жизни • Поиск с русской морфологией • Почта без спама • экосистема Маркета • Директ для бизнеса • Пробки по трекам • …. 18
  18. 18. Онлайн и оффлайн
  19. 19. Онлайн – Яндекс.Новости Можно почитать Новости на главные темы в основных изданиях 20
  20. 20. Оффлайн – Яндекс.Такси Теперь можно вызвать Такси, которое приедет через 10 мин 21
  21. 21. Сервис будущего? Придумаем за 10 минут
  22. 22. Яндекс.Пассажир - сделаем • Блок с GPS+GSM в автобусах • Мосгортранс: данные о маршрутах и турникетах • Оцифруем использованные билеты из урн • Наложим треки людей на граф города • Машиннообучим оценку времени проезда 23
  23. 23. Яндекс.Пассажир - результат Пользователям • Построение маршрутов Городу • Поможем ГИБДД настроить светофоры • Мосгортрансу оптимизировать маршруты Бизнесу • Перегруженные линии для частников Монетизация • Реклама в автобусах с учетом загрузки 24
  24. 24. Роли и скиллы Свою роль ты выбираешь сам!
  25. 25. Роли в супер-команде (1/2) • Разработчик ядра отличный C++, оптимизация, сети, процессоры • Разработчик качества С++, матстатистика, машинное обучение, анализ данных, математическая культура • Разработчик-тимлид отличный разработчик, самостоятельное решение задач, работа с людьми • Лингвист лингвистика, языки, программирование, дата майнинг 26
  26. 26. Роли в супер-команде (2/2) • Аналитик базовое программирование, знание жизни, матстатистика • Продуктовый менеджер знание людей, жизни и отрасли, интуиция, здравый смысл, грамотность • Проджект-менеджер достижение целей, работа с людьми, способность учиться • Руководитель сервиса всё вышеперечисленное, структурное мышление, ответственность за результат 27
  27. 27. Теперь твоя очередь!
  28. 28. Федор Романенко Ведущий менеджер-эксперт качества поиска +7-903-6841530 fedor57@yandex.ru Спасибо!

×