1. Машинное обучение в ранжировании поиска

2. У нас есть свой поиск!
• Веб
• Картинки
• Видео
• Новости
• Обсуждения
• Ответы
• Словари

3. Архитектура
Оценка
качества
Машинное Поисковый Фронтенды
обучение кластер
Фетчер
Индексаторы
ы
HDFS Вычислительный
Таблица документов кластер
10 миллиардов документов, один петабайт

4. Анализ запроса

5. Оценка страницы
Обязательно 4
Точный ответ 3
Полезно 2
Малополезно 1
Не по теме 0
Нельзя оценить

6. Оценка качества поиска
№ Оценка CG DCG
1 Точный ответ 3 3
2 Точный ответ 3 3
3 Полезно 2 1,26
4 Точный ответ 3 1,5
5 Полезно 2 0,86
6 Малополезно 1 0,38
7 Полезно 2 0,71
8 Малополезно 1 0,33
Итого 17 11,04

7. Общий набор оценок
Запрос Документ Оценка
специальная мышца ёжика http://digest-news.ru/833-Zachemezhikuigolki- 1
Interesniefakti.html
одноклассники http://www.odnoklassniki.ru/ 4
… … …
Извлечение факторов
tf tf*idf иц … … … … Оценка
4 12 8 4 3 7 … 1
… … … … … … … …

8. Задача ранжирования
Сотни факторов
500 300
тысяч тысяч
Обучение Проверка
Цель – максимум NDCG на проверочной выборке

9. Фильтрация оценок

10. Как получаем выдачу?
• Релевантность документа.
• Сравнение двух
Фактор-2
документов.
• Всю десятку сразу.
Если бы факторов было мало,
то можно было бы делать так:
Фактор-1

11. Многомерность
ε = 0,13
объём ε

12. Деревья решений
F3
F7 > 2
F3 > 1 F3 > 2
2 1 4 3
Есть проблема переобучения.
Нужны ограничения на размер и вид деревьев.
F7

13. Бустинг
F5 > 7 3
F7 > 1 F3 > 11 2 Результат: 3
3

14. Бэггинг
Обучающее множество: 1 2 3 4 5 6 7 8 9 10
Создаём случайные подмножества:
Подмножество #1 1 3 5 7 9 10
Подмножество #2 2 3 6 7 8 9
Подмножество #3 1 2 3 8 9 10
Каждый раз обучаемся на одном из подмножеств.

15. Что в итоге
И не только ранжирование:
• Разбиение на предложения.
• Детектор порнографии.
Поиск • Антиспам.
Машинное
Инструкция Асессоры Алгоритмы
обучение

16. СПАСИБО! ВОПРОСЫ?
Андрей Калинин
руководитель разработки поиска
kalinin@corp.mail.ru