Александр Коваленко "Оценка черной магии" Первый Я.Субботник в Санкт-Петербурге О докладе: Сервисы Яндекса работают с огромными объемами данных, для обработки которых используются различные алгоритмы. Но объемы информации растут, ее содержимое меняется, а сами алгоритмы постоянно улучшаются. Поэтому очень важно постоянно контролировать качество их работы. В докладе речь пойдет об одном из наших инструментов оценки качества сложных алгоритмов.

1. Оценка черной магии
Александр Коваленко
Руководитель группы
Я.Субботник, Санкт-Петербург,
26 февраля 2011 года

2. Оглавление
● Задача оценки
● Прототип
● Универсальная система
● Эпилог
2

3. Задача оценки
3

4. 4

5. Поиск по 17 150 160
предложениям от 5 536
магазинов
Поиск по 930 160
объявлениям с 324 сайтов
Поиск по 623 265
объявлениям c 62 сайтов
Поиск по 2 544 067 279
картинкам и фотографиям
5

6. Белая магия
public String left(String str, int len) {
if (str == null) {
return null;
}
if (len < 0) {
return EMPTY;
}
if (str.length() <= len) {
return str;
}
return str.substring(0, len);
}
6

7. Черная магия
Было: Санкт-Петербург, Московский пр., 182а
Стало: индекс: 196105
страна: Россия
регион: Санкт-Петербург
город: Санкт-Петербург
улица: Московский проспект
дом: 182
литер: А
7

8. 8

9. Пример: до улучшения
Название: Ресторан Черемша
Адрес: Санкт-Петербург, поселок Солнечное, 2-я
Боровая ул., 16, ...
Название: Солнечное небо
Адрес: Москва, улица Земляной Вал, ...
9

10. Пример: после улучшения
Название: Ресторан Черемша
Адрес: Санкт-Петербург, поселок Солнечное, ...
Название: Солнечное небо
Адрес: Москва, поселок Солнечное, Земляной
Вал, ...
10

11. 11

12. Но если...
12

13. Прототип
13

14. 14

15. 15

16. Что хотели
Простой
инструмент для
оценки одного
из алгоритмов
16

17. Что получилось
Полноценная
система оценки
различных
алгоритмов
17

18. Системы оценки нужны!
18

19. Универсальная
система
19

21. Сервис 1
Сервис 2
Сервис 3
Сервис 5
Сервис 4
21

22. Сервис 1
Сервис 2
Сервис 3
Сервис 5
Сервис 4
22

23. Сервис 1
Сервис 2
Сервис 3
Сервис 5
Сервис 4
23

24. Сервис 3
Сервис 1
Сервис 2
Система
оценки
Сервис 5
Сервис 4
24

25. Сервис 3
Сервис 1
Сервис 2
Система
оценки
Сервис 5
Сервис 4
25

26. Универсальность по типам
алгоритмов
Выделим наиболее общие классы алгоритмов:
● Унификация
● Кластеризация
● Классификация
● Экстракция
● ...
26

27. Унификация
страна: Россия
город: Спб
улица: Московский пр-т.
дом: д.182
литер: а
страна: Россия
город: Санкт-Петербург
улица: Московский проспект
дом: 182
литер: А
27

28. Кластеризация
28

29. Что нужно для оценки?
29

30. Данные для опытов
30

31. Эталон
31

32. Инструменты
32

33. Как это работает?
33

34. Запускаем алгоритм
Алгоритм
34

35. Сравниваем с эталоном
35

36. Показываем результаты
36

37. Алгоритм
37

39. Немного подробностей
39

40. Данные
Корпус
40

41. Данные
Сущность
индекс: 196105
страна: Россия
регион: Санкт-Петербург
город: Санкт-Петербург
улица: Московский проспект
дом: 182
литер: А
41

42. Данные
Эталон
Проблема: где взять?
Варианты:
— «Псевдоэталон»
— Использовать готовый («а вдруг завалялся?..»)
— Взять и сделать
42

43. Данные
Результат
43

44. Метрики
Унификация
Комплексные:
— Полнота по сущностям
— Точность
Единичные:
— Полнота по атрибутам
— Корректность значений
44

45. Статистика
Алгоритм 1
Алгоритм 2
Алгоритм 3
...
45

46. Цифры
46

47. Цифры
47

48. Цифры
48

49. Графики
49

50. Эпилог
50

51. Сервис 1
Сервис 2
Сервис 3
Сервис 5
Сервис 4
VS
Сервис 3
Сервис 1
Сервис 2
Система
оценки
Сервис 5
Сервис 4
51

52. Вопросы
52

53. Александр Коваленко
Руководитель группы
195027, Россия, Санкт-Петербург,
Свердловская набережная, д. 44
alex-kovalenko@yandex-team.ru