Доклад на внутреннем семинаре по Data Mining. Автор - Ксения Томских (Bitworks Software)

1. Data Mining.
Анализ рыночной
корзины.
Поиск ассоциативных
правил.

2. Data Mining
• Data mining – «Копать данные»
• Data mining — совокупность
методов обнаружения в данных
ранее неизвестных,
нетривиальных, практически
полезных и доступных
интерпретации знаний,
необходимых для принятия
решений в различных сферах
человеческой деятельности.

3. Методы Data Mining
Задачи Data Mining:
• Классификация;
• Моделирование;
• Прогнозирование.
Основа методов:
• Деревья решений;
• Нейронные сети;
• Генетические алгоритмы.

4. Задачи Data Mining
Постановка задачи: извлечь
«скрытые данные» из достаточно
крупной базы данных.
Скрытые знания — ранее
неизвестные, нетривиальные,
практически полезные и доступные
для интерпретации данные, как уже
было сказано ранее.

5. Знания Data Mining
Знания представлены в виде:
• Ассоциативных правил;
• Деревьев решений;
• Кластеров;
• Математических функций.

6. Задачи Data Mining
Задачи
Data
Mining
Описательные
(descriptive)
Предсказательные
(predictive)

7. Этапы решения задач методами
Data Mining

8. Задача поиска ассоциативных
правил
• Задача: реализация
рекомендательной системы по
подбору сочетаний продуктов к
введенному пользователем списку.
Основа решения: набор кулинарных
рецептов и то, как продукты
сочетаются между собой в этих
рецептах.

9. Ассоциативные правила
Вид правила:
• «если… то…»
• «Если клиент купил пиво, то он
купит и чипсы».
Ассоциативное правило – форма
представления знаний.
Используются в задаче «Анализ
рыночной корзины».

10. Анализ рыночной корзины (Market
Basket Analysis)
• Рыночная корзина – набор товаров, приобретаемых
покупателем в рамках одной транзакции.
• Транзакция – множество событий, которые произошли
одновременно.
• Транзакционная база данных (Transaction database) –
двумерная таблица, состоящая из номера транзакции и
перечня покупок.

11. Анализ рыночной корзины (Market
Basket Analysis)
• I — набор продуктов {i1, i2, …, ik};
• j — продукт;
• Support — количество наборов,
содержащих элементы из I;
• Минимальная поддержка;
l
Support{Beer, Bread} = 2

12. Анализ рыночной корзины (Market
Basket Analysis)
● Ассоциативное правило: I={i1
, i2
, …, ik
} → j
— если набор содержит элементы из I, то
она содержит и j.
●
Confidence — уверенность рекомендации
набора I → j.

13. Пример
●
Продукты = {milk, coke, pepsi, beer, juice}
●
Минимальная поддержка = 3
B1
= {m, c, b} B2
= {m, p, j}
B3
= {m, b} B4
= {c, j}
B5
= {m, p, b} B6
= {m, c, b, j}
B7
= {c, b, j} B8
= {b, c}
●
Часто встречающиеся наборы:
{m}, {c}, {b}, {j}, {m, b}, {b, c}, {c, j}
●
Правило {m, b} → c
conf({m, b} → c) = Support{m, b, c}/Support{m, b} = 2/4

14. Алгоритмы поиска
ассоциативных правил
Frequent Itemset – часто
встречающиеся наборы элементов.
• Apriori
• Eclat
• FP-Growth
• One-attribute-rule
• Zero-attribute-rule

15. Алгоритм «Априори»
• Обычный вид базы данных транзакций

16. Алгоритм «Априори»
• Нормализованный вид базы данных
транзакций

17. Алгоритм «Априори»

18. Алгоритм «Априори»: реализация

19. Алгоритм «Априори»: реализация

20. Реализация на Spark
●
Driver — управляющий процесс;
●
Executor process — исполняющие процессы,
рассредоточенные по узлам кластера.
●
Task — задачи, выполняемые на executors.

21. 1.Нормализация входного набора данных:
2. Количество;
3. Единицы измерения;
4. Эпитеты, местоимения и прочие «лишние» слова.
Реализация на Spark

22. Проблемы Априори

Выделение памяти;

Скорость выполнения алгоритма —
увеличение времени получения
часто встречающихся наборов с
каждой следующей итерацией.

23. Пути решения
●
Кэширование;
●
Предварительная обработка
входного набора данных и
дальнейшее использование
результатов этой обработки;
●
Подбор другого алгоритма (FP-
Growth).

24. Априори (v 1.0): 35 минут
1 2 3 4 5
0
500
1000
1500
2000
2500
Априори (v 1.0)
№ итерации
сек.
1 2 3 4 5
0
100
200
300
400
500
600
Априори (v2.0)
№ итерации
сек.
Априори (v 2.0): 9 минут
10 секунд

25. ●
Apache Spark MlLib 1.5.0;
●
Отсутствует генерация кандидатов;
●
Основа — Frequent-Pattern Tree
(дерево популярных наборов).
●
«Разделяй и властвуй».
Алгоритм FP-Growth

26. Алгоритм FP-Growth

27. Предметы упорядочены в транзакциях по убыванию
значений их поддержек (support)
Алгоритм FP-Growth

28. Алгоритм FP-Growth

29. Алгоритм FP-Growth
Построение FP-дерева для
транзакции (c, b, d, e, a)
Построение FP-дерева для
транзакции (c, b, a)

30. Алгоритм FP-Growth
Построение FP-дерева для транзакции (c, d, e, a)

31. Алгоритм FP-Growth

32. Результаты
1 2 3 4 5
0
500
1000
1500
2000
2500
Априори (v1.0)
Априори (v2.0)
№ итерации
сек.
1 2
0
500
1000
1500
2000
2500
Априори (v1.0)
Априори (v2.0)
FP-Growth
№ итерации
сек.

33. FP-Growth vs. A-priori

34. Примеры
Входные параметры Результат
Набор = {salt, sugar, flour}
Добавить = 2 продукта
Вывести = 5 результатов
egg, flour, powder, salt, sugar 204
butter, egg, flour, salt, sugar 198
egg, flour, salt, soda, sugar 190
egg, flour, salt, sugar, vanilla 171
egg, flour, salt, soda, vanilla 145
Набор = {pepper, onion}
Добавить = 2 продукта
Вывести = 5 результатов
onion, pepper, salt, water 83
butter, onion, pepper, salt 77
clove garlic, onion, pepper, salt 73
butter, flour, pepper, salt 62
egg, milk, onion, salt 60
Набор = {meat, avocado}
Добавить = 2 продукта
Вывести = 5 результатов
avocado, onion, salt, tomato 5
avocado, cheddar cheese, tomato, water 4
avocado, clove garlic, onion, salt 4
avocado, chili powder, clove garlic, salt 4
avocado, head lettuce, meat, tomatoe 1

35. Входные параметры Результат
Набор = {tomatoe, oregano}
Добавить = 2 продукта
Вывести = 5 результатов
basil, clove garlic, onion, oregano)) 46
clove garlic, onion, oregano, salt) 39
onion, oregano, pepper, salt 32
onion, pepper, salt, tomatoe 31
clove garlic, onion, salt, tomatoe 29
Набор = {ground beef, tomato sauce}
Добавить = 1 продукта
Вывести = 8 результатов
ground beef, onion, salt 129
ground beef, pepper, salt 73
onion, salt, tomato sauce 69
egg, ground beef, onion 62
ground beef, onion, tomato sauce 54
Набор = {avocado, tomato, oregano}
Добавить = 2 продукта
Вывести = 5 результатов
clove garlic, onion, oregano, pepper, salt 19
basil, clove garlic, onion, oregano, salt 16
basil, clove garlic, onion, oregano, tomato paste 15
clove garlic, onion, oregano, salt, tomato paste 14
basil, clove garlic, oregano, pepper flake, virgin olive oil 13
avocado, jar pimento, onion, oregano, tomato 2
avocado, chili powder, oregano, sauce, tomato 2
avocado, jar pimento, oregano, sauce, tomato 2
avocado, clove garlic, oregano, tomato, water 2
avocado, onion, oregano, tomato, water 2

36. Другие задачи
●
Поиск ассоциативных правил в
результатах опросов;
●
Медицина;
●
Анализ посещений веб-страниц;
●
Перепись населения;
●
Прогнозирование сбоев
телекоммуникационного оборудования.

37. Спасибо за внимание!