Выступление Александра было посвящено решению актуальных проблем в сфере взлома аккаунтов различных сетевых сервисов

1. Детектирование взломов
почтовых аккаунтов
Mail.Ru Group Antispam Team

2. • Поиск ценной информации
• Рассылка спама
• Получение доступа к аккаунтам из списка контактов
• Мошенничество от лица владельца аккаунта
Для чего взламывают аккаунты?

3. Как взламывают аккаунты?
• Брутфорс паролей
• Крадут базы паролей внешних сервисов
• Фишинг
• Вирусы и уязвимости

4. Как распознать взломщика?

5. Как описать поведение?
• Действия пользователя на проекте
• Устройства
• Гео-признаки
• Переходы в смежные сервисы
• Печатный почерк
• Движения мышкой

6. Как описать поведение?
• Действия пользователя на проекте
• Устройства
• Гео-признаки
• Переходы в смежные сервисы
• Печатный почерк
• Движения мышкой

7. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
Лог действий
1. check
2. read
3. send
Уникальные действия
1. check
2.
3.
4.
5.
6.
7.
Возможные паттерны
Алгоритм построения профиля
Метод поиска ассоциативных правил

8. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
Лог действий
1. check
2. read
3. send
Уникальные действия
1. check
2. read
3.
4.
5.
6.
7.
Возможные паттерны
Алгоритм построения профиля

9. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
Лог действий
1. check
2. read
3. send
Уникальные действия
1. check
2. read
3. send
4.
5.
6.
7.
Возможные паттерны
Алгоритм построения профиля

10. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
Лог действий
1. check
2. read
3. send
Уникальные действия
1. check
2. read
3. send
4. check, read
5.
6.
7.
Возможные паттерны
Алгоритм построения профиля

11. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
Лог действий
1. check
2. read
3. send
Уникальные действия
1. check
2. read
3. send
4. check, read
5. check, send
6.
7.
Возможные паттерны
Алгоритм построения профиля

12. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
Лог действий
1. check
2. read
3. send
Уникальные действия
1. check
2. read
3. send
4. check, read
5. check, send
6. read, send
7.
Возможные паттерны
Алгоритм построения профиля

13. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
Лог действий
1. check
2. read
3. send
Уникальные действия
1. check
2. read
3. send
4. check, read
5. check, send
6. read, send
7. check, read, send
Возможные паттерны
Алгоритм построения профиля

14. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
Лог действий
1. check
2. read
3. send
Уникальные действия
1. check
2. read
3. send
4. check, read
5. check, send
6. read, send
7. check, read, send
Возможные паттерны
Алгоритм построения профиля

15. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
1. read, check, check
2.
3.
4.
5.
6.
7.
8.
9.
10.
Лог действий Транзакции
Алгоритм построения профиля
Сэмплирование
по гамма-распределению

16. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
1. read, check, check
2. send, send, check
3.
4.
5.
6.
7.
8.
9.
10.
Лог действий
Сэмплирование
по гамма-распределению
Транзакции
Алгоритм построения профиля

17. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
1. read, check, check
2. send, send, check
3. send, check
4.
5.
6.
7.
8.
9.
10.
Лог действий Транзакции
Алгоритм построения профиля
Сэмплирование
по гамма-распределению

18. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5.
6.
7.
8.
9.
10.
Лог действий Транзакции
Алгоритм построения профиля
Сэмплирование
по гамма-распределению

19. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5. send, send
6.
7.
8.
9.
10.
Лог действий Транзакции
Алгоритм построения профиля
Сэмплирование
по гамма-распределению

20. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5. send, send
6. check, read, read
7.
8.
9.
10.
Лог действий Транзакции
Алгоритм построения профиля
Сэмплирование
по гамма-распределению

21. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5. send, send
6. check, read, read
7. check, send, send, send
8.
9.
10.
Лог действий Транзакции
Алгоритм построения профиля
Сэмплирование
по гамма-распределению

22. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5. send, send
6. check, read, read
7. check, send, send, send
8. read, check
9.
10.
Лог действий Транзакции
Алгоритм построения профиля
Сэмплирование
по гамма-распределению

23. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5. send, send
6. check, read, read
7. check, send, send, send
8. read, check
9. send, check, check
10.
Лог действий Транзакции
Алгоритм построения профиля
Сэмплирование
по гамма-распределению

24. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5. send, send
6. check, read, read
7. check, send, send, send
8. read, check
9. send, check, check
10. send, send, check
Лог действий Транзакции
Алгоритм построения профиля
Сэмплирование
по гамма-распределению

25. 1. check
2. read
3. read
4. check
5. check
6. send
7. send
8. send
9. check
10. check
1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5. send, send
6. check, read, read
7. check, send, send, send
8. read, check
9. send, check, check
10. send, send, check
Лог действий Транзакции
Алгоритм построения профиля
Сэмплирование
по гамма-распределению

26. 4. check, read
Пример паттерна
1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5. send, send
6. check, read, read
7. check, send, send, send
8. read, check
9. send, check, check
10. send, send, check
Транзакции
4. check, read ~ 0.4
Алгоритм построения профиля

27. 4. check, read
Пример паттерна
1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5. send, send
6. check, read, read
7. check, send, send, send
8. read, check
9. send, check, check
10. send, send, check
Транзакции
4. check, read ~ 0.4
Алгоритм построения профиля
s_level(p)= ti : p Î ti, ti Î T, i =1,m{ } / T , p Î Pc
p
T

28. 1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5. send, send
6. check, read, read
7. check, send, send, send
8. read, check
9. send, check, check
10. send, send, check
Транзакции
1. check
2. read
3. send
4. check, read
5. check, send
6. read, send
7. check, read, send
Возможные паттерны
1. check ~ 0.9
2. read ~ 0.4
3. send ~ 0.7
4. check, read ~ 0.4
5. check, send ~ 0.7
6. read, send ~ 0.1
7. check, read, send ~ 0.1
Уровень опоры
Алгоритм построения профиля

29. 1. check ~ 0.9
2. read ~ 0.4
3. send ~ 0.7
4. check, read ~ 0.4
5. check, send ~ 0.7
6. read, send ~ 0.1
7. check, read, send ~ 0.1
Уровень опоры
Алгоритм построения профиля
1. check ~ 0.9
2. send ~ 0.7
3. check, send ~ 0.7
Профиль

30. 1. check ~ 0.9
2. read ~ 0.4
3. send ~ 0.7
4. check, read ~ 0.4
5. check, send ~ 0.7
6. read, send ~ 0.1
7. check, read, send ~ 0.1
Уровень опоры
Алгоритм построения профиля
1. check ~ 0.9
2. send ~ 0.7
3. check, send ~ 0.7
Профиль
P = p Î Pc : s_level(p)³ min_s_level{ }
P

31. 1. check ~ 0.9
2. send ~ 0.7
3. check, send ~ 0.7
Профиль
search, search, send
Тестируемая транзакция
susp_score(t)=1-(OF(t)+LOF(t))/ 2 = 0.6335
Сравнение действий с профилем
OF(t) =
s_level(p)
pÎP, pÍt
å
P
=
0.7
3
= 0.233 LOF(t) =
maxpÎP,pÍt p
t
=
1
2

32. 1. read, check, check
2. send, send, check
3. send, check
4. read, check, check, send
5. send, send
6. check, read, read
7. check, send, send, send
8. read, check
9. send, check, check
10. send, send, check
Транзакции
1. 0.6
2. 0.12
3. 0.12
4. 0.28
5. 0.38
6. 0.6
7. 0.12
8. 0.6
9. 0.12
10. 0.12
Suspicious Scores
Сравнение действий с профилем

33. 1. check ~ 0.9
2. send ~ 0.7
3. check, send ~ 0.7
Профиль
search, search, send
Тестируемая транзакция
susp_score(t)=1-(OF(t)+LOF(t))/ 2 = 0.6335
Сравнение действий с профилем
OF(t) =
s_level(p)
pÎP, pÍt
å
P
=
0.7
3
= 0.233 LOF(t) =
maxpÎP,pÍt p
t
=
1
2

34. 1. check ~ 0.9
2. send ~ 0.7
3. check, send ~ 0.7
Профиль
search, search, send
Тестируемая транзакция
susp_score(t)=1-(OF(t)+LOF(t))/ 2 = 0.6335³ 0.6
Сравнение действий с профилем
OF(t) =
s_level(p)
pÎP, pÍt
å
P
=
0.7
3
= 0.233 LOF(t) =
maxpÎP,pÍt p
t
=
1
2
Транзакция подозрительна, так как превышено пороговое значение 0.6.

35. Детектирование взлома

36. Реализация
Profile
Builder
Actions
Analyzer
Actions Log Profile Storage
DBHDFS
“взломан”/
“не взломан”
HDFS
Pig Latin + Python
Pig Latin + Python

37. Оценка fpr на бою

38. Результаты
• Месячная активная аудитория: 77.1 млн. аккаунтов
• Корреляция количества блокировок с количеством взломов
• Количество блокировок в сутки: top secret
• FPR: 0.2%
• Инструмент для расследования взломов и спам-атак