2. На шаг впереди
Data science и машинное обучение
как будущее антифрод-систем
Конференция «AntiFraud Russia 2015», 3 декабря 2015
Владимир Михнович, фрод-аналитик компании «Яндекс.Деньги»

3. «AntiFraud Russia 2015», 3 декабря 2015
Финансовые транзакции в цифровом мире
Российские банки потеряли в 2015
году из-за карточного мошенничества
C начала 2015 года по картам Visa и
MasterCard в мире проведено
операций
рублей

4. «AntiFraud Russia 2015», 3 декабря 2015
Эквайринг в оффлайновых магазинах
покупатель магазин
МПС
банк-эмитент банк-эквайер
Запрос авторизации
Ответ эмитента
выпуск карт

5. «AntiFraud Russia 2015», 3 декабря 2015
Интернет-эквайринг
МПС банк-эквайер
Запрос авторизации
Ответ эмитента
покупатель онлайн-магазин платёжный
агрегатор
антифрод-
система
банк-эмитент
выпуск карт

6. «AntiFraud Russia 2015», 3 декабря 2015
Data Science: классы задач

7. «AntiFraud Russia 2015», 3 декабря 2015
Data Science: практика применения
• Математические и статистические методы и
алгоритмы машинного обучения
• Экспертиза в предметной области
• Конечная цель – не аналитика ради аналитики, а
извлечение прибыли из данных

8. «AntiFraud Russia 2015», 3 декабря 2015
Data Science и антифрод-системы
Data Science в области антифрода – применение
математических моделей и алгоритмов
машинного обучения для анализа и обнаружения
мошеннических транзакций и фрода (на основе
уже известных данных) и аномалий платёжного
поведения пользователей.

9. «AntiFraud Russia 2015», 3 декабря 2015
Промышленные антифрод-решения

10. «AntiFraud Russia 2015», 3 декабря 2015
Наши инструменты
Code Effects
business rules engine
(BRE)

11. «AntiFraud Russia 2015», 3 декабря 2015
Экосистема RapidMiner Studio + Server
RapidMiner Studio:
аналитика и моделирование
RapidMiner Server:
деплоймент и веб-сервисы

12. «AntiFraud Russia 2015», 3 декабря 2015
Повернёмся лицом к бизнесу
Merchant oriented antifraud: парадигма использования бизнес-специфических
данных и создание моделей под конкретный бизнес / мерчанта / категорию.
• Дата и время
платежа
• Сумма платежа
• Банк-эмитент
• Страна эмитента
• География
пользователя
• Число дней до
рейса
• Наличие детей в
билете
• Наличие страховки
• Наличие
регистрации
• Возраст игрового
аккаунта
• История его покупок
• Величина «среднего
чека» игры
• …

13. «AntiFraud Russia 2015», 3 декабря 2015
Классифицируй это
Основные используемые алгоритмы
машинного обучения (supervised):
• Логистическая регрессия
• Байесовские классификаторы
• Деревья и леса решений (random forest)
• Нейронные сети
• Выбор и генерация атрибутов: 15-20 основных атрибутов, включая
созданные (например, на основе направления платежа, географии
пользователя и эмитента, платёжной истории и т.д.)

14. «AntiFraud Russia 2015», 3 декабря 2015
Зачем придумывать что-то новое?
Машинное обучение не отменяет антифрода
на основе правил (rule-based system), а
дополняет его
Компромисс между подходами: что быстрее
и эффективнее?
• время на обучение модели
на новых данных
или
• время на создание / адаптацию
правил под новые паттерны

15. «AntiFraud Russia 2015», 3 декабря 2015
Архитектурное решение
Система
правил
Модели машинного
обучения
Скоринг транзакции
Резолюция по
транзакции
Платёжная
история
Важный показатель SLA: время ответа антифрод-системы в целом
• Получаем резолюцию по транзакции от системы правил + модели
• Сохраняем ответ модели для аналитики будущих транзакций
• Уведомление мёрчанта (передаём скоринг транзакции)

16. «AntiFraud Russia 2015», 3 декабря 2015
Проблема интерпретации
• Иногда (но не всегда!) модель это «чёрный ящик» и интерпретировать её
решение может только аналитик, но не пользователь
• Модели машинного обучения выдают не только ответ, но и вероятность
(confidence)
89% 93% 99%

17. «AntiFraud Russia 2015», 3 декабря 2015
Цену ошибки диктует бизнес
Пропустить
все хорошие
платежи
Заблокировать
весь фрод
Компромисс между «заблокировать весь
фрод» и «пропустить все хорошие платежи»
= цена ошибки. Она диктуется бизнес-
моделью и всегда различна.
Использование threshold (порога
срабатывания) в зависимости от типа
модели позволяет минимизировать те
ошибки, которые обходятся дороже.
threshold

18. «AntiFraud Russia 2015», 3 декабря 2015
Иллюстрация порога срабатывания
Threshold = 0,7Threshold = 0,97 Threshold = 0,1

19. «AntiFraud Russia 2015», 3 декабря 2015
Измеряем эффективность
Десятки метрик, что выбрать?..

20. «AntiFraud Russia 2015», 3 декабря 2015
Измеряем эффективность
Метрики эффективности моделей выбраны с учётом тех параметров,
которые важно оптимизировать с точки зрения бизнес-модели.
• False positive rate ~ 4%
ложноположительное срабатывание:
посчитали легитимную транзакцию фродом
• False negative rate ~ 8%
ложноотрицательное срабатывание:
пропустили фродовую транзакцию

21. «AntiFraud Russia 2015», 3 декабря 2015
Что ждёт в будущем?
• Автоматический выбор атрибутов транзакций для моделирования
• Автоматическая генерация правил на основе классификационных моделей
• Чем больше данных – тем более «самостоятельны» алгоритмы машинного
обучения: сдвиг в сторону unsupervised learning
• Дальнейшее проникновение парадигмы Digital Identity во все онлайновые
действия пользователей

22. «AntiFraud Russia 2015», 3 декабря 2015
Резюмируя
• Data Science: аналитика данных не ради
аналитики, а извлечение прибыли из данных
• Мы используем простые модели, но хорошо
адаптированные под специфику конкретной
категории или мёрчанта
• Машинное обучение не заменяет правила и не
отменяет мозга аналитиков
• Цену ошибок классификации всегда диктует
бизнес
«Фрод не пройдёт»

23. Спасибо!
Конференция «AntiFraud Russia 2015», 3 декабря 2015
Владимир Михнович, фрод-аналитик компании «Яндекс.Деньги»
mikhnovich@yamoney.ru kypexin