HighLoad++ 2017 Зал «Сингапур», 8 ноября, 18:00 Тезисы: http://www.highload.ru/2017/abstracts/2863.html На определенной стадии развития компании появляется необходимость собирать, анализировать и принимать решения, исходя из данных. Причин может быть много: аналитика для BI, внедрение машинного обучения в сервисы, поставка данных заказчику. ...

1. Как построить
дата-платформу с нуля

2. О нас
ЦИАН – лидер онлайн-недвижимости России
7,4 млн.
Аудитория, уникальных посетителей
55% - на мобильных устройствах
2 млн.
активных объявлений
150 млн.
просмотров объявлений

3. Мотивация
Машинное обучение
Рекомендательные сервисы
Антифрод
Ранжирование
CRM
Использование для сервиса
Real-time запросы
Аналитические отчеты
Уникальные знания
Business Intelligence
Отчеты OLAP
Ad-hoc запросы

4. ML инфраструктура
Хранилище и загрузка данных (ETL)
Распределенные batch-вычисления (CRM, модерация, поиск роботов)
Real-time применение моделей (Рекомендательный сервис)

5. Загрузка данных

6. Data Lake подход
Получение и анализ данных
1 Создание JSON-схемы события
2 Добавление очереди Kafka
3 Загрузка JSON в HDFS
Все данные сохраняются и доступны
для аналитики ASAP.
Использование данных
Перекладка и типизация в Hive
Создание агрегатов и текущих
срезов
Real-time отправка в другие
источники
Детальная обработка только нужных
данных.

7. SQL Loader
Подключение новых очередей — быстро и универсально.

8. Регулярные процессы
Задача шедулера
Разруливать зависимости задач!
Шедулер - Luigi
Обработка Spark (PySpark), Hive
(Tez)
Мониторинг: Grafana, Sentry

9. Итоговая схема

10. Аналитика и batch-обработка данных

11. SQL на Hadoop и хранение данных
Больше не логи и не MapReduce!
1 Хранение данных - типизированные таблицы, колоночный формат
2 TEZ: передача данных в памяти
3 Синтаксис: аналитические функции и UDF
4 Presto: гибкий шедулер

12. Анализ данных

17. Модерация фотографий
Проблема: более половины фейковых объявлений ловятся на украденных фото.

18. Пример использования: CRM
Пример: персонализированная рассылка рекомендованных объектов.

19. Пример использования: борьба с роботами
Доля роботов на сайте - 50-90%.
Запрос к Druid — максимум запросов по IP за час
{ "queryType": "topN", //тип запроса
"dataSource": "nginx", //название таблицы
"aggregations": [{ //поля для групировки
"type": "count", тип –- sum, count, hyperUnique
"name": "count"
} ],
"intervals": "2017-11-05T12:04:01/2017-11-05T13:04:01",
"threshold": 10000, //число записей в ответе
"dimension": "ip",
"metric": "count"
}

20. Real-time обработка данных и внедрение на
сайт

21. Рекомендации - PredictionIO
PredictionIO - сервер для внедрения моделей ML на сайт.
Набор шаблонов под разные задачи:
рекомендации
ранжирование
классификация
похожесть текстов

22. Обучение — PredictionIO
Universal Recommender - рекомендательный шаблон, простейшие настройки:
{ "comment": "simplest setup",
"name": "ur",
"params": {
"appName": "cian", // название приложения
"indexName": "urindex", // индекс elastic
"typeName": "items",
"eventNames": ["purchase", "view"] //события
}
}

23. Использование — PredictionIO
{
"user": "Vasia",
"userBias": 2, // персональные рекомендации наверх
"item": "123456", // если нет, то контентные
"fields": [
{
"name": "categories",
"values": ["flat", "room"],
"bias": -1 // только комнаты и квартиры
},{
"name": "premium",
"values": ["top3", "premium"],
"bias": 1.02 //премиальные наверх
} ] }

24. Архитектура - PredictionIO
В рекомендация учитываются действия пользователя с задержкой <10 секунд

25. Другие применения платформы:
BI и информация для пользователей

26. Другие применения: BI
Требования
OLAP
Ad-hoc запросы
Real-time дашборды

27. Kylin — альтернативный OLAP
Преимущества:
Интеграция с Tableau
Хранение данных в HBase
Настройка через UI
Чтение из Kafka
Микросервисная архитектура
Недостатки:
Из Tableau тяжелые запросы
Хранение данных в HBase
Плохое API
Нет удаления сегментов

28. Граф совместных просмотров

29. Заключение

30. Наша архитектура

31. Выводы и рекомендации
1
Hadoop решает большинство проблем
инфраструктуры
2
Использовать один кластер для аналитики и
production — возможно!

32. Выводы и рекомендации
3
BI на Hadoop работает!

33. Спасибо за внимание!

34. Используемое железо
1 2x Мастер нода (ssd, 128gb ram, 32 core)
2 8x Слэйв нода (ssd, 128gb ram, 32 core, 4 × 8 tb hdd)
3 1x Nvidia Dev box (2 × Titan X)
4 3x Elasticsearch (64 gb ram, 12 core)
5 Dev-сервер, (ssd, 256 gb ram, 32 core)