Что у нас было до Spark, как мы к нему пришли, и при чем здесь математики-программисты?

1. Павел Клеменков
p.klemenkov@rambler-co.ru
Moscow Spark

2. https://t.me/ramblerapachesparkbot
SSID: RG
Логин: ramblerco
Пароль: ramblerco

3. Давайте знакомиться!

4. Moscow Spark

9. В Rambler&Co Spark используют
• Отдел машинного обучения (10 человек)
• DMP (8 человек)
• Топ-100 (3 человека)

10. Полная версия доклада
«Пайплайн машинного обучения на Apache
Spark» доступна на
http://www.highload.ru/2016/abstracts/2447.html

12. Что хотим от математика-программиста?
• Качественные эксперименты быстро
• Доведение эксперимента до продакшена
• Поддержка и багфиксы

13. WTF is this shit?!

14. All my code works!
And I didn’t break the build!

15. Качественный эксперимент быстро
• Знакомое окружение
• Все новое и крутое

16. Эксперимент в продакшене
• Простое тестирование
• Окружение как на продакшене
• Автоматизация

17. Эксплуатация и багфиксы
• Простой и наглядный мониторинг
• Адресные оповещения
• Доступная отладка

18. С чего стартовали?

19. HDFS
+
Hive
SCP
NFS
Custom
scripts
Redis
cluster
Hive
streaming
ML
(local)
Cron +
joblocker
Hive
streaming
Monitoring
(DIY)
ML
(local)

20. You got a problem
with that?!

21. HDFS
+
Hive
Redis
cluster
Hive
streaming
ML
(local)
Airflow
Hive
streaming
ML
(local)
Kafka
Gobblin
Graphite Grafana

22. Со стриммингом одни проблемы (

23. Diagnostic Messages for this Task:
Error: java.lang.RuntimeException: Hive Runtime Error
while closing operators
SELECT TRANSFORM(*) USING 'python script.py’
FROM table;

24. Очень долго готовить данные

25. Типичный алгоритм эксперимента
• Выгрузить сэмпл из Hive
• Сконвертировать в Pandas
• Поиграть с данными
• Понять, что чего-то не хватает
• Выгрузить другой сэмпл из Hive…

27. HDFS
+
Hive
Redis
cluster
Hive
streaming
Airflow
Kafka
Gobblin
Graphite Grafana
Spark +
ML

28. Почему ?

29. It is in-memory and
there is a Python API!

30. Pandas vs Spark Dataframe
import pandas as pd
!hive -e "select * from users" >
dt.csv
df = pd.read_csv("dt.csv")
counts = df[df.age > 30]
.groupby("sex")
.count()
from pyspark.sql import HiveContext
ctx = HiveContext(sc)
df = ctx.sql("select * from
users")
counts = df[df.age > 30]
.groupby("sex")
.count()

31. А на самом деле…

32. SPARK-15139
PySPark TreeEnsemble
missing methods
SPARK-18177
Add missing
‘subsamplingRate’
of pyspark GBTClassifier
SPARK-17025
Cannot persist PySpark ML
Pipeline model that
includes custom
Transformer
SPARK-15194
Add Python ML API for
MultivariateGaussian

33. Use XGBoost, Luke
© Unknown Kaggler

34. Почему мы не используем
Spark.ML?

35. Причина №1
• Vowpal Wabbit и XGBoost в старом пайплайне
• Новый код для напилки фич

36. Причина №2
SPARK-14374
PySpark ml GBTClassifier,
Regressor
support export/import
(Resolved: 15/Apr/16)
SPARK-13034
PySpark ml.classification support
export/import
(Resolved: 16/Mar/16)

37. Причина №3Качествонаобучении
Объем обучающей выборки

38. Но мы верили, что
все изменится :)

39. СПАСИБО!