A story of how we have implemented our own autoscaling for real-time data processing on AWS with help of Apache Kafka, Apache Samza, Druid and bits of game theory and achieved almost 2x hardware use reduction.

1. Autoscaling for fun and profit
Alexander Demidko,
Software Engineer @ Metamarkets

2. API
Kafka Druid

3. 0.5PB сырых входящих/день => $$$$

4. API
Kafka Druid
Batch – EC2 Spot :)
Real-time – EC2 On-Demand $-(

8. • Быстро реагировать
• Выбирать стратегию:
A) +10 контейнеров (30 мин)=> –10 контейнеров
B) +40 контейнеров (20 мин)=> –40 контейнеров
• Учитывать прогнозы:
объем входящих данных = f(время)
пропускная способность = g(контейнеров)

9. Monte Carlo Tree Search
стоимость = железо + пенальти за задержку
число контейнеров

10. penalty(s, l)(x) = (atan(x*s – l*s) + atan(l*s)) / (0.5*π + atan(l*s))

11. • Selection - выбираем, где строить новый узел (exploration VS exploitation tradeoff)
• Expansion - строим его :)
• Simulation - эвристически оцениваем, во сколько он обойдется
• Backpropagation - обновляем стоимости решений в дереве

12. Simulation

13. Уменьшение размерности дерева
• Дискретизация числа контейнеров
• Дискретизация времени

14. Guardian
job_A - 5 => 10 контейнеров
job_B - 8 => 6 контейнеров
job_C - 15 => 20 контейнеров
job_A - 5 => 15 контейнеров
job_D - 2 => 4 контейнеров

15. Health monitoring
t_curr t_last
Kafka

16. Колебания: не можем точно выставить идеальное число контейнеров
Число Kafka партиций % Число контейнеров must be(0)
avg = 35100 / (24*60) ~ 24

17. Уменьшили объем железа почти в 2 раза
Математика/реализация: 20/80

18. Спасибо!