Нетривиальное о репликации: как добиться высокой доступности

1. Нетривиальное о репликации
Как добиться высокой доступности
Александр
Казаков
Ведущий
инженер-программист

3. 2000 компонентов,
взаимодействующих по сети

6. Подход с балансировщиком
balancer

7. Подход с service discovery
service
discovery

9. Чем плох подход с балансировщиком
timeout = 30

10. Чем плох подход с балансировщиком
balancer
timeout = 30

11. Чем плох подход с балансировщиком. Пример 1
balancer
Т = 30
Т = 60

12. Чем плох подход с балансировщиком. Пример 1
balancer
Т = 30
Т = 60

13. Чем плох подход с балансировщиком. Пример 1
balancer
Т = 30
Т = 60
timeout

14. Чем плох подход с балансировщиком. Пример 2
balancer
Т = 30
Т = 10

15. Чем плох подход с балансировщиком. Пример 2
balancer
Т = 30 Т = 10

16. Чем плох подход с балансировщиком. Пример 2
balancer
Т = 30
Т = 10

17. Чем плох подход с балансировщиком. Пример 2
balancer
Т = 30 Т = 10

18. Чем плох подход с балансировщиком. Пример 2
balancer
Т = 30
Т = 10

19. Не получили ответ за 30 секунд,
хотя могли получить за 12 !!!
balancer
timeout

20. Чем плох подход с service discovery. Пример 1
service
discovery
Т = 30

21. Чем плох подход с service discovery. Пример 2
service
discovery
Т = 10

22. Чем плох подход с service discovery. Пример 2
service
discovery
Т = 10

23. Не получили ответ за 30 секунд,
хотя могли получить за 12 !!!
timeout

26. ?

27. WE HAVE A PROBLEM
HOUSTON

28. Три базовые концепции

29. Три базовые концепции
1. Параллельные стратегии отправки запроса.
2. Использование клиентского таймаута на сервере.
3. Серые списки.

30. Три базовые концепции
1. Параллельные стратегии отправки запроса.
2. Использование клиентского таймаута на сервере.
3. Серые списки.

31. Параллельная стратегия
balancer
Т = 30
Т = 30
Т = 30Т = 30

32. Адаптивная параллельность

33. Адаптивная параллельность
t0 T2/3T1/3T
R1
R2
R3

34. Адаптивная параллельность
t0 T2/3T1/3T
R1
R2
R3
timeout=T
мы тут

35. Адаптивная параллельность
t0 T2/3T1/3T
R1
R2
R3
мы тут
OK

36. Адаптивная параллельность
t0 T2/3T1/3T
R1
R2
R3
timeout=T
timeout=2/3T
мы тут

37. Адаптивная параллельность
t0 T2/3T1/3T
R1
R2
R3
timeout=T
timeout=2/3T
timeout=1/3T
мы тут

38. Адаптивная параллельность
t0 T2/3T1/3T
R1
R2
R3
timeout=T
timeout=2/3T
timeout=1/3T
мы тут
OK

39. Адаптивная параллельность
t0 30
R1
R2
R3
R4
1 5 15

40. Адаптивная параллельность
t0 T4
R1
R2
R3
R4
T1 T2 T3
требует индивидуального подхода

41. Написал сервис — напиши клиента

42. Адаптивная параллельность

43. Адаптивная параллельность
индивидуальные параметры для каждого запроса

44. Адаптивная параллельность
индивидуальные параметры для каждого запроса
написал сервис — напиши клиента

45. Три базовые концепции
1. Параллельные стратегии отправки запроса.
2. Использование клиентского таймаута на сервере.
3. Серые списки.

46. B

47. B D
C
E
T1
T2
T3

48. B D
C
E
T0
T1
T2
T3

49. B
B
B
C
C
C

50. B
B
B
C
C
C
10
30

51. B
B
B
C
C
C

52. B
B
B
C
C
C
10
30

53. B
B
B
C
C
C

54. B
B
B
C
C
C

55. B
B
B
C
C
C
10
10
5

56. Используйте на сервере
знание о клиентском таймауте
для конфигурации внешних вызовов
B
t0
B С
B С
t1
t2
С

57. TimeBudget timeBudget = request.GetTimeBudget();
await client.Call(timeBudget.Remaining()); // 10 sec
. . .
await client.Call(timeBudget.Remaining()); // 5 sec

58. Три базовые концепции
1. Параллельные стратегии отправки запроса.
2. Использование клиентского таймаута на сервере.
3. Серые списки.

59. B
B
B
C
C
C
10
10
5

60. high availability
low latency

61. B
B
B
C
C
C
10 10

62. BAD NEWS EVERYONE
Серые списки не очень

63. Возможные реализации:
• Наивная
Серые списки не очень

64. Возможные реализации:
• Наивная
• Наивная + попытки
Серые списки не очень

65. Возможные реализации:
• Наивная
• Наивная + попытки
• Наивная + heart beat
Серые списки не очень

66. Возможные реализации:
• Наивная
• Наивная + попытки
• Наивная + heart beat
•…
Серые списки не очень

68. health = 1
health = 1
health = 1
health ∈ [0.001, 1]

69. health = 0.03
health = 1
health = 1
health ∈ [0.001, 1]

70. health = 0.7
health = 1
health = 1
health ∈ [0.001, 1]

71. Три базовые концепции
1. Параллельные стратегии отправки запроса.
2. Использование клиентского таймаута на сервере.
3. Серые списки. Здоровье и статистика.

72. @a_kazakov
Спасибо за внимание!
kazakov.dev@gmail.com
Александр
Казаков
Ведущий
инженер-программист