В современном мире облачных платформ маршрутизация занимает особое место. Большинство провайдеров PaaS-решений предпочитают не раскрывать деталей работы своего роутинга, считая этот вопрос своим ноу-хау. Как эффективно обработать огромный поток запросов в облако? Как обеспечить надёжность доставки данных? Как поступить с масштабированием? Ответ на эти и другие вопросы и рассказ о нашем балансировщике — Cocaine Dealer.

1. Эффективная
маршрутизация в
вычислительном
облаке (PG-13)
Рим Зайдуллин
Code Wizard
Я.Субботник в Санкт-Петербурге, 1 декабря 2012
пятница, 30 ноября 12 г.

2. 2
Настало время офигительных историй
пятница, 30 ноября 12 г.

3. 3
Дорога в облака
пятница, 30 ноября 12 г.

4. Структура кокаинового облака
Облако
01010010
C C C
01010010
C C C
01010010
C C C
4
пятница, 30 ноября 12 г.

5. Структура кокаинового облака
Клиенты
Java Python
C++
PHP
Perl
and more
5
пятница, 30 ноября 12 г.

6. Структура кокаинового облака
Клиенты Cocaine
Java
C
01010010
Python
C++
Perl
? 01010010
01010010
C
C
6
пятница, 30 ноября 12 г.

7. Задача
Как максимально быстро и
надёжно доставлять
сообщения?
7
пятница, 30 ноября 12 г.

8. О чём речь?
Cocaine Dealer — точка
входа в облако.
8
пятница, 30 ноября 12 г.

9. Структура кокаинового облака
Клиенты Cocaine
Java 01010010
C
Python
C++
Perl
? 01010010
01010010
C
C
9
пятница, 30 ноября 12 г.

10. Структура кокаинового облака
Клиенты Dealer Cocaine
Java 01010010
C
Python D 01010010
C
C++
D 01010010
Perl C
10
пятница, 30 ноября 12 г.

11. С чем мы имеем дело?
11
пятница, 30 ноября 12 г.

12. 12
Она просто взорвалась или типа того
пятница, 30 ноября 12 г.

13. Как растёт инфраструктура?
Серверы
Балансировщик
13
пятница, 30 ноября 12 г.

14. 14
ВЫЛЕЗАЙ, ПРИЕХАЛИ
пятница, 30 ноября 12 г.

15. Как растёт инфраструктура?
Балансировщик Серверы
15
пятница, 30 ноября 12 г.

16. 16
Мелкие неприятности в ДЦ
пятница, 30 ноября 12 г.

17. Как растёт инфраструктура?
ДЦ 1 ДЦ 2
ДЦ 3
17
пятница, 30 ноября 12 г.

18. Задача
Как максимально быстро и
надёжно доставлять
сообщения?
18
пятница, 30 ноября 12 г.

19. 19
1. Производительность
пятница, 30 ноября 12 г.

20. О чём речь?
Cocaine Dealer — точка
входа в облако.
Это библиотека
написанная на С++
20
пятница, 30 ноября 12 г.

21. Логическая структура облака
Клиенты Dealer Cocaine
Java 01010010
C
Python D 01010010
C
C++
D 01010010
Perl C
21
пятница, 30 ноября 12 г.

22. Физическая структура облака
Клиенты Dealer Cocaine
D
01010010
Java C
01010010
C++ D C
01010010
Python D C
22
пятница, 30 ноября 12 г.

23. 23
2. Мониторинг инфраструктуры
пятница, 30 ноября 12 г.

24. Cloud awareness
Node 1
App Dealer
Node 2
24
пятница, 30 ноября 12 г.

25. Cloud awareness
Node 1
App Dealer
Node 2
25
пятница, 30 ноября 12 г.

26. Cloud awareness
Node 1
App Dealer
Node 2
26
пятница, 30 ноября 12 г.

27. 27
пятница, 30 ноября 12 г.
3. Always ON

28. Always ON
App Dealer Cloud
28
пятница, 30 ноября 12 г.

29. Always ON
App Dealer Cloud
29
пятница, 30 ноября 12 г.

30. 30
4. Тонкие настройки
пятница, 30 ноября 12 г.

31. Политики маршрутизации
• Deadline
• Max retries
• Priority
• Persistence
• etc.
31
пятница, 30 ноября 12 г.

32. 32
5. Гарантированная доставка
пятница, 30 ноября 12 г.

33. Persistent delivery
App Dealer Cloud
33
пятница, 30 ноября 12 г.

34. Persistent delivery
App Dealer Cloud
34
пятница, 30 ноября 12 г.

35. Persistent delivery
App Dealer Cloud
35
пятница, 30 ноября 12 г.

36. Persistent delivery
App Dealer Cloud
36
пятница, 30 ноября 12 г.

37. Persistent delivery
App Dealer Cloud
37
пятница, 30 ноября 12 г.

38. 38
6. Умная балансировка
пятница, 30 ноября 12 г.

39. Naive balancing
Dealer
39
пятница, 30 ноября 12 г.

40. Naive balancing
Dealer
w w w
40
пятница, 30 ноября 12 г.

41. Naive balancing
Dealer
w w w
41
пятница, 30 ноября 12 г.

42. Naive balancing
Dealer
w1 w2 w3
42
пятница, 30 ноября 12 г.

43. Smart balancing
Dealer
w1 w2 w3
43
пятница, 30 ноября 12 г.

44. 44
7. Мониторинг приложений
пятница, 30 ноября 12 г.

45. Health monitoring
Node
App Dealer
Node
45
пятница, 30 ноября 12 г.

46. Health monitoring
Node
App Dealer
!!!
46
пятница, 30 ноября 12 г.

47. Health monitoring
Node
App Dealer
!!!
47
пятница, 30 ноября 12 г.

48. Health monitoring
Node
App Dealer
!!!
48
пятница, 30 ноября 12 г.

49. Health monitoring
Node
App Dealer
Node
49
пятница, 30 ноября 12 г.

50. 1. Производительность
2. Мониторинг инфраструктуры
3. Always ON
4. Тонкие настройки
5. Умная балансировка
6. Гарантированная доставка
7. Мониторинг приложений
50
пятница, 30 ноября 12 г.

51. Cocaine Dealer — точка
входа в облако.
1. Балансировщик
2. Маршрутизатор
3. Очередь запросов
51
пятница, 30 ноября 12 г.

52. Пример использования
Приложение: "image_processor"
Метод: "filter"
52
пятница, 30 ноября 12 г.

53. Простой API
dealer_t dealer("config.json");
message_path_t path("image_processor", "filter");
dealer.send_message(image, path);
53
пятница, 30 ноября 12 г.

54. Простой API
dealer_t dealer("config.json");
message_path_t path("image_processor", "filter");
response_t resp;
resp = dealer.send_message(image, path);
54
пятница, 30 ноября 12 г.

55. Простой API
dealer_t dealer("config.json");
message_path_t path("image_processor", "filter");
response_t resp;
resp = dealer.send_message(image, path);
data_container_t chunk;
resp.get(&chunk); // blocking!
55
пятница, 30 ноября 12 г.

56. Простой API
dealer_t dealer("config.json");
message_path_t path("image_processor", "filter");
response_t resp;
resp = dealer.send_message(image, path);
data_container_t chunk;
if (resp.get(&chunk)) {
std::string result(chunk.data(), chunk.size());
std::cout << result << std::endl;
56
}
пятница, 30 ноября 12 г.

57. Простой API
dealer_t dealer("config.json");
message_path_t path("image_processor", "filter");
response_t resp;
resp = dealer.send_message(image, path);
data_container_t chunk;
while (resp.get(&chunk)) {
std::string result(chunk.data(), chunk.size());
std::cout << result << std::endl;
57
}
пятница, 30 ноября 12 г.

58. Простой API
dealer_t dealer("config.json");
message_path_t path("image_processor", "filter");
response_t resp;
resp = dealer.send_message(image, path);
data_container_t data;
size_t timeout = 1.0;
resp.get(&data, timeout);
58
пятница, 30 ноября 12 г.

59. HTTP?
59
пятница, 30 ноября 12 г.

60. Обработка HTTP-запросов
Dealer Cloud
60
пятница, 30 ноября 12 г.

61. Обработка HTTP-запросов
Dealer Cloud
61
пятница, 30 ноября 12 г.

62. Обработка HTTP-запросов
HTTP Nginx,
Lighttpd, etc.
FastGCI
FastGCI module
Dealer Cloud
62
пятница, 30 ноября 12 г.

63. Обработка HTTP-запросов
HTTP Nginx,
Lighttpd, etc.
FastGCI
FastGCI module
Dealer Cloud
63
пятница, 30 ноября 12 г.

64. Обработка HTTP-запросов
HTTP Nginx,
Lighttpd, etc.
FastGCI
FastGCI module
Dealer Cloud
64
пятница, 30 ноября 12 г.

65. Обработка HTTP-запросов
HTTP Nginx,
Lighttpd, etc.
FastGCI
FastGCI module
Dealer Cloud
65
пятница, 30 ноября 12 г.

66. Обработка HTTP-запросов
HTTP Nginx,
Lighttpd, etc.
FastGCI
FastGCI module
Dealer Cloud
66
пятница, 30 ноября 12 г.

67. Обработка HTTP-запросов
HTTP Nginx,
Lighttpd, etc.
FastGCI
FastGCI module
Dealer Cloud
67
пятница, 30 ноября 12 г.

68. Обработка HTTP-запросов
HTTP Nginx,
Lighttpd, etc.
FastGCI
FastGCI module
Dealer Cloud
68
пятница, 30 ноября 12 г.

69. Обработка HTTP-запросов
HTTP Nginx,
Lighttpd, etc.
FastGCI
FastGCI module
Dealer Cloud
69
пятница, 30 ноября 12 г.

70. Обработка HTTP-запросов
HTTP Nginx,
Lighttpd, etc.
FastGCI
FastGCI module
Dealer Cloud
70
пятница, 30 ноября 12 г.

71. Обработка HTTP-запросов
HTTP Nginx,
Lighttpd, etc.
FastGCI
FastGCI module
Dealer Cloud
71
пятница, 30 ноября 12 г.

72. Обработка HTTP-запросов
Nginx
module
HTTP
Dealer Cloud
72
пятница, 30 ноября 12 г.

73. bit.ly/iwantcoke
пятница, 30 ноября 12 г.

74. Рим Зайдуллин
Code Wizard
tinybit@yandex.ru
пятница, 30 ноября 12 г.