Инфраструктура любого сервиса со временем растёт. Внедряются новые технологии, становится больше серверов, растут затраты на рутинные технические операции. В первой части доклада я расскажу в общем о процессах роста, а во второй на конкретных примерах покажу, как мы с этим справляемся. В частности, мы поговорим про Salt — систему управления конфигурацией.

2. Как справляться с
ростом инфраструктуры
сервиса
Игорь Андреев, системный администратор
Я.Субботник, Новосибирск, 18 октября 2014

3. План доклада
▌ Развитие инфраструктуры сервиса
▌ Salt
▌ Reclass
▌ Интеграция с другими системами
▌ Hadoop

4. Развитие
инфраструктуры
сервиса
4

5. Как люди воспринимают сервис
5
Пользователи

6. Как люди воспринимают сервис
6
Пользователи Разработчики

7. Как люди воспринимают сервис
7
Пользователи Разработчики Администраторы

8. Какой путь проходит сервис
Proof of
concept

9. Какой путь проходит сервис
Proof of
concept
Стабильная
система

10. Какой путь проходит сервис
Proof of
concept
Стабильная
система

11. Масштабы роста
11
1 103
104
10???
1997 2007 2010 2014

12. Задачи
12

13. Мониторинг
13
▌ Juggler
▌ Graphite

14. Управление изменениями
конфигурации
▌ Зафиксировать изменения у разработчика
▌ Скопировать эти изменения
▌ Применить изменения на тестовую среду
▌ Перенести на production
14

15. Configuration management systems

16. Salt

17. 17
Python
Yaml
ZeroMQ
File server
Parallel execution
Top 10 on GitHub

18. Архитектура
18

19. Описание конфигурации
19

20. Файловая структура
20

21. Grains
21

22. Grains
22

23. Pillar
23

24. Pillar
24

25. Как применяются изменения
25

26. Недостатки
26

27. Reclass
27

28. Recursive external node classification
▌ http://reclass.pantsfullofunix.net
› Node
› Class
› Application
› Parameters

29. Использование reclass с salt
29

30. Использование reclass с salt
30

31. Использование reclass с salt
31

32. Top.sls
32

33. Top.sls vs class.yml & host.yml
33

34. Command Line
34
salt “*” test.ping

35. Command Line
35
Где
salt “*” test.ping

36. Command Line
36
salt “*” test.ping
Что

37. Command line
37

38. Демонстрация
38

39. Интеграция с другими
системами

40. Возможности
40
▌ Вся конфигурация в одном месте
▌ Экспорт в другие системы
▌ Запросы к reclass
▌ OpenStack

41. 41

42. Hadoop
42

43. Сложность управления
43
▌ Большое количество сервисов
▌ Сервисы зависят друг от друга
▌ Строгий порядок запуска и выключения

44. Управление кластерами
44
▌ Bootstrap
▌ Несколько копий окружения
▌ Переиспользование кода
▌ Защита от выкладки старой версии
▌ Open-source
▌ Интеграция с инфраструктурой

45. Управление кластерами
45

46. Вопросы?
46

47. Контакты
47
▌ Игорь Андреев
▌ системный администратор
▌ E-mail: iandreyev@yandex-team.ru