Real hardware in the data center: everything you wanted to know but didn’t know how to ask. 2020: how to build a server if you don’t use clouds How to get rid of or reduce problems when ordering, allocating, and mounting the hardware Yes, there are people working in your data center (If you have one)! What is hidden in between the server’s power button activation and its appearance in your internal system Automation and its role in the process: do exactly what is necessary and enough!

2. Антон Турецкий
Всё, что вы хотели знать, но
стеснялись спросить о том, откуда
берутся сервера
Что нам стоит хост
построить?
Всё, что вы хотели знать, но
стеснялись спросить о том, откуда
берутся сервера

3. Приложения для
миллионов

4. Антон
Турецкий
github.com/banuchka
https://tech.badoo.com
@banuchka
- Linux более 10 лет
- в Badoo скоро будет юбилей
- рассказываю только о том, что трогал лично

5. 2020: как появляется хост?

6. 2020: как появляется хост?
$ create VM
$ ssh centos1
--
Goss Results:
--
Triggers:
No alerts
+triggers with severity below Average

7. 2020: как появляется хост?
$ create VM
$ ssh centos1
--
Goss Results:
--
Triggers:
No alerts
+triggers with severity below Average

8. ✓ Захотеть
✓ Заказать
✓ Подождать
✓ Установить
✓ Настроить
Как, зачем и почему?

9. Если очень
захотеть, можно в
космос полететь

10. Что значит захотеть?

11. Обоснование для заказа

12. Capacity
Запас
Текущая нагрузка95%

13. Новый проект
Kubernetes
TiDB

14. Замена оборудования
Phone 6
Phone X

15. Согласовать бюджет.
Но это уже совсем другая
история

16. Если есть обоснование
Конфигурация Количество Срочность

17. Как это выглядит?
Конфигурация Количество Срочность
Много ядер
Частоту повыше
Побольше мне!
Вчера

18. Заказ оборудования

19. Где мой сервер?
Checkout
process

20. Куда ставить?

21. Сложности при составлении заказа
Срочность
CPU CPU
RAM
Спецификация Профили

22. Конфигурация VS Спецификация
CPU CPU
RAM
Спецификация
Конфигурация
Много ядер
Частоту повыше

23. Mind the gap
CPU CPU
ЗИП
CPU
RAM
DISK
Backup

24. Профили
Profile #1
CPU mode1 1
RAM 512
10 x SAS HDD 12Tb
2 x Itel SSD 480Gb
Profile #2
CPU mode1 2
RAM 256
6 x Itel SSD 2Tb
Profile #3
CPU mode1 2
RAM 128
2 x Itel SSD 480Gb
20
10010

25. Чек-лист
✓ Место/Сеть
✓ Профили
✓ Количество
✓ Зип
✓ Бэкап

26. Заказ
Profile #1
CPU mode1 1
RAM 512
10 x SAS HDD 12Tb
2 x Itel SSD 480Gb
Profile #2
CPU mode1 2
RAM 256
6 x Itel SSD 2Tb
Profile #3
CPU mode1 2
RAM 128
2 x Itel SSD 480Gb
20
10010
Confirm

27. Ожидание
…

28. Планирование в процессе ожидания
Расположение
сервера
СетьЭлектропитание ОхлаждениеМесто

29. Планирование в процессе ожидания
Расположение
сервера
СетьЭлектропитание ОхлаждениеМесто
Бэкап

30. Знакомьтесь, ДЦ!
Стойка #1 Стойка #2 Стойка #3

31. Планирование на практике
Стойка #1 Стойка #2 Стойка #3

32. От “было” к “стало”
Стойка #1 Стойка #2 Стойка #3Стойка #1 Стойка #2 Стойка #3

33. Никакого волшебства!
Стойка #1 Стойка #2 Стойка #3Стойка #1 Стойка #2 Стойка #3

34. Оборудование приехало

35. Установка оборудования
Монтирование Настройка сети
Задачи
в Jira

36. Что может пойти не так?

37. Да всё!
Что может пойти не так?

38. Что может пойти не так?
До заказа

39. Что может пойти не так?
До заказа
Заказ оборудования

40. Что может пойти не так?
До заказа
Заказ оборудования
Позднее планирование

41. Что делать?

42. Процедуры

43. Процедуры
✓ актуальное описание кластера
✓ как монтировать
✓ как демонтировать
✓ первичная настройка
✓ настройка сет. портов
✓ …

44. Процедура…

45. ✓ сообщить мониторингу
✓ снять нагрузку
✓ почистить диски
✓ выключить сервер
✓ выключить сетевые порты
✓ демонтировать и разобрать
✓ почистить все упоминания
Процедура –– “чек-лист”

46. Инструменты

47. Лирическое отступление

48. Когда, для чего и что автоматизировать?
…

49. И так сойдет!

50. И так тоже…

51. Уже пора!

52. Уже поздно!
ДЦ #1 ДЦ #2
ДЦ #3

53. Не откладывай в
“долгий ящик”!

54. Инструменты

55. Для чего нужны инструменты?
Задачи
в Jira

56. # lsdef newnode-B5DZ053
Object name: newnode-B5DZ053
bmc=newnode-B5DZ053manage <== (1)
bmcpassword=*****
bmcport=0
bmcusername=root
cons=ipmi
groups=dell,all <== (2)
ip=10.20.207.218 <== (3)
mgt=ipmi
netboot=pxe <== (4)
otherinterfaces=newnode-B5DZ053manage:10.20.47.233
power=ipmi
primarynic=eth0
serialport=0
serialspeed=115200
rack=142465:0108 <== (*)
room=142465 <== (*)
serial=B5DZ053
status=powering-on
switch=sw-os9900-4-tmk <== (*)
switchport=1/6/32 <== (*)
unit=12

57. # rcons newnode-6J41H63
[Enter `^Ec?' for help]
goconserver(2020-10-21T10:33:03Z): Hello *.*.*.*:*, welcome to the session of
newnode-6J41H63
newnode-6J41H63 login: banuchka
Password:
Login incorrect
newnode-6J41H63 login: [Disconnected]

58. Волшебство?
PXE
NFS
HTTP/
HTTPS
DNS
Inventory
Consoles
xCAT
Perl

59. Загружаемся…
PXE
HTTP/
HTTPS
Consoles
xCAT
Perl

60. newnode
Загрузка по сети (BIOS/UEFI)
Регистрация в xCAT
Регистрация в Console service
Базовые настройки
Отчет в систему инвентаризации

61. Базовые настройки
• NTP
• idrac_dhcp_on
• idrac_ipmilan_on
• idrac_os_bmc_passthrough
• power profile
• boot seq

62. GLPI

63. nodemv
# nodemv --help
Usage:
nodemv [options] [src noderange] [dst noderange]
Options:
--makedhcp
Run makedhcp
-v|--verbose
Be verbose
-d|--dry
Dry run

64. # nodemv --makedhcp newnode-6J13H63 depl8
newnode-6J13H63 10.20.207.252 -> depl8 10.20.207.9 <== (1)
sw-os9900-3-tmk 1/7/18 ; bc:97:e1:5c:07:f6 ;
newnode-6J13H63manage 10.20.47.221 -> depl8manage 10.20.47.9 <== (2)
sw-2960x-6-tmk-1 Gi4/0/16 ; 2c:ea:7f:f1:e3:de ;
nodemv: пробуем в деле

65. # nodeset centos1 osimage=centos8-x86_64-install-std
centos1: install centos8-x86_64-centos8-std
Что нам стоит хост построить?
# rinstall centos1
Provision node(s): centos1
$ ssh centos1
--
Goss Results:
--
Triggers:
No alerts
+triggers with severity below Average

66. За это время наш хост успел:
✓ Зарегистрироваться на сервере управления конфигурациями
✓ выполнить настройку окружения
✓ предоставить нужные доступы
✓ Зарегистрироваться в системе мониторинга
✓ выполнить все проверки
✓ вывести состояние хоста в MOTD

67. Устали?
Время подводить итоги

68. ✓ Сложное состоит из множества простого
✓ Учиться никогда не поздно!
✓ Автоматизируй с умом!
✓ Лучшее – враг хорошего!
✓ Ставь цель, иди к ней!
Вместо заключения

69. Спасибо за
внимание