Созданием еще одной высоконагруженной системы сегодня уже сложно кого-то удивить. Как насчет высоконагруженной системы, которая была создана и эксплуатируется 100% удаленной командой, работающей в 5 часовых поясах? В докладе пойдет речь о команде Virtustream (Dell Technologies), которая отвечает за Virtustream Storage Cloud. Экзабайты данных, десятки тысяч серверов, сотни гигабит в секунду, сотни тысяч и миллионы запросов в секунду, 20 датацентров по всему миру и, при этом, команда разработчиков из 15 человек, это возможно? В докладе мы поговорим о разных аспектах - от культуры разработки и процесса найма до контейнерной платформы запуска микросервисов и выбора языка программирования. Почему не работает Scrum, и плохо работает парное программирование? Как Mesos, Marathon, Consul и Calico делают возможным выкладывание нового сервиса за 5 минут? Почему каждый разработчик должен иметь доступ в production? Тезисы: 1. С чего все начиналось? 2. Как мы отбираем людей в команду? 3. Разработка - от первых строчек кода до установившегося процесса. 4. Планирование и выработка архитектуры проекта. 5. Выкладывание, эксплуатация и реагирование на инциденты. 6. Инструменты и мониторинг. 7. Проблемы удаленной команды.

1. Remote Highload
Андрей Смирнов

2. Удаленная работа

3. Неудаленная работа

4. Неудаленная работа
“Вы можете два дня в неделю не приезжать в офис, если, конечно,
не будет встречи с заказчиком…”

5. Неудаленная работа
“Вы можете два дня в неделю не приезжать в офис, если, конечно,
не будет встречи с заказчиком…”
“Вы можете остаться дома, если чувствуете, что заболеваете…”

6. Неудаленная работа
“Вы можете два дня в неделю не приезжать в офис, если, конечно,
не будет встречи с заказчиком…”
“Вы можете остаться дома, если чувствуете, что заболеваете…”
“Мы наймём команду из N-ска, потому что там зарплата на 20%
ниже…”

7. Наше кредо
Удаленная работа – это способ собрать лучших профессионалов со
всего мира.

8. сон
работа

9. Virtustream
Virtustream
Enterprise
Cloud
Virtustream
Storage Cloud

10. Что мы делаем?
• Virtustream Storage Cloud (VSC):
S3-совместимое хранилище объектов
• Клиенты: enterprise
• Масштаб:
• > 15 000 серверов
• > 20 дата-центров
• > 1 экзабайта данных

11. Сколько нас?
40 человек: Service Engineering + Platform Engineering
Еще: Network, QE, SRE, Monitoring, ROCC, CS, …

12. Инструменты
Асинхронные коммуникации: Slack, почта, …
Звонки: телефон, Skype, Slack, …
Видеоконференции: Zoom, Skype, …
Организация: JIRA, Realtimeboard, …

13. Общение через код
GitHub
Peer-review
Документация как код
Конфигурация как код
Мониторинг как код

14. Ритуалы

15. Ритуалы
Standup

16. Ритуалы
Standup
Планирование, ретроспектива, …

17. Ритуалы
Standup
Планирование, ретроспектива, …
“Аварийный” звонок

18. Бессмысленные встречи:
в офисе

20. Бессмысленные встречи:
удаленная работа

22. Личная встреча
Образ человека
Упрощение удаленного общения
Расстояние и частота личных встреч
Командировки вместо офиса

23. Различия в культуре

24. It’s all about people
(все дело в людях)

25. Как мы отбираем людей?

26. Как мы отбираем людей?
Анализ резюме, первый разговор

27. Как мы отбираем людей?
Анализ резюме, первый разговор
Тестовое задание

28. Как мы отбираем людей?
Анализ резюме, первый разговор
Тестовое задание
Техническое собеседование

29. Как мы отбираем людей?
Анализ резюме, первый разговор
Тестовое задание
Техническое собеседование
Общее собеседование

30. Тестовое задание

31. Тестовое задание
Я считаю это ниже своего достоинства.

32. Тестовое задание
Я считаю это ниже своего достоинства.
Я покажу все известные мне технологии.

33. Тестовое задание
Я считаю это ниже своего достоинства.
Я покажу все известные мне технологии.
Я не умею писать код.

34. Тестовое задание
Я считаю это ниже своего достоинства.
Я покажу все известные мне технологии.
Я не умею писать код.
Я нашел готовое решение в Google!

35. Тестовое задание
Я считаю это ниже своего достоинства.
Я покажу все известные мне технологии.
Я не умею писать код.
Я нашел готовое решение в Google!
Я докажу, что я прав! (код как протест)

36. Доверие

37. Доверие ➡ Ответственность

38. Доверие и ответственность

39. Доверие и ответственность
Доступ к коду

40. Доверие и ответственность
Доступ к коду
Доступ в production

41. Доверие и ответственность
Доступ к коду
Доступ в production
Финансы

42. Dev~Ops, Dev~QE, …
Передача задач по цепочке
или:
“Я всё сделаю сам”

43. Консультанты
Ловите, хватайте, держите,
Столкните, скрутите, свяжите,
Поймайте консультанта…
(мюзикл “Мастер и Маргарита”)
(nikolaykorolev.ru)

44. Процессы
Scrum (конечно не работает)
С ростом команды нужен процесс (или
структура)
Ритуалы и ограничения

45. Проблемы
Swim lanes
Узкая специализация
Отсутствие обмена знаниями

46. Продукты вместо
взаимодействия

47. Проблемы

48. Проблемы
Разные часовые пояса

49. Проблемы
Разные часовые пояса
Разная загруженность команд

50. Проблемы
Разные часовые пояса
Разная загруженность команд
Разные приоритеты

51. Доступ как продукт
Continuous Integration
Production
Тестирование
Выкладывание

52. Автоматизация как продукт
Мониторинг
Конфигурация
Выкладывание
Сборка и тестирование
…

53. Платформа как продукт
API
Разделение ресурсов
Высокая плотность
Легкость использования

54. Контейнерная платформа
Mesos – управление ресурсами кластера
Marathon – запуск задач и поддержка состояния
Calico – IP-per-container
Consul – конфигурация, service discovery, healthcheck

55. Возможности
Управление через API
Запуск сервиса и устойчивость к сбоям
Service discovery, healthchecks
Безопасность

56. Инструменты
Конфигурация
Выкладывание/перезапуск и т.п.
Сетевой firewall
Мониторинг
Агрегация 500х
Лог изменений

57. Минусы и плюсы
• Общение
• Авралы
• Личная свобода
• Swim lanes
• Knowledge sharing
• Highload
• Продукты
• Уровень команды
• Доверие и ответственность
• Всё дело в команде

58. Вопросы!
Андрей Смирнов
me@smira.ru
@smira