Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Строим 24/7 DevOps центр на высоконагруженном проекте / Евгений Потапов (ITSumma)

723 views

Published on

1. Кадровые вопросы.
1.1. Как отбирать персонал? Возможно ли обучение с нуля?
1.2. Специфика сменной работы, график работы.
1.3. Передача знаний между сотрудниками.
2. Управление процессом, специфика вопросов менеджмента.
2.1. Специфика постановки задач, связанных с поддержкой и оперативным реагированием.
2.2. Регламентирование процессов поддержки.
2.3. Как возможно планирование в условиях хаотической смены приоритетов?
3. Мониторинг техподдержки как средство минимизации человеческого фактора.
3.1. Мониторинг обработки входящих запросов.
3.2. Мониторинг времени, затраченного на выполнение задач.
3.3. Организация и автоматизация "бэк-офиса".

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Строим 24/7 DevOps центр на высоконагруженном проекте / Евгений Потапов (ITSumma)

  1. 1. Строим 24/7 Евгений Потапов на высоконагруженном проекте DevOps центр
  2. 2. Евгений Потапов ITSumma.ru, генеральный директор Круглоcуточное удаленное администрирование серверов и техническая поддержка сайтов 100 миллионов уникальных посетителей в сутки на поддерживаемых сайтах 50 человек в штате
  3. 3. На поддержке
  4. 4. Работаем с 2008 года Рост от 3 до 50 человек до 300 оповещений в час 70 активных чатов в день Головной офис в Иркутске, офисы в Санкт-Петербурге и Москве 8-часовые смены, полноценный 24/7 О компании
  5. 5. Содержание • Когда пора строить 24/7 команду? • Из каких людей? Сколько их должно быть? • В чем специфика этой работы? Как бороться с хаосом? • Как ставить задачи и организовать планирование? • Как обеспечить передачу знаний? • Как контролировать процесс? • Как сделать это небольшой компании (и не тратиться на аутсорс). Как это сделать крупным проектам?
  6. 6. 1. С чего все начинается Незадолго до релиза и сразу после него
  7. 7. 1. С чего все начинается • О полноценной поддержке никто не задумывается Незадолго до релиза и сразу после него
  8. 8. 1. С чего все начинается • О полноценной поддержке никто не задумывается • Команда эксплуатации = команда разработчиков Незадолго до релиза и сразу после него
  9. 9. 1. С чего все начинается • О полноценной поддержке никто не задумывается • Команда эксплуатации = команда разработчиков • Алерты приходят всем одновременно, смс- ками Незадолго до релиза и сразу после него
  10. 10. 1. С чего все начинается • О полноценной поддержке никто не задумывается • Команда эксплуатации = команда разработчиков • Алерты приходят всем одновременно, смс- ками • Нет «базы знаний» по инцидентам Незадолго до релиза и сразу после него
  11. 11. 1. С чего все начинается • О полноценной поддержке никто не задумывается • Команда эксплуатации = команда разработчиков • Алерты приходят всем одновременно, смс- ками • Нет «базы знаний» по инцидентам • Очень простая коммуникация Незадолго до релиза и сразу после него
  12. 12. 1. С чего все начинается • Неизвестно кто ответственный Проблемы
  13. 13. 1. С чего все начинается • Неизвестно кто ответственный • Пропущенные аварии Проблемы
  14. 14. 1. С чего все начинается • Неизвестно кто ответственный • Пропущенные аварии • Нет знаний как чинить аварии Проблемы
  15. 15. 1. С чего все начинается • Хотя бы самые простые правила назначения дежурных Рекомендации
  16. 16. 1. С чего все начинается • Хотя бы самые простые правила назначения дежурных • Ретроспектива (постмортем) по любым пропущенным авариям Рекомендации
  17. 17. 1. С чего все начинается • Хотя бы самые простые правила назначения дежурных • Ретроспектива (постмортем) по любым пропущенным авариям • База знаний Рекомендации
  18. 18. 2. Первый выделенный сотрудник Рост проекта
  19. 19. 2. Первый выделенный сотрудник • Проблем становится больше Рост проекта
  20. 20. 2. Первый выделенный сотрудник • Проблем становится больше • «Совместители» начинают уставать Рост проекта
  21. 21. 2. Первый выделенный сотрудник • Проблем становится больше • «Совместители» начинают уставать • Появляется выделенный сотрудник Рост проекта
  22. 22. 2. Первый выделенный сотрудник • Реагирование и администрирование – разные компетенции Проблемы
  23. 23. 2. Первый выделенный сотрудник • Реагирование и администрирование – разные компетенции • Сотрудник не готов просыпаться по ночам Проблемы
  24. 24. 2. Первый выделенный сотрудник • Реагирование и администрирование – разные компетенции • Сотрудник не готов просыпаться по ночам • Болезнь сотрудника становится большой проблемой Проблемы
  25. 25. 2. Первый выделенный сотрудник • Сотрудник должен уметь быстро находить решения Рекомендации
  26. 26. 2. Первый выделенный сотрудник • Сотрудник должен уметь быстро находить решения • Обсудите характер работы Рекомендации
  27. 27. 2. Первый выделенный сотрудник • Сотрудник должен уметь быстро находить решения • Обсудите характер работы • Продумайте бэкап-план Рекомендации
  28. 28. 2. Первый выделенный сотрудник • Сотрудник должен уметь быстро находить решения • Обсудите характер работы • Продумайте бэкап-план • Готовьтесь нанимать больше людей Рекомендации
  29. 29. 3. Команда поддержки Выход на стабильный уровень
  30. 30. 3. Команда поддержки • Большое количество регулярных задач Выход на стабильный уровень
  31. 31. 3. Команда поддержки • Большое количество регулярных задач • Один человек не справляется Выход на стабильный уровень
  32. 32. 3. Команда поддержки • Большое количество регулярных задач • Один человек не справляется • Поддержка все еще может спать Выход на стабильный уровень
  33. 33. 3. Команда поддержки • Большое количество регулярных задач • Один человек не справляется • Поддержка все еще может спать • Первые организационные сложности Выход на стабильный уровень
  34. 34. 3. Команда поддержки • Архитектурные проблемы – затыкание дыр Проблемы
  35. 35. 3. Команда поддержки • Архитектурные проблемы – затыкание дыр • Много задач со статусом «срочно» и «надо было вчера» Проблемы
  36. 36. 3. Команда поддержки • Архитектурные проблемы – затыкание дыр • Много задач со статусом «срочно» и «надо было вчера» • Много знаний в голове у людей Проблемы
  37. 37. 3. Команда поддержки • Архитектурные проблемы – затыкание дыр • Много задач со статусом «срочно» и «надо было вчера» • Много знаний в голове у людей • Еще нет формализации процессов поддержки Проблемы
  38. 38. 3. Команда поддержки • Акцент на стабильность и формализацию Рекомендации
  39. 39. 3. Команда поддержки • Акцент на стабильность и формализацию • Быстро научить админа нельзя Рекомендации
  40. 40. 3. Команда поддержки • Акцент на стабильность и формализацию • Быстро научить админа нельзя • Четкое расписание дежурств, эскалация Рекомендации
  41. 41. 3. Команда поддержки • Акцент на стабильность и формализацию • Быстро научить админа нельзя • Четкое расписание дежурств, эскалация • Четкая постановка задач, чеклисты Рекомендации
  42. 42. 3. Команда поддержки • Акцент на стабильность и формализацию • Быстро научить админа нельзя • Четкое расписание дежурств, эскалация • Четкая постановка задач, чеклисты • Шанс зафиксировать команду Рекомендации
  43. 43. 4. Спать больше нельзя 12-часовые смены
  44. 44. 4. Спать больше нельзя • Относится к крупным проектам или к бардаку 12-часовые смены
  45. 45. 4. Спать больше нельзя • Относится к крупным проектам или к бардаку • Проще не спать, чем спать 12-часовые смены
  46. 46. 4. Спать больше нельзя • Относится к крупным проектам или к бардаку • Проще не спать, чем спать • 12-часовые смены, 2 через 2 12-часовые смены
  47. 47. 4. Спать больше нельзя • Физически тяжело Проблемы, проблемы, проблемы
  48. 48. 4. Спать больше нельзя • Физически тяжело • Человеческий фактор Проблемы, проблемы, проблемы
  49. 49. 4. Спать больше нельзя • Физически тяжело • Человеческий фактор • Опять проблемы с расписанием Проблемы, проблемы, проблемы
  50. 50. 4. Спать больше нельзя • Физически тяжело • Человеческий фактор • Опять проблемы с расписанием • Высокая нагрузка Проблемы, проблемы, проблемы
  51. 51. 4. Спать больше нельзя • Людей должно быть много Рекомендации
  52. 52. 4. Спать больше нельзя • Людей должно быть много • Мониторим нагрузку на человека Рекомендации
  53. 53. 4. Спать больше нельзя • Людей должно быть много • Мониторим нагрузку на человека • Контролируем перегорание людей Рекомендации
  54. 54. 4. Спать больше нельзя • Людей должно быть много • Мониторим нагрузку на человека • Контролируем перегорание людей • Этот этап – переходный период Рекомендации
  55. 55. 5. Стабильная команда 8-часовые смены
  56. 56. 5. Стабильная команда • Хватает людей 8-часовые смены
  57. 57. 5. Стабильная команда • Хватает людей • Серьезный менеджмент 8-часовые смены
  58. 58. 5. Стабильная команда • Хватает людей • Серьезный менеджмент • Бэк-офис 8-часовые смены
  59. 59. 5. Стабильная команда • Очень сложно передаются знания Проблемы
  60. 60. 5. Стабильная команда • Очень сложно передаются знания • Не хватает инструментов Проблемы
  61. 61. 5. Стабильная команда • Очень сложно передаются знания • Не хватает инструментов • Огромный человеческий фактор Проблемы
  62. 62. 5. Стабильная команда • Очень сложно передаются знания • Не хватает инструментов • Огромный человеческий фактор • Классические проблемы роста Проблемы
  63. 63. 5. Стабильная команда • Повальная регламентация Рекомендации
  64. 64. 5. Стабильная команда • Повальная регламентация • Ресурсы – в оптимизацию инструментов Рекомендации
  65. 65. 5. Стабильная команда • Повальная регламентация • Ресурсы – в оптимизацию инструментов • Борьба с самоуправством Рекомендации
  66. 66. 5. Стабильная команда • Повальная регламентация • Ресурсы – в оптимизацию инструментов • Борьба с самоуправством • С людьми надо разговаривать Рекомендации
  67. 67. 6. Географически распределенная команда Максимальная бдительность
  68. 68. 6. Географически распределенная команда • Для проектов с критической важностью доступности Максимальная бдительность
  69. 69. 6. Географически распределенная команда • Для проектов с критической важностью доступности • Распределение по часовым поясам Максимальная бдительность
  70. 70. 6. Географически распределенная команда • Для проектов с критической важностью доступности • Распределение по часовым поясам • Больше организационных проблем Максимальная бдительность
  71. 71. 6. Географически распределенная команда • В регионах очень сложно найти людей Проблемы
  72. 72. 6. Географически распределенная команда • В регионах очень сложно найти людей • В крупных регионах – выше конкуренция Проблемы
  73. 73. 6. Географически распределенная команда • В регионах очень сложно найти людей • В крупных регионах – выше конкуренция • Коммуникации усложняются Проблемы
  74. 74. 6. Географически распределенная команда • В регионах очень сложно найти людей • В крупных регионах – выше конкуренция • Коммуникации усложняются • Сложности с передачей культуры компании Проблемы
  75. 75. 6. Географически распределенная команда • Проще открывать офисы в более развитых регионах Рекомендации
  76. 76. 6. Географически распределенная команда • Проще открывать офисы в более развитых регионах • «Высадка десанта» Рекомендации
  77. 77. 6. Географически распределенная команда • Проще открывать офисы в более развитых регионах • «Высадка десанта» • ??? Рекомендации
  78. 78. 7. Все вместе
  79. 79. 7. Все вместе • Сразу назначьте дежурных • Документируйте аварии • Нанимая, ориентируйтесь на способность работы в стрессовой среде • При росте оповещений – сначала стабилизируйте архитектуру/исправляйте проблемы и только потом нанимайте людей • Формализуйте расписание и назначьте ответственных • Избавляйтесь от знаний только «в голове» • 12-и часовые смены – зло • Мониторьте нагрузку на техподдержку • Разговаривайте с людьми
  80. 80. Спасибо за внимание! Евгений Потапов http://facebook.com/eapotapov eapotapov@itsumma.ru http://itsumma.ru

×