Систематизированный подход к поиску и устранению неисправностей

1. Систематизированный подход к поиску и устранению неисправностей
Ильина-Сидорова Ирина
© 2014 Cisco and/or its affiliates. All rights reserved.
24.11.2014

2. Систематизированный подход к поиску и устранению неисправностей
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved.
• Зачем это нужно?
• Что влияет на выбор метода решения?
• Почему
TACведёт себя так?
• Определение проблемы и триггера
• Workaround, solution, root cause
• Что делать, если норма неизвестна?
• Небольшая игра
• Вопросы
2

3. Какие варианты у нас есть?

Опыт

Случайный поиск

Принцип пяти «почему»

Анализ по Kepner-Tregoe

Полная замена сбойной системы
© 2014 Cisco and/or its affiliates. All rights reserved.
24.11.2014
Зачем нам нужен какой-то специальный подход?
3

4. Что влияет на выбор метода решения?

Наши знания

Срочность

Важность

Стоимость

Природа проблемы
5 Whys и KTPA –ключ к успеху, особенно если применяются опытным инженером
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 4

5. Почему TACведёт себя так?
•
Все инженеры TACпроходят KT-тренинг
•
Все инженеры TACобязаны поддерживать определённый формат записей
•
Всегда существует вероятность передачи кейса другому инженеру
•
При привлечении инженеров верхнего уровня или разработчиков, выполнение требований KT-анализа обязательно
•
Это действительно работает!
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 5

6. Фазы поиска и устранения неисправности
•
Обнаружение
•
Изоляция проблемы
•
Идентификация
•
Описание проблемы
•
Описание не-проблемы
•
Решение
•
Выработка теорий о возможных причинах
•
Проверка возможных причин
•
Окончательное решение
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 6

7. •
Проблема –отклонение от нормы
•
Выяснение полного и точного описания проблемы –первый шаг на пути её решения
•
Какое поведение системы является отклонением, а какое –следствием?
•
Значения «по умолчанию» у каждого свои
•
5 Whys помогают выявить потенциальные отклонения и следствия отклонений
© 2014 Cisco and/or its affiliates. All rights reserved.
724.11.2014
Изоляция проблемы

8. Параметры описания проблемы
•
Kepner-TregoeProblem Analysis позволяет очертить рамки проявления проблемы:

Что?

Где?

Когда?

Что ещё?
•
Присутствует/Отсутствует отклонение
•
Важная часть анализа –выявление паттерна
•
Зная паттерн, пробуем установить триггер
•
Любая дополнительная информация важна
•
Не пытаемся сразу предполагать причину!
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 8

9. Проверка возможных причин
•
В рамках мысленного эксперимента
•
С уточнением описания проблемы
•
Важный вопрос: где проблема могла бы проявиться, но НЕ проявляется?
•
Упор на выработку пути решения
•
Ресурсоёмкость проверки имеет значение
•
Последний этап проверки может совмещаться с применением временного решения
•
Не принимаем причину в качестве наиболее вероятной без проверки
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 9

10. Алгоритм анализа проблемы
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 10
Анализ решения
Анализ внесённых изменений
Анализ первопричин
Подтверждение истинной причины
Проверка предположений
Наблюдение
Попытка применения решения
Проверка возможных причин
Мысленный эксперимент
Выделение наиболее вероятной причины
Идентифицируем потенциальные причины
Знания
Опыт
Найденные различия
Найденные изменения
Описываем проблему
Выделение симптомов
Уточнение, в чём именно проблема

11. •
В качестве результата могут выступать:

временное решение-workaround

устранение отклонения-solution

анализ первопричины проблемы–root cause analysis
•
Любая теория требует проверки
•
Решение должно быть применимо в реальной ситуации
•
Решение не должно привносить новые нежелательные отклонения
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 11
Workaround, Solution, Root Cause

12. Временное решение -Workaround
•
Не устраняет отклонение, однако минимизирует возможность его негативного влияния
•
Далеко не всегда затрагивает первопричину проблемы
•
Может быть окончательным
•
Может ухудшать решение, однако положительный эффект от его применения перевешивает
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 12

13. Решение -Solution
•
Решение проблемы –устраняет нежелательное отклонение, либо делает невозможным его негативное влияние
•
Решением проблемы является восстановление работоспособности в полном объёме
•
Решение проблемы не всегда возможно
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 13

14. Первопричина проблемы -Root Cause
•
Фактор, изменив который, мы решим проблему
•
Не всегда может быть установлена
•
Нахождение первопричины не обязательно для решения проблемы, однако желательно в большинстве случаев
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 14

15. Что делать, если норма неизвестна?
•
Типичная ситуация для новых инсталляций
•
Необходимо чётко обозначить желаемый результат
•
Результат должен быть практически достижим
•
В случае зацикливания –переопределяем желаемый результат
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 15

16. 24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 16
Небольшая игра

17. Первичное описание проблемы
•
Два сервера взаимодействуют с использованием протокола https
•
Административный интерфейс серверов –командная строка (cli) и gui
•
Один из серверовдоступен пользователям по https
•
Второй находится за межсетевым экраном
•
Пользователи получают данные со второго сервера, обработанные первым сервером, заходя на первый сервер по https
•
Сегодня пользователи не могут получить необходимые им данные
•
К концу рабочего дня необходимо сформировать отчёты, используя недостающие данные
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 17

18. Симптомыи доступная информация
Лог-файлы с обоих серверов
Описание административного доступак обоим серверам
Описание попытки подключиться к обоим серверам по https
Описание поведения клиента
Конфигурация межсетевого экрана
Лог-файл с межсетевого экрана
Отдел безопасности запрещает любые незащищённые соединения к серверам(весь персонал отдела на конференции до понедельника)
В компании используется внутренний CA для выпуска сертификатов для защиты https-соединений, сертификаты доступны, выпуском управляет отдел безопасности
Время на серверах синхронизируется посредством протокола NTP (и оно известно)
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 18

19. …
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 19
Server
#1
Server
#2

20. Решение
Проблема:
Что: сервер №2, НЕ сервер№1
Где: в подсистеме сертификатов, GUIaccess, HTTPS; НЕ cli
Когда: c 08.11.2014постоянно; НЕ ранее
Что ещё: выписать новый сертификат невозможно до понедельника; проблему необходимо решить до конца текущего дня.
Workaround:
Откатить время на сервере№2, используя CLI, до момента, когда старый сертификат окажется действительным. Добиться успешной инициализации GUI.
Сгенерировать временный сертификат самостоятельно. Загрузить его на сервер№2.
Вернуть время к текущим значениям. Убедиться в успешной синхронизации по NTP.
Загрузить временный сертификат в trusted list сервера№1.
Удостовериться в успешной работе сервисов.
Решение:
Подать заявку на генерацию нового сертификата.
Получить новый сертификат, применить его на сервере №2.
Удалить временный сертификат с обоих серверов. Проверить успешную работу сервисов.
Первопричина:
Вовремя не обновлён сертификат на сервере №2 по причине отсутствия соответствующей внутренней политики. Необходимо разработать внутренние нормативные документы.
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved. 20

21. CiscoRu Cisco CiscoRussia
Ждем ваших сообщений с хештегом
#CiscoConnectRu
Пожалуйста, заполните анкеты
Используйте код для оценки доклада
4927
Ваше мнение очень важно для нас
Спасибо за внимание!
24.11.2014
© 2014 Cisco and/or its affiliates. All rights reserved.