Мониторинг XXI-век, Алиса Смирнова, Дима Никоненко

1,468 views

Published on

Published in: Technology

Мониторинг XXI-век, Алиса Смирнова, Дима Никоненко

  1. 1. Мониторинг XXI век Алиса Смирнова, Дима Никоненко, Женя Бурнаев Группа нагрузочного тестирования Highload++, Москва, 25-26 октября 2010 года
  2. 2. Поговорим про мониторинги
  3. 3. План1. Пороговый мониторинг vs Хороший 2. Оглянемся вокруг 3. Математические методы для мониторинга 4. Подробно рассмотрим повседневную задачу 5. Проведем аналогии 6. Общий подход к построению хорошего мониторинга 7. Примеры использования
  4. 4. 1. Пороговый мониторинг vs Хороший 2. Оглянемся вокруг 3. Математические методы для мониторинга 4. Рассмотрим повседневную задачу 5. Проведем аналогии 6. Общий подход к построению хорошего
  5. 5. Пороговый мониторинг
  6. 6. Звенит, когда уже все сломалось
  7. 7. Хороший мониторинг
  8. 8. Звенит, когда еще не сломалось...
  9. 9. ...но скоро сломается
  10. 10. Можно успеть принять меры
  11. 11. Пороговый мониторинг
  12. 12. Срабатывает при каждом пересечении
  13. 13. Хороший мониторинг
  14. 14. Срабатывает один раз и по делу
  15. 15. Нет ложных тревог!
  16. 16. Как найти хороший мониторинг?
  17. 17. 1. Пороговый мониторинг vs Хороший 2. Оглянемся вокруг 3. Математические методы для мониторинга 4. Рассмотрим повседневную задачу 5. Проведем аналогии 6. Общий подход к построению хорошего мониторинга 7. Примеры использования
  18. 18. В медицине - мониторинг эпидемий
  19. 19. В навигации - мониторинг неисправностей датчиков
  20. 20. В технике - мониторинг износа деталей
  21. 21. В экономике - мониторинг трендов
  22. 22. А еще...
  23. 23. ...мониторинг сейсмоактивности
  24. 24. Давным-давно...
  25. 25. Но сейчас...
  26. 26. Глобальная система...
  27. 27. ...из тысяч сейсмографов
  28. 28. Сейсмоактивность — это случайный процесс
  29. 29. Нужен тонкий инструмент
  30. 30. Чтобы было просто
  31. 31. Данные Система мониторинга Сигнал тревоги
  32. 32. И надежно
  33. 33. Точность
  34. 34. Быстрота
  35. 35. В сейсмологии такая система уже есть
  36. 36. В ее основе — умная математика полувековой выдержки
  37. 37. 1. Пороговый мониторинг vs Хороший 2. Оглянемся вокруг 3. Математические методы для мониторинга 4. Рассмотрим повседневную задачу 5. Проведем аналогии 6. Общий подход к построению хорошего мониторинга
  38. 38. А подробнее Существуют общие математические методы: — Контрольные карты (Shewhart W.A., 1931); — Метод кумулятивных сумм (Page E.S., 1954); — Метод экспоненциально взвешенного скользящего среднего (Roberts S.W., 1959); — Фильтр Калмана (Kalman R.E., 1960); — Байесовские методы (Girshick M.A., Rubin H., 1952; Ширяев А.Н., 1961); — Процедура Ширяева-Робертса (Ширяев А.Н., 1961; Roberts S.W., 1966); — Метод на основе обобщенного отношения правдоподобия (Willsky A.S., 1976).
  39. 39. Из чего они возникли?
  40. 40. Пуассоновский процесс
  41. 41. А решается она так: Много формул.
  42. 42. 1. Пороговый мониторинг vs Хороший 2. Оглянемся вокруг 3. Математические методы для мониторинга 4. Рассмотрим повседневную задачу 5. Проведем аналогии 6. Общий подход к построению хорошего мониторинга 7. Примеры использования
  43. 43. Пороговый мониторинг
  44. 44. Хороший мониторинг
  45. 45. И стало вот так
  46. 46. Как применить для мониторинга любого Интернет-сервиса?
  47. 47. 1. Пороговый мониторинг vs Хороший 2. Оглянемся вокруг 3. Математические методы для мониторинга 4. Рассмотрим повседневную задачу 5. Проведем аналогии 6. Общий подход к построению хорошего мониторинга 7. Примеры использования
  48. 48. — Асимптотически оптимальные методы (на основе обобщенного отношения правдоподобия) выявления разладки в случае нескольких каналов наблюдений (Никифоров 2000, 2003; Тартаковский, Розовский 2006, 2008). — Оптимальные методы обнаружения разладки для случая платы за получение новых наблюдений (Ширяев, 2010) — Методы обнаружения разладки для процессов со скачками (Пешкир, Ширяев, 2000). — Методы обнаружения разладки для диффузионных процессов (Гапеев, Ширяев, 2009) Современные методы
  49. 49. От теории — к практике
  50. 50. 1. Пороговый мониторинг vs Хороший 2. Оглянемся вокруг 3. Математические методы для мониторинга 4. Рассмотрим повседневную задачу 5. Проведем аналогии 6. Общий подход к построению хорошего мониторинга 7. Примеры
  51. 51. Все сервисы разные
  52. 52. Постановка задачи
  53. 53. Что мониторить?
  54. 54. Что считать разладкой?
  55. 55. Какой должна быть —Точность обнаружения —Вероятность ложного срабатывания
  56. 56. Сбор данных
  57. 57. Предобработка...
  58. 58. ...слияние данных из разных источников
  59. 59. ...выделение циклов
  60. 60. ...нормировка
  61. 61. Эксперименты
  62. 62. Подбор параметров
  63. 63. Настройка сигналов о разладке
  64. 64. Автоматизация
  65. 65. Оценка результата
  66. 66. Радость!
  67. 67. 2. Оглянемся вокруг 3. Математические методы для мониторинга 4. Рассмотрим повседневную задачу 5. Проведем аналогии 6. Общий подход к построению хорошего мониторинга 7. Примеры
  68. 68. Лунапарк
  69. 69. Автоматическое выявление разладок
  70. 70. Автоматическое выявление разладок
  71. 71. Обучение на 500 размеченных тестах При анализе используется время ответа, HTTP- и сетевые коды ответов Точность обнаружения разладки около 97% при вероятности ложного срабатывания <1% Автоматическое выявление разладок
  72. 72. Мониторинг продакшн-кластера
  73. 73. Атаки на систему авторизации
  74. 74. Не только “да/ нет”...
  75. 75. ...но и масштаб проблемы
  76. 76. Умный мониторинг — Математически доказанная эффективность; — Масштабируемость; — Гибкость настройки.
  77. 77. Вопросы?
  78. 78. Алиса Смирнова, Дима Никоненко, Женя Бурнаев Группа нагрузочного тестирования 119021, Россия, Москва, ул. Льва Толстого, д. 16 +7 (495) 739-00-00 +7 (495) 739-70-70 — факс zero@yandex-team.ru nikonenko@yandex-team.ru

×