Современные тенденции сбора статистики. Graphite.

•

1 like•674 views

nezloi

Доклад для GeekFestRu 01.11.2014. Рассказ о современном мониторинге на примере graphite.

Technology

´ǮȀǿȈǸǻȄǺȈǲ
ǰǻǽǸȈȅǷǵµ
ǮǲǾǼǲǽǲǮǻǶǺǭȌǽǭǮǻǿǭ

´ǮȀǿȈǸǻȄǺȈǲ
ǰǻǽǸȈȅǷǵµ
ǮǲǾǼǲǽǲǮǻǶǺǭȌǽǭǮǻǿǭ
ǼǸǭǺǵǽǻǯǭǺǵǲ

´ǮȀǿȈǸǻȄǺȈǲ
ǰǻǽǸȈȅǷǵµ
ǽǲǭǷȃǵȌ
ǼǻǸȉǴǻǯǭǿǲǸǲǶ
ǮǲǾǼǲǽǲǮǻǶǺǭȌǽǭǮǻǿǭ
ǼǸǭǺǵǽǻǯǭǺǵǲ

´ǮȀǿȈǸǻȄǺȈǲ
ǰǻǽǸȈȅǷǵµ
ǽǲǭǷȃǵȌ
ǼǻǸȉǴǻǯǭǿǲǸǲǶ
ǮǲǾǼǲǽǲǮǻǶǺǭȌǽǭǮǻǿǭ
ǼǸǭǺǵǽǻǯǭǺǵǲ
ǮǵǴǺǲǾǸǻǰǵǷǭ

Система сбора метрик (идеальная)
XQL[ZD
ǾǭǹǻǻǮǾǸȀǳǵǯǭǲǹǻǶ

Система сбора метрик (идеальная)
XQL[ZD
ǾǭǹǻǻǮǾǸȀǳǵǯǭǲǹǻǶ
ȀǾǿǻǶȄǵǯǻǶ

Система сбора метрик (идеальная)
XQL[ZD
ǾǭǹǻǻǮǾǸȀǳǵǯǭǲǹǻǶ
ȀǾǿǻǶȄǵǯǻǶ
ǭǯǿǻǹǭǿǵǴǵǽǻǯǭǺǺǻǶ

Система сбора метрик (идеальная)
XQL[ZD
ǾǭǹǻǻǮǾǸȀǳǵǯǭǲǹǻǶ
ȀǾǿǻǶȄǵǯǻǶ
ǭǯǿǻǹǭǿǵǴǵǽǻǯǭǺǺǻǶ
ȀǺǵǯǲǽǾǭǸȉǺǻǶ

Система сбора метрик (идеальная)
XQL[ZD
ǾǭǹǻǻǮǾǸȀǳǵǯǭǲǹǻǶ
ȀǾǿǻǶȄǵǯǻǶ
ǭǯǿǻǹǭǿǵǴǵǽǻǯǭǺǺǻǶ
ȀǺǵǯǲǽǾǭǸȉǺǻǶ
ǷǽǭǾǵǯǻǶ

Graphite
carbon graphite
webapp
whisper
(принимающий демон) (хранилище)
(WEB API)

Graphite
- Горизонтально масштабируется
- Каждая метрика хранится в отдельном файле
- Кэширование
- API возвращает данные из памяти и с диска
- Правильная обработка нерегулярных метрик
- Уплотнение записи

- API для отрисовки графиков
# график загрузки одного сервера
http://graphite/render?target=server.web1.loadheight=800width=600
# средняя загрузка всех веб серверов 12 часов назад
http://graphite/render?target=averageSeries(server.web*.load)from=-12hours
# число пользователей в приложении в сыром формате обернутом в json
http://graphite/render?target=app.numUsersformat=json
# число новых пользователей за 1 минуту
http://graphite/render?target=summarize(derivative(app.numUsers),1min)
title=New_Users_Per_Minute

API
Graphite
сенсор
приложение
сенсор
демон
сенсор
демон
collectd
cpu
ram
storage
Grafana
elasticsearch

Docker Image for Graphite
https://github.com/hopsoft/docker-graphite-statsd
sudo docker run -d
--name graphite
-p 80:80
-p 2003:2003
-p 8125:8125/udp
hopsoft/graphite-statsd

Ссылки
- CollectD https://collectd.org
- Reimann http://riemann.io
- Metrics https://dropwizard.github.io/
- Logstash http://logstash.net
- Kibana http://www.elasticsearch.org/overview/kibana/
- Sensu http://sensuapp.org
- Graphite http://graphite.readthedocs.org
- Grafana http://grafana.org
- Блог http://derz.co

Современные тенденции сбора статистики. Graphite.

Viewers also liked

ποιος είναι ο Θεός (Β΄Λυκείου Μάθημα 4), επιμέλεια Αθανάσιος Σκαρπάρης

Θανάσης Σκαρπάρης

TECNOLOGÍA

Galanaruiz

MJOY ECON 3343 PAPER

Michael Joy

Το φαινόμενο της Θρησκείας (Β΄Λυκείου Μάθημα 3), Επιμέλεια Αθανάσιος Σκαρπάρης

Θανάσης Σκαρπάρης

The property exchange group

theproperty1

Sivko

kuchinskaya

The Journey and the Future of Oncology Massage

Society for Oncology Massage

MTF & S4OM: ACRONYMS THAT MATTER Cliff Korn, LMT, BCTMB – Vice President Cliff has been a professional massage therapist since 1993. He specializes in clinical and sports massage therapy and has been recognized as a specialist in event Sports Massage since 1996 when he was admitted to the AMTA National Sports Massage Team. He served as a member of the sports massage team that annually works with the John Hancock Elite Athlete Program in association with the Boston Marathon. Cliff is the former owner of Windham Health Center Neuromuscular Therapy LLC, in Windham, NH. He is Nationally Certified in Therapeutic Massage & Bodywork and is licensed as a massage therapist by the states of New Hampshire and Florida. Cliff is a certified member of Associated Bodywork and Massage Professionals (ABMP); a professional member and Past-President of the New Hampshire chapter of AMTA; a past Chairman of the National Certification Board for Therapeutic Massage and Bodywork (NCBTMB); served his profession for seven years as the inaugural Editor of the nationally distributed trade publication, Massage Today; was a 2009 inductee in the World Massage Festival’s Massage Therapy Hall of Fame; and serves as a Commissioner for the Commission on Massage Therapy Accreditation (COMTA). Cliff is a former member of the Massage Therapy Foundation’s Advisory Council and serves on the Foundation’s Executive, Finance, Governance, and Development Committees.

Massage Therapy Foundation & Society for Oncology Massage

Society for Oncology Massage

respuestas respondidas y un cuadro.

Galanaruiz

Применение нейросетей для обнаружения порно в контенте пользователей. 1. Порно. Как ловить: 10 человек премодерации или Нейронная сеть обученая на 1М+ порно фоток 2. Яху, 30 сентября, нейросеть, обученная нейросеть, открытый доступ, удобный запуск и внедрение 3. Коэффициенты от 0 до 1, менее 0.2, более 0.8 4. Собрал стенд и провел тестирование на 10к фото из П (Архивных фото), а так же на контрольной группе 1к порнофотосетов 5. П. Система не точна конечно же на 100%, но не точна она чаще всего в нашу пользу т.е. явная порнуха, писюны не пройдут 6. Писюны 7. Сиськи 8. Торсы. Попадают в порно 9. Порнозфотосеты. Почти всё было помечено порно, кроме таких случаев: Пока одеты считаются не порно 10. Хотя в редких случаях нейросеть ошибалась 11. Цифры 12. Вес поможет формировать правильную приоритетную очередь на модерацию 13. У нас добавляется 70к фото ежедневно. Если прогонять их через нейросеть, то на выходе будет 10.5к помечены как порно и 3.5к из них скорее всего будут порно. Что скажет саппорт? 14. Технические тайминги: 1 фото - 2.9 сек 15. ++++ неросети 16. ВОЗМОЖНОСТЬ ДООБУЧАТЬ

Yahoo открытая nsfw модель

nezloi

The wireless network monitoring data are abundant, as it seems relevant store information from devices and users connected, especially in an multicampus environment like Unesp. In this sense, the database tends to increase rapidly the number of records, being necessary to optimize the periodic cleaning routine of Zabbix data. Here are our way of improving the functioning of the "housekeeping" native application. Also will demonstrate the massive use of the data type "Zabbix Trapper" for flexible the list of informations of Wi-Fi infrastructure and techniques varied use of "low level discovery" for monitoring of wireless access points.

Zabbix Conference LatAm 2016 - Jessian Ferreira - Wireless with Zabbix

Zabbix

Tapping into the core

Positive Hack Days

Supercapacitors ppt hhd

Hrishikesh Dixit

About Zabbix Software: Zabbix is an enterprise-class open source distributed monitoring solution designed to monitor and track performance and availability of network servers, devices, services and other IT resources. Zabbix is an all-in-one monitoring solution that allows users to collect, store, manage and analyze information received from IT infrastructure, as well as display on-screen, and alert by e-mail, SMS or Jabber when thresholds are reached. Zabbix allows administrators to recognize server and device problems within a short period of time and therefore reduces the system downtime and risk of system failure. The monitoring solution is being actively used by SMBs and large enterprises across all industries and almost in every country of the world.

Introduction to Zabbix - Company, Product, Services and Use Cases

Zabbix

Sel saraf

nurizki

Bab i-tantangan-mi-di-abad-21

pravgayuh

Viewers also liked (16)

ποιος είναι ο Θεός (Β΄Λυκείου Μάθημα 4), επιμέλεια Αθανάσιος Σκαρπάρης

TECNOLOGÍA

MJOY ECON 3343 PAPER

Το φαινόμενο της Θρησκείας (Β΄Λυκείου Μάθημα 3), Επιμέλεια Αθανάσιος Σκαρπάρης

The property exchange group

Sivko

The Journey and the Future of Oncology Massage

Massage Therapy Foundation & Society for Oncology Massage

respuestas respondidas y un cuadro.

Yahoo открытая nsfw модель

Zabbix Conference LatAm 2016 - Jessian Ferreira - Wireless with Zabbix

Tapping into the core

Supercapacitors ppt hhd

Introduction to Zabbix - Company, Product, Services and Use Cases

Sel saraf

Bab i-tantangan-mi-di-abad-21

Similar to Современные тенденции сбора статистики. Graphite.

Арсен Мукучян, AdRiver

Ontico

РИТ++ 2017, Web-scale IT Сonference Зал Владивосток, 6 июня, 16:00 Тезисы: http://webscaleconf.ru/2017/abstracts/2555.html Teradata, Exadata, Netezza и другие представители мира машин баз данных в этом докладе будут классифицированы, препарированы, а также будет обсуждена задача создания новых таких машин. Все эти машины — не просто сбалансированные комплекты из серверных узлов с предустановленной СУБД в той или иной конфигурации. Во всех случаях в них реализованы программные специфики, подразумевающие применение архитектурных или аппаратных возможностей, недоступных «вразвалку» (хотя в некоторых случаях есть возможности по воссозданию отдельных их элементов в лабораторных условиях, и об этом тоже будет в докладе). Таким образом, этот материал не столько о том, в шкаф какого цвета разные вендоры упаковали свою продукцию, сколько об идеях, заложенных внутри этих комплексов. ...

Машины баз данных: таксономия, анатомия, эволюция, ареал, воспроизведение / А...

Ontico

Машины баз данных на Web-scale IT — 2017 (РИТ++)

Andrei Nikolaenko

Гиперконвергентное решение Cisco HyperFlex

Cisco Russia

Машины баз данных: концентрированное обозрение

Andrei Nikolaenko

1. Описание старого процесса сбора данных о тестах: как было до, что хорошего, что плохого 2. Influxdb, как хранилище time-series данных, 3. Zabbix - мониторинг нагрузочных стендов: windows и linux агенты, активный сбор данных, autodiscovery виртуальных машин в esx 4. Grafana, как способ превратить графики и дашборды в конфетку 5. Автоматизация нагрузки от пользователей через web-UI при помощи Jmeter, отображение статистики в реальном времени, CI в Teamcity

Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...

Positive Hack Days

DUMP-2013 Serverside - Архитектура Битрикс24 в Amazon Web Services – изнутри ...

it-people

Описание аспектов портирования и тестирования выполнения задачи построения клиентских профилей платформой управления данными 1DMP на программно-аппаратном комплексе Oracle Big Data Appliance. Топология развертывания. Hardware. Software. Результаты тестирования.

CleverDATA_Oracle Cloud BI Day 2015

CleverDATA

Aлександр Зайцев, LifeStreet

Ontico

Graphite@Scale: Как сохранять миллионы точек в секунду

Vladimir Smirnov

HighLoad++ 2017 Зал «Москва», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/3014.html Мы планируем поделиться с аудиторией примером SuccessStory создания BigData-инфраструктуры (Hadoop) в Почте России. Мы расскажем про выбранные решения, мотивацию их выбора, а также про то, куда развивается продукт в Почте. Доклад будет интересен всем проектам и компаниям, где только задумываются о развитии BigData-технологий, а также всем, кому интересно узнать, как устроена "внутри" современная Почта. ...

BigПочта: как мы строили DataLake в Почте России / Алексей Вовченко (Luxoft)

Ontico

Наша рекламная сеть прошла путь от 1М до 150M показов в сутки. На этом пути пришлось столкнуться с проблемами при логировании и анализе больших объемов данных. В итоге отказались от использования NonSQL базы данных и выбрали column-based InfoBright. В своем докладе я расскажу, как мы накапливаем, храним, обрабатываем и анализируем сотни гигабайт информации в день c использованием InfoBright.

Андрей Федоренчик- «Высоконагруженная система с аналитикой на InfoBright»

Tanya Denisyuk

В докладе на примере системы метапоиска aviasales будет рассмотрен переход от монолитной архитектуры RoR приложения к многозвенной системе внутренней разработки на базе tornado/python в целях ослабления зависимостей между подсистемами, упрощения контроля за потоком данных и изоляции потенциальных аварийных ситуаций. Будут рассмотрены побочные эффекты этого перехода, такие как устойчивость к пиковым нагрузкам, упрощение схемы выкатки обновлений и сокращение потребляемых машинных ресурсов.

Антон Щербаков, Отказоустойчивость на примере aviasales — почему даже если на...

Tanya Denisyuk

Выбор системы мониторинга - это практически holy-war-ная тема среди администраторов и разработчиков. Какая система лучше? Что удобнее? Какая система сможет выдержать большое количество статистики, а какая - лучше собрать и представить данные? В своем докладе мы попробуем предельно непредвзято рассмотреть существующие решения и понять, что и когда можно использовать. Прежде всего, мы постараемся сделать доклад не сравнением feature-листов, а рассмотреть особенности практического применения разных систем для конкретной задачи - для сайта, который не должен падать (а точнее - для возможности оперативно отреагировать на аварию, понять что к ней привело, и как можно ее исправить).

Мониторинг в высоконагруженных (и не только) проектах: сравнительный анализ с...

Anton Baranov

Мониторинг в высоконагруженных (и не только) проектах: сравнительный анализ с...

Ontico

В какой-то момент кто-то в интернете решил: всё, что мы можем вычислить, мы должны вычислить где-то на “большой мощной машине”. Так родилась заново идея “тонкого клиента”, поработившая сознание разработчиков современных веб-приложений. Всё, на что способно пользовательское приложение, в 90% кейсов сегодня - красиво отрисовать контент по данным, рассчитанным удаленной машиной в одном из дата-центров. При этом сложность расчетов и разнообразие данных растет быстрее, чем линейно, требуя все больше вычислительных ресурсов “больших мощных машин”, а также усилий по их проектированию, разработке, сопровождению, что в конечном счете приводит ко все более возрастающей стоимости владения.  Однако, при этом растет разнообразие и, что немаловажно, мощность клиентских мобильных девайсов - основных потребителей того самого контента. Парадокс заключается в том, что рост этот не приводит к очередной смене парадигмы разработки, никто не хочет переносить вычисления к клиенту и тем самым снижать возрастающие затраты эксплуатации. Отчасти это объясняется понятным образом: ресурсы мобильных устройств ограничены памятью и временем работы от аккумулятора, их хочется экономить. Однако, чем дальше развивается эта аппаратно-программная история, тем всё менее убедительно выглядят такие аргументы. Пора запустить очередную фазу развития спирали - вернуться к разговору о новых “толстых клиентах” с новыми знаниями о том, как экономить исчерпаемые ресурсы их аппаратной части. И да - клиентов много, их вычисления нам ничего не стоят. В этом докладе будет рассказано о том: - почему уже хорошо перемещать вычисления к мобильному клиенту, а не нагружать серверную часть; - какие средства доступны для разработчика на одной из мобильных платформ; - какие трюки позволят сократить время вычислений и энергопотребление; - почему быстро - не всегда энергоэффективно. А также немного поговорим о вычислительной моде. Модные API прямо в телефоне: - CNN (сверточная нейронная сеть) с железным ускорением. - Металлические сети компараторов.

"Распределенные" вычисления на мобильных платформах. Зачем еще нужен "металли...

Ontico

О чем доклад: - Как в нашем проекте устроен Zabbix, применяемые нами способы автоматизации, собственные методы "дискавери" серверов и сервисов. Плюс как правильно держать Zabbix под высокой нагрузкой и не упираться в ресурсы серверов. - Для чего мы используем Pinba, какие именно метрики помогают нам узнать о реальных проблемах пользователей. - Как мы храним графики в RRD. Мониторинг этих графиков: User activity monitoring. - Zabbix -> RRD => Capacity Planning. Как быстро найти слабые места среди кластеров в десятки и сотни нод.

Доклад Ильи Аблеева на DevOps Meetup "Мониторинг высоконагруженного проекта".

Badoo Development

Аналитика над петабайтами в реальном времени

CodeFest

Аналитика над петабайтами в реальном времени

Alexander Demidko

Параллельные и распределенные вычисления

MATLAB

Similar to Современные тенденции сбора статистики. Graphite. (20)

Арсен Мукучян, AdRiver

Машины баз данных: таксономия, анатомия, эволюция, ареал, воспроизведение / А...

Машины баз данных на Web-scale IT — 2017 (РИТ++)

Гиперконвергентное решение Cisco HyperFlex

Машины баз данных: концентрированное обозрение

Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...

DUMP-2013 Serverside - Архитектура Битрикс24 в Amazon Web Services – изнутри ...

CleverDATA_Oracle Cloud BI Day 2015

Aлександр Зайцев, LifeStreet

Graphite@Scale: Как сохранять миллионы точек в секунду

BigПочта: как мы строили DataLake в Почте России / Алексей Вовченко (Luxoft)

Андрей Федоренчик- «Высоконагруженная система с аналитикой на InfoBright»

Антон Щербаков, Отказоустойчивость на примере aviasales — почему даже если на...

Мониторинг в высоконагруженных (и не только) проектах: сравнительный анализ с...

"Распределенные" вычисления на мобильных платформах. Зачем еще нужен "металли...

Доклад Ильи Аблеева на DevOps Meetup "Мониторинг высоконагруженного проекта".

Аналитика над петабайтами в реальном времени

Параллельные и распределенные вычисления

Современные тенденции сбора статистики. Graphite.

1. Современные тенденции сбора статистики

3. ǮǲǾǼǲǽǲǮǻǶǺǭȌǽǭǮǻǿǭ

4. ´ǮȀǿȈǸǻȄǺȈǲ ǰǻǽǸȈȅǷǵµ ǮǲǾǼǲǽǲǮǻǶǺǭȌǽǭǮǻǿǭ

5. ´ǮȀǿȈǸǻȄǺȈǲ ǰǻǽǸȈȅǷǵµ ǮǲǾǼǲǽǲǮǻǶǺǭȌǽǭǮǻǿǭ ǼǸǭǺǵǽǻǯǭǺǵǲ

6. ´ǮȀǿȈǸǻȄǺȈǲ ǰǻǽǸȈȅǷǵµ ǽǲǭǷȃǵȌ ǼǻǸȉǴǻǯǭǿǲǸǲǶ ǮǲǾǼǲǽǲǮǻǶǺǭȌǽǭǮǻǿǭ ǼǸǭǺǵǽǻǯǭǺǵǲ

7. ´ǮȀǿȈǸǻȄǺȈǲ ǰǻǽǸȈȅǷǵµ ǽǲǭǷȃǵȌ ǼǻǸȉǴǻǯǭǿǲǸǲǶ ǮǲǾǼǲǽǲǮǻǶǺǭȌǽǭǮǻǿǭ ǼǸǭǺǵǽǻǯǭǺǵǲ ǮǵǴǺǲǾǸǻǰǵǷǭ

8. CACTI

9. ZENOSS

10. ZABBIX

11. NAGIOS

12. Система сбора метрик (идеальная)

13. Система сбора метрик (идеальная) XQL[ZD

14. Система сбора метрик (идеальная) XQL[ZD ǾǭǹǻǻǮǾǸȀǳǵǯǭǲǹǻǶ

15. Система сбора метрик (идеальная) XQL[ZD ǾǭǹǻǻǮǾǸȀǳǵǯǭǲǹǻǶ ȀǾǿǻǶȄǵǯǻǶ

16. Система сбора метрик (идеальная) XQL[ZD ǾǭǹǻǻǮǾǸȀǳǵǯǭǲǹǻǶ ȀǾǿǻǶȄǵǯǻǶ ǭǯǿǻǹǭǿǵǴǵǽǻǯǭǺǺǻǶ

17. Система сбора метрик (идеальная) XQL[ZD ǾǭǹǻǻǮǾǸȀǳǵǯǭǲǹǻǶ ȀǾǿǻǶȄǵǯǻǶ ǭǯǿǻǹǭǿǵǴǵǽǻǯǭǺǺǻǶ ȀǺǵǯǲǽǾǭǸȉǺǻǶ

18. Система сбора метрик (идеальная) XQL[ZD ǾǭǹǻǻǮǾǸȀǳǵǯǭǲǹǻǶ ȀǾǿǻǶȄǵǯǻǶ ǭǯǿǻǹǭǿǵǴǵǽǻǯǭǺǺǻǶ ȀǺǵǯǲǽǾǭǸȉǺǻǶ ǷǽǭǾǵǯǻǶ

19.

20. CollectD

21. CodaHale lib

22. Logstash+Kibana

23. Reimann

24. Sensu

25. Graphite+Grafana

26. Graphite carbon graphite webapp whisper (принимающий демон) (хранилище) (WEB API)

27. Graphite - Горизонтально масштабируется - Каждая метрика хранится в отдельном файле - Кэширование - API возвращает данные из памяти и с диска - Правильная обработка нерегулярных метрик - Уплотнение записи

28. - гибкая система хранения метрик

29. - API для отрисовки графиков # график загрузки одного сервера http://graphite/render?target=server.web1.loadheight=800width=600 # средняя загрузка всех веб серверов 12 часов назад http://graphite/render?target=averageSeries(server.web*.load)from=-12hours # число пользователей в приложении в сыром формате обернутом в json http://graphite/render?target=app.numUsersformat=json # число новых пользователей за 1 минуту http://graphite/render?target=summarize(derivative(app.numUsers),1min) title=New_Users_Per_Minute

30.

31. API Graphite сенсор приложение сенсор демон сенсор демон collectd cpu ram storage Grafana elasticsearch

32.

33.

34.

35.

36.

37. Docker Image for Graphite https://github.com/hopsoft/docker-graphite-statsd sudo docker run -d --name graphite -p 80:80 -p 2003:2003 -p 8125:8125/udp hopsoft/graphite-statsd

38. Ссылки - CollectD https://collectd.org - Reimann http://riemann.io - Metrics https://dropwizard.github.io/ - Logstash http://logstash.net - Kibana http://www.elasticsearch.org/overview/kibana/ - Sensu http://sensuapp.org - Graphite http://graphite.readthedocs.org - Grafana http://grafana.org - Блог http://derz.co

Современные тенденции сбора статистики. Graphite.

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (16)

Similar to Современные тенденции сбора статистики. Graphite.

Similar to Современные тенденции сбора статистики. Graphite. (20)

Современные тенденции сбора статистики. Graphite.