Download to read offline
Uploaded byMax Klymyshyn
KharkovPy #12: I/O in Python apps and smart logging (russian)
Документ обсуждает проблемы с логами и анализом состояния в приложениях, возникающими из-за редких ошибок и сложности тестирования множества вариантов данных. Предлагаются решения, включая применение умных логов и хранение состояния для более эффективного анализа. Также акцентируется внимание на важности настройки логов для улучшения разработки и тестирования приложений.
KharkovPy #12: I/O in Python apps and smart logging (russian)
- 1. @maxmaxmaxmaxМАКСИМ КЛИМИШИН CTO GVMachinesInc. I/O в приложениях, логи со смыслом
- 2.
- 3.
- 4.
- 5.
- 6. Проблема Багив кодеиливбизнеслогике,возникающие при оченьредкомстеченииобстоятельств превращаютсявовполнеконкретноевремя командыподдержкии/илиразработки, потраченныенаанализ
- 7.
- 8.
- 9. Перваямысль Решения ‣ Больше тестов ‣Больше QA ‣ Итеративноисправлять
- 10.
- 11. Подходы Решения ‣ Хранениесостояния,gdb,pdb,strace ‣ текстовыелоги ‣логицепочек,логиизмененийобъектов
- 12.
- 13.
- 14. Состояние 1. Мыможемхранитьслепкисостояния 2. Мыможемхранитьвыводутилиттипаstrace, tcpdump 3.Мыможемхранитьлогвсехизменений внутриприложения(CREATE-UPDATE- DELETE)
- 15.
- 16. Когдауместенанализ Состояние 1. Когдамызнаем,вчемпроблема 2. Когдамызнаемгдепроблема 3.Когдамыможемчастичноограничить выполнениеприложениядляисследования
- 17. Примерpdb Состояние # test.py from remote_pdbimport RemotePdb RemotePdb('127.0.0.1', 4444).set_trace() # client shell $ socat readline tcp:127.0.0.1:4444
- 18. Пример strace Состояние # shell strace-f python simple_numbers.py # output: read(3, "n = input("n=")na = range(n+1)na"..., 264) = 264 read(3, "n i += 1nprint lstn", 4096) = 22 close(3) = 0 munmap(0x7fe4f39ec000, 4096) = 0 stat("simple_numbers.py", {st_mode=S_IFREG|0644, st_size=286, ...}) = 0 open("simple_numbers.py", O_RDONLY) = 3 fstat(3, {st_mode=S_IFREG|0644, st_size=286, ...}) = 0 ioctl(3, SNDCTL_TMR_TIMEBASE or SNDRV_TIMER_IOCTL_NEXT_DEVICE or TCGETS, 0x7ffea1fa1e60) = -1 ENOTTY (Inappropriate ioctl for device)
- 19.
- 20. Простыелоги Умные логи 1. Вовремяразработкивозникаетжелание писатьтекстовыелоги 2.Взависимостиотзадачиидомена подробностьлоговварьирует 3. Зачастую пишутсяколичественныепоказатели (количествоэлементов,размерытп)
- 21.
- 22.
- 23. Умные логи ‣ Важнознатькогдапроизошлиизменения состояния ‣ Надописать чтоизменилосьикогда ‣ Возможно,дампитьданные,которыебыли удалены
- 24. Умные логи obj XCREATE X LOGAPP … … TIME obj X UPDATE X
- 25. Примерлога Умные логи # badone INFO 2016-02-13 02:32:30,901 invalidator 3351 Changed 1 ids within User, start invalidation... INFO 2016-02-13 02:32:30,916 invalidator 3351 Invalidation of User finished within 0.0149869918823 seconds # better one INFO 2016-02-13 02:32:30 invalidator User 123123 created INFO 2016-02-13 02:40:04 invalidator User 123123 updated # best one INFO 2016-02-13 02:32:30 invalidator User 123123 created INFO 2016-02-13 02:40:04 invalidator User 123123 updated, fields: name=Jo => John, phone= “” => 8572043434
- 26. Умные логи ‣ Можнопостроитьхронологиюсобытий ‣ Можнопользоватьсяпростым grep-ом ‣ Можетразобратьсяпользователь,без доскональногопонимания архитектуры приложения Вчемразница?
- 27. Умные логи ‣ Сделатьлогисконтекстом – добавлятькусочек JSON ‣ Дополнительнописатьдомен-специфичные данные– результатывычислений,время выполненияи т.п. ‣ Агрегироватьразныетипылогаисоздавать цепочкисобытий Ачтоещеможно?
- 28. Умные логи ‣ Splunk–Becauseninjasaretoobusy ‣Logstash– ProcessAnyData,FromAnySource ‣ Graylog–Opensourcelogmanagementthat actuallyworks Чтоужеесть
- 29. Этогонедостаточно Умные логи 1. Впервыйденьиспользования Splunkмы превысили5GB/деньтекстовыхлогов 2. Это было3.5годаназад!
- 30. Проблемыслогами Умные логи 1. Объем– нужноаккуратнодобавлятьв инструментыновыелоги,следитьзаобъемом заединицувремени 2. Межнодовый трафик– нодыанализаторов лучшедержатьводномдатацентрес приложениями
- 31. Возможные решения Умные логи 1.Ротировать скакой-тогранулярностью, архивироватьи заливать 2. Держать всеводномДЦ 3. Уменьшать размерlogpayload
- 32.
- 33. Зачемэтонадопрограммисту? Выводы ‣ Писатьподдерживаемыесистемыэтокрутои ценно ‣ Думатьнашагбольшевперед–этоотличает хорошихотлучших
- 34.