Successfully reported this slideshow.
Your SlideShare is downloading. ×

Tomáš Fejfar - Elk - Víc než jen logy (4. sraz přátel Symfony v Praze)

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad

Check these out next

1 of 15 Ad

Tomáš Fejfar - Elk - Víc než jen logy (4. sraz přátel Symfony v Praze)

Download to read offline

Jakmile máte větší aplikaci rozdělenou na více workerů nebo oddělené microservices běžící jako samostatné aplikace brzy se přestanete orientovat v množství logů, které servery generují. Navíc co se nedá měřit, to se nedá řídit. A logy se měřit dají. A já vám ukážu jak.

Jakmile máte větší aplikaci rozdělenou na více workerů nebo oddělené microservices běžící jako samostatné aplikace brzy se přestanete orientovat v množství logů, které servery generují. Navíc co se nedá měřit, to se nedá řídit. A logy se měřit dají. A já vám ukážu jak.

Advertisement
Advertisement

More Related Content

Viewers also liked (15)

Advertisement

More from Péhápkaři (20)

Advertisement

Tomáš Fejfar - Elk - Víc než jen logy (4. sraz přátel Symfony v Praze)

  1. 1. ELK Víc než jen logy
  2. 2. Co je ELK? ● Elasticsearch - dokumentová databáze s mocnou agregační vrstvou ● Logstash - parsování logů (+logstash-forwarder) ● Kibana - tenký klient na vizualizaci dat z elasticsearche
  3. 3. Proč ELK? ● přijde warning z icingy ○ Problem: web1 load is CRITICAL ○ Problem: CRON failed on web3 ● PANIKA! ● Odpovědi. Rychle.
  4. 4. Proč ELK ● Parsování access logů? sed, awk, grep? OMG WTF?! ● Do kterého logu to padá? ● Padá tam jen to důležité? ● Co je důležité?
  5. 5. Jak používá Shopio ● primárně: access a error logy na jednom místě ● odpověď na otázku: máme na serveru najednou velký load - je tam jen najednou víc lidí, nebo je problém jinde?
  6. 6. Proč ELK? STOP! DEMOTIME!
  7. 7. Co nás nejvíc baví ● perfektní hledání a agregace ○ jaké byly user agenty a IP v posledních 5min requestů na tenhle projekt? ○ který projekt přenesl nejvíc dat za poslední měsíc? ○ jak se poslední měsíc vyvíjí časy requestů, potom co jsme přidali dva nové eshopy? Kolik je 90-percentil? ○ nejpomalejší requesty za poslední hodinu?
  8. 8. Co nás nejvíc baví ● Instantní manažerské grafíky™ ○ V jakém poměru je projekt A a projekt B, co se týče počtu requestů (abychom jim podle toho mohli upravit cenu) ○ kdy tam měl tu neohlášenou 200x návštěvnost z žena.cz?
  9. 9. Co nás nejvíc baví
  10. 10. Proč ELK? STOP! SYMFONY DEMOTIME! https://github.com/tomasfejfar/monolog-logstash-demo
  11. 11. Co nás nejvíc trápí? ● Paměť - 1 den logů (=~2GB) a co není v paměti, je pomalé ● Logstash a Elastic na stejném serveru - oboje je Java a každé má ~ 2GB paměti ● Podivně nestabilní logstash - připojí se jako elasticsearch node do clusteru a občas nám ho shodí
  12. 12. Co nás ještě trápí? ● logstash ○ grok ○ blbě se to debuguje (nebo to dělám špatně :)) ○ občas vypadá, že nestíhá zpracovávat ○ řešení? rsyslog + elasticsearch
  13. 13. Takže? ● ELK je skvělý ● je vám schopný dát odpovědi na některé zásadní otázky ● není to “zadarmo” ● ve výsledku záleží, jestli to uplatíte. Pokud ano, tak do toho jděte! (a k tomu collectd)
  14. 14. Dotazy? twitter: @tomasfejfar web: tomasfejfar.cz
  15. 15. Díky za pozornost! twitter: @tomasfejfar web: tomasfejfar.cz

×