Na Budějovickém ČTVRTKONu jsme prezentovali, jak používáme v praxi SPOT INSTANCES servery na AWS a pracujeme na vyšší spolehlivosti celého systému při zachování ekonomického rozumu.
Implementace Openstacku v LMC – představy vs. realita Jaroslav Jacjuk
Michal Rychlík, System Administrator LMC
Proč jsme se rozhodli jít cestou cloudu namísto vlastního HW? Jaká byla naše původní očekávání a jaká pak byla skutečnost? Jaké jsou problémy, na které jsme při implementaci narazili a stále narážíme? O to vše se rád s vámi podělím.
Openstack Newton
Zdeněk Janda, CTO Cloudinfrastack
Představení poslední verze Openstack Newton v kostce. Novinky v možnostech jednotlivých Openstack služeb, vysoká dostupnost, distribuovaná storage Ceph, orchestrace a Docker kontejnery. Deployment Openstacku a monitoring. Praktické zkušenosti a live demo.
node.js: zápisky z fronty (Battle guide to node.js)almadcz
[czech] V Apiary používáme node.js v produkci už přes rok.
Proč se zamyslet nad tím, zda ho chcete? A na co se připravit a na co si dát pozor, pokud se do toho pustíte?
Implementace Openstacku v LMC – představy vs. realita Jaroslav Jacjuk
Michal Rychlík, System Administrator LMC
Proč jsme se rozhodli jít cestou cloudu namísto vlastního HW? Jaká byla naše původní očekávání a jaká pak byla skutečnost? Jaké jsou problémy, na které jsme při implementaci narazili a stále narážíme? O to vše se rád s vámi podělím.
Openstack Newton
Zdeněk Janda, CTO Cloudinfrastack
Představení poslední verze Openstack Newton v kostce. Novinky v možnostech jednotlivých Openstack služeb, vysoká dostupnost, distribuovaná storage Ceph, orchestrace a Docker kontejnery. Deployment Openstacku a monitoring. Praktické zkušenosti a live demo.
node.js: zápisky z fronty (Battle guide to node.js)almadcz
[czech] V Apiary používáme node.js v produkci už přes rok.
Proč se zamyslet nad tím, zda ho chcete? A na co se připravit a na co si dát pozor, pokud se do toho pustíte?
Webinář: Oracle DBA - RAC - Úvod do problematikyTomas Solar
Vysvětlení základního konceptu RAC. Jaký je rozdíl oproti single databázi. Proč se daná technologie instaluje a jaké jsou její výhody. Představení utilit pro správu a vysvětlení základních principů.
Webinář: Unikátní funkce a novinky ve Veeam Backup & Replication verze 7 / 27...Jaroslav Prodelal
Od 15.8.2013 je k dispozici nová verze nástroje pro ochranu dat Veeam Backup & Replication. Tato v pořadí již sedmá verze výjimečného software pro zálohování a replikaci virtuální infrastruktury přináší opět řadu unikátních technologických novinek, které vám v tomto webináře představíme.
Součástí webináře budou kromě informací o nových funkcích také informace k novému licencování, přidání nové edice a změně v cenách.
Zúčastněte se webináře a zajistěte si tak informace, ještě před vydáním nové verze.
Agenda:
------------
* co je Veeam Backup & Replication?
* technologické novinky ve verzi 7
* licencování
* dostupné edice
* nové ceny platné od 1.7.2013
* aktuální promo akce
Najde se ještě někdo, kdo neslyšel o jedničce v ochraně virtuální infrastruktury - nástroji Veeam Backup & Replication?! Nyní ve verzi 9 přináší Veeam B&R již řadu let inovace do oblasti ochrany dat ve virtuálním prostředí pro VMware vSphere i Microsoft Hyper-V.
Zúčastněte se našeho webináře a my vám představíme vlastnosti Veeam Backup & Replication, které pomáhá malým i velkým organizacím s ochranou dat v jejich infrastruktuře.
Program webináře
-Záloha nebo obnova, co je důležitější?
-RPO, RTO, DR, a další.
-Představení produktu Veeam Backup & Replication.
-Klíčové vlastnosti řešení.
-Zálohování a replikace do cloudu.
-Dostupné edice a jejich srovnání.
-Licencování a ceny.
-Nástroje Veeam dostupné zdarma.
Webinář je určen zejména pro zájemce o produkt Veeam Backup & Replication, je ale vhodný i pro stávající uživatele, kterým oživí některé zapomenuté vlastnosti.
Na přelomu roku 2017 a 2018 prošlo naším školením na 350 zájemců z řad našich zákazníků. Karel hladiš předal své zkušenosti nejen o základech SEO, ale také například o SERP features.
Webinář: Oracle DBA - RAC - Úvod do problematikyTomas Solar
Vysvětlení základního konceptu RAC. Jaký je rozdíl oproti single databázi. Proč se daná technologie instaluje a jaké jsou její výhody. Představení utilit pro správu a vysvětlení základních principů.
Webinář: Unikátní funkce a novinky ve Veeam Backup & Replication verze 7 / 27...Jaroslav Prodelal
Od 15.8.2013 je k dispozici nová verze nástroje pro ochranu dat Veeam Backup & Replication. Tato v pořadí již sedmá verze výjimečného software pro zálohování a replikaci virtuální infrastruktury přináší opět řadu unikátních technologických novinek, které vám v tomto webináře představíme.
Součástí webináře budou kromě informací o nových funkcích také informace k novému licencování, přidání nové edice a změně v cenách.
Zúčastněte se webináře a zajistěte si tak informace, ještě před vydáním nové verze.
Agenda:
------------
* co je Veeam Backup & Replication?
* technologické novinky ve verzi 7
* licencování
* dostupné edice
* nové ceny platné od 1.7.2013
* aktuální promo akce
Najde se ještě někdo, kdo neslyšel o jedničce v ochraně virtuální infrastruktury - nástroji Veeam Backup & Replication?! Nyní ve verzi 9 přináší Veeam B&R již řadu let inovace do oblasti ochrany dat ve virtuálním prostředí pro VMware vSphere i Microsoft Hyper-V.
Zúčastněte se našeho webináře a my vám představíme vlastnosti Veeam Backup & Replication, které pomáhá malým i velkým organizacím s ochranou dat v jejich infrastruktuře.
Program webináře
-Záloha nebo obnova, co je důležitější?
-RPO, RTO, DR, a další.
-Představení produktu Veeam Backup & Replication.
-Klíčové vlastnosti řešení.
-Zálohování a replikace do cloudu.
-Dostupné edice a jejich srovnání.
-Licencování a ceny.
-Nástroje Veeam dostupné zdarma.
Webinář je určen zejména pro zájemce o produkt Veeam Backup & Replication, je ale vhodný i pro stávající uživatele, kterým oživí některé zapomenuté vlastnosti.
Na přelomu roku 2017 a 2018 prošlo naším školením na 350 zájemců z řad našich zákazníků. Karel hladiš předal své zkušenosti nejen o základech SEO, ale také například o SERP features.
Průzkum konkurence za pomoci POWERBI - GOPAY on-line dílna 02/2018Collabim
Na GOPAY on-line dílně Dalibor ukazoval jak efektivně prozkoumat SERp za pomoci Collabim a to do několika minut. Krátce se také věnoval představení POWERBI, které v našich analýzách používáme.
Webinář - Collabim - Jak zlepšit pozice na Google a Seznamu a zároveň by...Collabim
Pro LIGS university jsme připravili webinář představující Collabim business sféře. Tentokrát Petr Cihlář ukazuje nejen základy systému Collabim, ale také pokročilé funkci určené k průzkumu konkurence.
Větší data v klasickém webstacku - BARCAMP České Budějovice 02/2018Collabim
Na BARCAMPu Dalibor mluvil o tom, jak lze zpracovat větší data v klasickém webstacku - poodhalil tak zákoutí interního systému jednoho z největších poskytovatelé internetu v ČR.
Collabim již není jen pro SEO, nově také pro PPC segment. V této prezentaci popisuje Dalibor, co vše u nás mohou PPC specialisti nalézt a proč konečně může SEO a PPC spolupracovat.
1. ‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑AWS spot instances‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑
Aneb jak jsme z jednoho serveru udělali 9
pak 5
a navíc ušetřili.
‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑ ‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑
Dalibor Jaroš
‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑ ‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑
2. Obsah
Počáteční stav ‑ struktura aplikace
Monitoring
Docker pryč
První škálování jedné části a první problémy
První větší SI fail ‑ max bid price
Druhá vlna škálování
Odbočka ‑ handy využití RDS pro přepočet obřích dat
Další využití na státním hackathonu
Zkušenosti z provozu a ekonomika
Kam dál?
3. AWS slovníček
Instance ‑ jeden virtuální server
Typ instance r4.2xlarge, m3.medium apod.
Tři typy instance:
on‑demand (nejdražší)
reserved (rozum)
spot instance (hazard )
https://www.ec2instances.info
AWS spot instances, Dalibor Jaroš 3
4. Počáteční stav ‑ struktura aplikace
Jedna on‑demand instance ‑ c4.2xlarge (0,4 USD/hod.)
Vše v dockeru
PHP, MYSQL, NGINX, REDIS, ELK‑stack
Aplikace jako pseudo‑micro‑service
App, tracker, billing, answers, mail‑queue, proxy servers
Škálování vcelmi rychlé ‑ docker
Ovlivňování výkonu mezi aplikacemi, problém s náhodným loadem
Problém s diskem ‑ magnet vs. SSD, IOPS
AWS spot instances, Dalibor Jaroš 4
6. Monitoring
ELK stack
PROMETHEUS + Grafana, MUNIN ‑> Datadog
mnohem lepší warningy, kompozity
horší dostupnost na mobilu
webhooks ‑> slack + SMS (lambda)
platí se za server!!! (a sakra bacha na docker ‑ v ceně je jen pár containerů)
92 USD / month ‑> 15 USD / month
AWS spot instances, Dalibor Jaroš 6
7. Docker pryč
Proč? ‑> neznalost, druhá vrstva virtualizace
Problémy na produkci (minoritní)
Sehnat experta byl nadliský úkol, do kterého se mi ani nechtělo
Náhlá impotence ‑> blokace root disku pro write, docker nenastartoval
Memory issues
Někdy se prostě nenastartovaly nějaké containery
Výhody
!výkon!
rychlost škálování workerů
Na produkci vydržel cca 5 měsíců
AWS spot instances, Dalibor Jaroš 7
8. První škálování jedné části a první problémy ‑ 04/2017
Přepis install/deploy z capistrano do ansible (APP)
vznik projektu orchestration
load balancer, využití devtestu jako horké zálohy
stěhování z CIRCLE CI do Gitlabu
první problém s IP ‑ limit AWS, ansible, dynamický inventář
AWS spot instances, Dalibor Jaroš 8
9. První větší SI fail ‑ max bid price
!nespoléhat se na max bid price!
nutnost dělat AMIčka
diverzifikace do různých zón
AWS spot instances, Dalibor Jaroš 9
11. Druhá vlna škálování ‑ 11/2017
TRACKER
výkonostní workeři
problém se sdíleným EBS diskem
alternativa EFS, jenže 3x dražší
benchmark testy
MONGO
MYSQL
APACHE + NGINX + lightweight PHP skript
Cassandra
AWS spot instances, Dalibor Jaroš 11
12. Benchmark testy ‑ GET
test
počet uložených
záznamů
čas na get ‑
ms
dva servery apache, 10 geetter, 60 saver 43748 + 43712 50
dva servery apache save, nginx read, 10 getter, 60
saver
55556 + 55434 45
2xmysql 2x200000 5,3
2xmysql batched 10 2x200000 2,5
2xmysql batched 100 2x200000 0,9
2xmysql batched 1000 2x200000 0,09
AWS spot instances, Dalibor Jaroš 12
13. Benchmark testy ‑ SAVE
test počet uložených záznamů čas na save ‑ ms
2xmysql 2x114654 6,11
2xmysql, batch 2 2x1600 4
2xmysql, batch 10 2x32840 3,53
AWS spot instances, Dalibor Jaroš 13
14. Odbočka ‑ handy využití RDS pro přepočet větších dat
problém s tagama a historií rozložení pozic
cca 2 roky problém
miliony řádku v DTB
je třeba přepočítat 2 roky zpět na cca 40tis. projektech
snapshot z noci ‑> nová instance
šílená MYSQL query
jednoduchý worker
týden přepočtu ‑> výsledná tabulka, copy na hlavní RDS a UPDATE (10 minut)
kill instance
AWS spot instances, Dalibor Jaroš 14
16. Další využití RDS na státním hackathonu
potřeba sdílené MYSQL pro POWERBI na cca 4 hodiny
natažení finálních dat z MYSQL ‑> POWERBI
kill instance
dnes už bych dělal přes spot (ansible mysql server, případně docker ‑> je to mnohem
jednodušší)
AWS spot instances, Dalibor Jaroš 16
17. Zkušenosti z provozu a ekonomika
neuvěřitelná volnost, know‑how
bez omezení na platformu (mimo monitoringu a lambdy vše vlastní řešení), snížení výdajů,
více než trojnásobný výkon
AWS spot instances, Dalibor Jaroš 17
18. Kam dál?
dynamické škálování podle provozu (AWS cli)
problém se zastaralým AMI ‑> skripty na tvorbu vlastních aktuálních AMI
RDS škálování
RABBIT škálování
AWS spot instances, Dalibor Jaroš 18