Talk given at LOAD #8 about Demotix's transition to the cloud.

1. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
Cloud to the rescue
How I learned to stop worrying and love the cloud
1
Wednesday, May 29, 13

2. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
2
Despre mine
Alexandru Badiu
Lucrez cu Drupal de 10 ani, membru
fondator al Drupal Romania.
Senior developer la Demotix / Corbis.
Twitter @voidberg
Web ctrlz.ro
Wednesday, May 29, 13

3. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
3
1
La început
Wednesday, May 29, 13

4. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
Demotix
4
‣ Rețea pentru fotojurnaliști freelance
‣ Ca AP sau Reuters dar cu echipe locale
‣ Echipă remote
‣ Fără exclusivitate, fără cedare de copyright
‣ Împărțim profitul cu tine
‣ Alegerile din Iran, Bahrain, revoltele “Arab Spring”
‣ Parte din Corbis
Wednesday, May 29, 13

5. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
Demotix
5
Shakhoora, Bahrain
Wednesday, May 29, 13

6. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
La început
6
‣ Pe cloud de la început
‣ Prototipul și versiunea alpha au stat în cloud
‣ Mediul de dezvoltare a rămas în cloud
‣ Ne-am mutat pentru suport mai bun
‣ Avem nevoie de suport 24/7
‣ Site-ul avea predispoziție pentru a crăpa de sărbători
‣ Mișcarea a fost bună
‣ Disk IO mai bun
‣ Hardware dedicat
Wednesday, May 29, 13

7. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
La început
7
‣ 1 server web
‣ Varnish
‣ Apache, mod_php
‣ 1 server BD
‣ MySQL
‣ 1 server utilitar
‣ Memcached
‣ Solr
‣ Server FTP
‣ Beanstalk
Wednesday, May 29, 13

8. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
La un moment dat
8
‣ 1.5+ milioane de page views pe lună
‣ Foarte mult conținut
‣ Spikes cu 100k + views într-o zi
‣ 14 GB+ BD
‣ 1M+ noduri, și mai multe categorii (10M+)
‣ 3-5k noduri noi pe zi
‣ 200GB+ de imagini și video
‣ Unele directoare au mai mult de 750K de fișiere
‣ 80% trafic anonim
‣ 6k utilizatori activi
Wednesday, May 29, 13

9. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
La un moment dat
9
‣ Spikes
‣ Singulare
‣ Imaginile cu bombardamentele din Oslo au devenit virale
‣ Firewall-ul a cedat
‣ Per evenimente
‣ Nunta regală
‣ Alegeri
‣ Olimpiada
‣ Dev = Staging = Production
‣ Flexibilitate
Wednesday, May 29, 13

10. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
Cloud-ul pentru noi
10
‣ Servere noi oricând
‣ Downscale / Upscale oricând
‣ Spațiu de stocare nelimitat
‣ Plătești doar ce folosești
‣ Fără contracte complicate
‣ Control total
Wednesday, May 29, 13

11. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
Setup-ul de vis
11
‣ 1+ Load balancer
‣ Varnish
‣ 3+ servere web
‣ Nginx, PHP-FPM
‣ 2+ servere BD
‣ MariaDB
‣ 2+ server utilitare
‣ Memcached
‣ Solr
‣ FTP Server
‣ Beanstalk
Wednesday, May 29, 13

12. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
DIY
12
De ce să nu plătești pe alții să facă asta pentru
tine?
‣ Control - SaaS este, de multe ori, o cutie neagră
‣ Complexitate - Nu ne potriveam cu soluțiile
generice
‣ Dacă totuși poți să o faci, fă-o
Wednesday, May 29, 13

13. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
13
2
Probleme
Wednesday, May 29, 13

14. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
14
Slice (Cât de mare este partea ta?)
‣ Majoritatea furnizorilor împart serverele în bucăți egale de cpu/
ram/disk și le vând.
‣ Uneori poți adăuga alte resurse necesare, uneori nu.
‣ Asta e o problemă pentru serverele de fișiere.
IO prost
‣ Discurile sunt locale sau în rețea?
#1 - Slice
Wednesday, May 29, 13

15. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
15
Legi
‣ UE are legi legate de unde poți trimite și ține datele utilizatorilor.
‣ E posibil ca firma să nu poată stoca date sensibile în cloud.
Utilizatori
‣ E posibil ca cloud-ul să nu fie acolo unde sunt și utilizatorii tăi.
‣ CDN-urile pot ajuta în acest caz.
#2 - Amplasare
Wednesday, May 29, 13

16. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
16
Mai multe severe, mai multe probleme
‣ E posibil să fie nevoie de muncă suplimentară pentru ca aplicația
ta să poată fi scalată în cloud.
Suport tehnic
‣ Există? Cât de rapid este?
‣ La 3 dimineața?
‣ În ziua de Crăciun
#3 - Suport tehnic
Wednesday, May 29, 13

17. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
17
Trebuie să fii un sysadmin sau să devii unul
Serverele cad la 3 dimineața
‣ Sisteme de monitorizare
‣ Instrucțiuni pentru cazuri de urgență
‣ Recuperare după dezastre
#4 - Control total
Wednesday, May 29, 13

18. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
18
Furnizorii de soluții cloud diferă foarte mult
‣ Slice-uri diferite
‣ Diverse metode de alocare a lățimii de bandă
‣ Diverse pachete de suport tehnic
‣ Performanță foarte diferită
Supravânzare
‣ Se întâmplă des
#5 - 1 != 1
Wednesday, May 29, 13

19. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
19
3
Alegerea
Wednesday, May 29, 13

20. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
20
Cloudharmony.com
Wednesday, May 29, 13

21. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
21
DB
Wednesday, May 29, 13

22. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
22
Disk/IO
Wednesday, May 29, 13

23. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
23
Mem/IO
Wednesday, May 29, 13

24. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
24
CPU
Wednesday, May 29, 13

25. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
25
Oferă tot ce ai nevoie?
‣ CDN?
‣ Spațiu de stocare suficient?
‣ Suport tehnic bun?
‣ Foarte scump?
Testează
‣ Există o perioadă de testare gratuită?
‣ Testează cu o copie cât mai apropiată de situl tău.
‣ AB / Siege pentru sistemul de cache
‣ HTTPERF sau JMeter pentru replay la logurile serverului web
‣ Monitorizare cu Munin/Cacti/NewRelic
Apoi?
Wednesday, May 29, 13

26. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
26
Demotix nu e un exemplu bun pentru testare.
Folosim o distribuție Drupal, eCommerce Kickstart
Folosim Puppet pentru a instala sistemul
Benchmark cu BlazeMeter
JMeter în cloud
Modul Drupal
Prietenoși
Monitorizare cu NewRelic (cont gratuit cu BlazeMeter)
Testare
Wednesday, May 29, 13

27. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
27
4GB ram plus cu ce vine fiecare ofertă
https://github.com/a-c-m/puppet-drupal-lamp
20 de url-uri din magazinul online
7 utilizatori anonimi
7 utilizatori autentificați
10 minute
Testare
Wednesday, May 29, 13

28. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
28
4GB ram plus cu ce vine fiecare ofertă
https://github.com/a-c-m/puppet-drupal-lamp
20 de url-uri din magazinul online
7 utilizatori anonimi
7 utilizatori autentificați
10 minute
Testare
Wednesday, May 29, 13

29. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
29
Amazon
Rackspace Cloud
Microsoft Azure
Dediserve
LunaCloud
Testare
Wednesday, May 29, 13

30. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
30
Testare
Wednesday, May 29, 13

31. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
31
4
Stocare
Wednesday, May 29, 13

32. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
32
Mai mult de un server web?
https://www.getpantheon.com/news/inside-
pantheon-valhalla-filesystem
Stocare
Wednesday, May 29, 13

33. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
33
NFS
Server cu mult spațiu de stocare + NFS
Soluție veche, testată și funcțională
Un singur punct de eșec
În funcție de furnizor - server cu 64 GB RAM
Gluster FS
Impresionant dar nu e potrivit pentru Drupal
Mai complicat dar merită
SAN, HekaFS, Cloudfuse, s3fs etc
Stocare
Wednesday, May 29, 13

34. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
34
5
CDN
Wednesday, May 29, 13

35. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
35
De ce este nevoie?
Wednesday, May 29, 13

36. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
36
Push (CloudFiles, Amazon S3)
Fără trafic redundant
Mai complex de instalat
Pull
Foarte simplu de instalat
Mult trafic redundant
DNS (Cloudflare / Incapsula)
Preia control asupra DNS-ului tău
Oferă mai multe (protecție, optimizare)
CDN
Wednesday, May 29, 13

37. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
37
6
Ce am facut?
Wednesday, May 29, 13

38. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
38
Ce am facut?
Am ales Dediserve
http://dediserve.com
Wednesday, May 29, 13

39. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
39
Demotix azi ‣ 1 Load balancer
‣ Varnish
‣ 6 Web servers
‣ Apache, mod_php
‣ 1 server DB
‣ MariaDB
‣ 2 servere utilitare
‣ Memcached
‣ Solr
‣ FTP Server
‣ Beanstalk
Wednesday, May 29, 13

40. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
40
Puppet
NFS
Pull CDN
Dediserve + Monitor.us
Splunk
Jenkins + Github
Ce am facut?
Wednesday, May 29, 13

41. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
41
7
Concluzii
Wednesday, May 29, 13

42. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
42
Cloud-ul nu este un “magic bullet”.
Furnizorii diferă foarte mult.
Benchmarking-ul poate diferenția furnizorii.
Cel mai bun benchmark este propria aplicație
folosind trafic real.
Stocarea fișierelor poate fi complicată.
CDN-urile pot oferi un spor de performanță fără
muncă complexă.
Concluzii
Wednesday, May 29, 13

43. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
43
jobs@demotix.com
Developer (Drupal /
Angular / Node.js / etc)
Devops
Wednesday, May 29, 13

44. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
44
DrupalCamp Târgu Mures
2 si 3 Noiembrie 2013
http://mures2013.drupalcamp.ro/
Wednesday, May 29, 13

45. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue
LOAD
45
Thanks!
Questions?
Alexandru Badiu.
Twitter @voidberg
Web http://ctrlz.ro
Email andu@ctrlz.ro
D.O http://drupal.org/user/8662
Wednesday, May 29, 13