Cloud to the rescue? How I learned to stop worrying and love the cloud

217
-1

Published on

Talk given at LOAD #8 about Demotix's transition to the cloud.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
217
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Cloud to the rescue? How I learned to stop worrying and love the cloud

  1. 1. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD Cloud to the rescue How I learned to stop worrying and love the cloud 1 Wednesday, May 29, 13
  2. 2. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 2 Despre mine Alexandru Badiu Lucrez cu Drupal de 10 ani, membru fondator al Drupal Romania. Senior developer la Demotix / Corbis. Twitter @voidberg Web ctrlz.ro Wednesday, May 29, 13
  3. 3. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 3 1 La început Wednesday, May 29, 13
  4. 4. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD Demotix 4 ‣ Rețea pentru fotojurnaliști freelance ‣ Ca AP sau Reuters dar cu echipe locale ‣ Echipă remote ‣ Fără exclusivitate, fără cedare de copyright ‣ Împărțim profitul cu tine ‣ Alegerile din Iran, Bahrain, revoltele “Arab Spring” ‣ Parte din Corbis Wednesday, May 29, 13
  5. 5. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD Demotix 5 Shakhoora, Bahrain Wednesday, May 29, 13
  6. 6. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD La început 6 ‣ Pe cloud de la început ‣ Prototipul și versiunea alpha au stat în cloud ‣ Mediul de dezvoltare a rămas în cloud ‣ Ne-am mutat pentru suport mai bun ‣ Avem nevoie de suport 24/7 ‣ Site-ul avea predispoziție pentru a crăpa de sărbători ‣ Mișcarea a fost bună ‣ Disk IO mai bun ‣ Hardware dedicat Wednesday, May 29, 13
  7. 7. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD La început 7 ‣ 1 server web ‣ Varnish ‣ Apache, mod_php ‣ 1 server BD ‣ MySQL ‣ 1 server utilitar ‣ Memcached ‣ Solr ‣ Server FTP ‣ Beanstalk Wednesday, May 29, 13
  8. 8. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD La un moment dat 8 ‣ 1.5+ milioane de page views pe lună ‣ Foarte mult conținut ‣ Spikes cu 100k + views într-o zi ‣ 14 GB+ BD ‣ 1M+ noduri, și mai multe categorii (10M+) ‣ 3-5k noduri noi pe zi ‣ 200GB+ de imagini și video ‣ Unele directoare au mai mult de 750K de fișiere ‣ 80% trafic anonim ‣ 6k utilizatori activi Wednesday, May 29, 13
  9. 9. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD La un moment dat 9 ‣ Spikes ‣ Singulare ‣ Imaginile cu bombardamentele din Oslo au devenit virale ‣ Firewall-ul a cedat ‣ Per evenimente ‣ Nunta regală ‣ Alegeri ‣ Olimpiada ‣ Dev = Staging = Production ‣ Flexibilitate Wednesday, May 29, 13
  10. 10. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD Cloud-ul pentru noi 10 ‣ Servere noi oricând ‣ Downscale / Upscale oricând ‣ Spațiu de stocare nelimitat ‣ Plătești doar ce folosești ‣ Fără contracte complicate ‣ Control total Wednesday, May 29, 13
  11. 11. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD Setup-ul de vis 11 ‣ 1+ Load balancer ‣ Varnish ‣ 3+ servere web ‣ Nginx, PHP-FPM ‣ 2+ servere BD ‣ MariaDB ‣ 2+ server utilitare ‣ Memcached ‣ Solr ‣ FTP Server ‣ Beanstalk Wednesday, May 29, 13
  12. 12. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD DIY 12 De ce să nu plătești pe alții să facă asta pentru tine? ‣ Control - SaaS este, de multe ori, o cutie neagră ‣ Complexitate - Nu ne potriveam cu soluțiile generice ‣ Dacă totuși poți să o faci, fă-o Wednesday, May 29, 13
  13. 13. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 13 2 Probleme Wednesday, May 29, 13
  14. 14. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 14 Slice (Cât de mare este partea ta?) ‣ Majoritatea furnizorilor împart serverele în bucăți egale de cpu/ ram/disk și le vând. ‣ Uneori poți adăuga alte resurse necesare, uneori nu. ‣ Asta e o problemă pentru serverele de fișiere. IO prost ‣ Discurile sunt locale sau în rețea? #1 - Slice Wednesday, May 29, 13
  15. 15. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 15 Legi ‣ UE are legi legate de unde poți trimite și ține datele utilizatorilor. ‣ E posibil ca firma să nu poată stoca date sensibile în cloud. Utilizatori ‣ E posibil ca cloud-ul să nu fie acolo unde sunt și utilizatorii tăi. ‣ CDN-urile pot ajuta în acest caz. #2 - Amplasare Wednesday, May 29, 13
  16. 16. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 16 Mai multe severe, mai multe probleme ‣ E posibil să fie nevoie de muncă suplimentară pentru ca aplicația ta să poată fi scalată în cloud. Suport tehnic ‣ Există? Cât de rapid este? ‣ La 3 dimineața? ‣ În ziua de Crăciun #3 - Suport tehnic Wednesday, May 29, 13
  17. 17. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 17 Trebuie să fii un sysadmin sau să devii unul Serverele cad la 3 dimineața ‣ Sisteme de monitorizare ‣ Instrucțiuni pentru cazuri de urgență ‣ Recuperare după dezastre #4 - Control total Wednesday, May 29, 13
  18. 18. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 18 Furnizorii de soluții cloud diferă foarte mult ‣ Slice-uri diferite ‣ Diverse metode de alocare a lățimii de bandă ‣ Diverse pachete de suport tehnic ‣ Performanță foarte diferită Supravânzare ‣ Se întâmplă des #5 - 1 != 1 Wednesday, May 29, 13
  19. 19. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 19 3 Alegerea Wednesday, May 29, 13
  20. 20. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 20 Cloudharmony.com Wednesday, May 29, 13
  21. 21. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 21 DB Wednesday, May 29, 13
  22. 22. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 22 Disk/IO Wednesday, May 29, 13
  23. 23. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 23 Mem/IO Wednesday, May 29, 13
  24. 24. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 24 CPU Wednesday, May 29, 13
  25. 25. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 25 Oferă tot ce ai nevoie? ‣ CDN? ‣ Spațiu de stocare suficient? ‣ Suport tehnic bun? ‣ Foarte scump? Testează ‣ Există o perioadă de testare gratuită? ‣ Testează cu o copie cât mai apropiată de situl tău. ‣ AB / Siege pentru sistemul de cache ‣ HTTPERF sau JMeter pentru replay la logurile serverului web ‣ Monitorizare cu Munin/Cacti/NewRelic Apoi? Wednesday, May 29, 13
  26. 26. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 26 Demotix nu e un exemplu bun pentru testare. Folosim o distribuție Drupal, eCommerce Kickstart Folosim Puppet pentru a instala sistemul Benchmark cu BlazeMeter JMeter în cloud Modul Drupal Prietenoși Monitorizare cu NewRelic (cont gratuit cu BlazeMeter) Testare Wednesday, May 29, 13
  27. 27. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 27 4GB ram plus cu ce vine fiecare ofertă https://github.com/a-c-m/puppet-drupal-lamp 20 de url-uri din magazinul online 7 utilizatori anonimi 7 utilizatori autentificați 10 minute Testare Wednesday, May 29, 13
  28. 28. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 28 4GB ram plus cu ce vine fiecare ofertă https://github.com/a-c-m/puppet-drupal-lamp 20 de url-uri din magazinul online 7 utilizatori anonimi 7 utilizatori autentificați 10 minute Testare Wednesday, May 29, 13
  29. 29. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 29 Amazon Rackspace Cloud Microsoft Azure Dediserve LunaCloud Testare Wednesday, May 29, 13
  30. 30. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 30 Testare Wednesday, May 29, 13
  31. 31. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 31 4 Stocare Wednesday, May 29, 13
  32. 32. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 32 Mai mult de un server web? https://www.getpantheon.com/news/inside- pantheon-valhalla-filesystem Stocare Wednesday, May 29, 13
  33. 33. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 33 NFS Server cu mult spațiu de stocare + NFS Soluție veche, testată și funcțională Un singur punct de eșec În funcție de furnizor - server cu 64 GB RAM Gluster FS Impresionant dar nu e potrivit pentru Drupal Mai complicat dar merită SAN, HekaFS, Cloudfuse, s3fs etc Stocare Wednesday, May 29, 13
  34. 34. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 34 5 CDN Wednesday, May 29, 13
  35. 35. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 35 De ce este nevoie? Wednesday, May 29, 13
  36. 36. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 36 Push (CloudFiles, Amazon S3) Fără trafic redundant Mai complex de instalat Pull Foarte simplu de instalat Mult trafic redundant DNS (Cloudflare / Incapsula) Preia control asupra DNS-ului tău Oferă mai multe (protecție, optimizare) CDN Wednesday, May 29, 13
  37. 37. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 37 6 Ce am facut? Wednesday, May 29, 13
  38. 38. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 38 Ce am facut? Am ales Dediserve http://dediserve.com Wednesday, May 29, 13
  39. 39. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 39 Demotix azi ‣ 1 Load balancer ‣ Varnish ‣ 6 Web servers ‣ Apache, mod_php ‣ 1 server DB ‣ MariaDB ‣ 2 servere utilitare ‣ Memcached ‣ Solr ‣ FTP Server ‣ Beanstalk Wednesday, May 29, 13
  40. 40. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 40 Puppet NFS Pull CDN Dediserve + Monitor.us Splunk Jenkins + Github Ce am facut? Wednesday, May 29, 13
  41. 41. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 41 7 Concluzii Wednesday, May 29, 13
  42. 42. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 42 Cloud-ul nu este un “magic bullet”. Furnizorii diferă foarte mult. Benchmarking-ul poate diferenția furnizorii. Cel mai bun benchmark este propria aplicație folosind trafic real. Stocarea fișierelor poate fi complicată. CDN-urile pot oferi un spor de performanță fără muncă complexă. Concluzii Wednesday, May 29, 13
  43. 43. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 43 jobs@demotix.com Developer (Drupal / Angular / Node.js / etc) Devops Wednesday, May 29, 13
  44. 44. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 44 DrupalCamp Târgu Mures 2 si 3 Noiembrie 2013 http://mures2013.drupalcamp.ro/ Wednesday, May 29, 13
  45. 45. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 45 Thanks! Questions? Alexandru Badiu. Twitter @voidberg Web http://ctrlz.ro Email andu@ctrlz.ro D.O http://drupal.org/user/8662 Wednesday, May 29, 13

×