Escalabilidade, as modas, (No)SQL

1,694 views

Published on

Apresentação na PGBR2011

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,694
On SlideShare
0
From Embeds
0
Number of Embeds
427
Actions
Shares
0
Downloads
8
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Escalabilidade, as modas, (No)SQL

  1. 1. Escalabilidade, as modas e (No)SQL Fernando Ike
  2. 2. SQL
  3. 3. SQL
  4. 4. Por que?
  5. 5. Bala de Prata
  6. 6. Bala de Prata ● + de 20 anos como “A” solução ● ORM (Object-relational mapping) ● Transação ● Chave Composta ● Chave Estrangeira ● Porto seguro (ACID) ● Fácil representação (Entidade-Relacional) ● Padronização (SQL)
  7. 7. BIG DATA, 1980
  8. 8. Meu trabalho com BIG DATA...
  9. 9. Meu trabalho com BIG DATA...210 Terabytes/Mês
  10. 10. Meu trabalho com BIG DATA...210 Terabytes/Mês2,5 Petabyte/Ano
  11. 11. Internet das “Coisas”
  12. 12. Internet das “Coisas”
  13. 13. Tecnocoisas Geotagging GPS RFID Near Field Communication Machine2MachineObject Generated Content (OGC) IPV6
  14. 14. Em 2011...8.000.000.000 de “coisas”
  15. 15. Você gera (produz/consome)11 Gigabytes/mês de dados
  16. 16. ...em 2011...2.000.000.000 internautas
  17. 17. ...em 2011...2361183241434822606848 bytes
  18. 18. ...em 2011...2.147.483.648 terabyte
  19. 19. ...em 2011...2 zettabyte
  20. 20. ● Logs● RFID● Redes sociais● Textos e documentos
  21. 21. ● Indexação p/ pesquisa● Dados científicos● Imagens, áudios e vídeos● Comércio eletrônico
  22. 22. BIG DATA
  23. 23. Um montão de dados
  24. 24. Big Data são base de dados de grande volume e processamento analíticoexecutado rapidamente, sendo muitas vezes dados não estruturados.
  25. 25. NoSQL
  26. 26. ● Atomicity ● Basically available● Consistency Soft state X ●● Isolation ● Eventually consistent● Durability
  27. 27. NoSQLFrancesco Rizzi
  28. 28. SQLFrancesco Rizzi
  29. 29. Not only SQL
  30. 30. Tipos● Chave/Valor● Grafo● Orientado à Documentos● Orientado à Coluna
  31. 31. Chave/Valor
  32. 32. Chave/Valorchave valoruser:11:feed [100,99,97,96]user:22:feed [100,99,98]user:33:feed [100,99]user:44:feed [100]
  33. 33. Chave/Valor
  34. 34. Grafo
  35. 35. Grafo
  36. 36. Grafo
  37. 37. Grafo
  38. 38. Orientado à Documento
  39. 39. Orientado à Documento{ "id": 1, "name": "Foo", "price": 123, "tags": ["Bar","Eek"], "stock": { "warehouse":300, "retail":20 }}
  40. 40. Orientado à Coluna
  41. 41. Orientado à Coluna
  42. 42. NewSQL ● Em memória ● ACID ● Particionamento horizontal ● Chave estrangeira somente na mesma instância
  43. 43. Nova Bala de Prata? ● Visualização/Gerenciame nto mais “pobre” ● Maior facilidade de replicação, particionamento, balanceamento de carga ● “Mais entendível” para as equipes de desenvolvimento ● Sem pradonização de linguagem de “banco”
  44. 44. ...as a Service
  45. 45. ...as a ServiceInfrastructure as a Service
  46. 46. ...as a ServicePlatform as a Service
  47. 47. ...as a ServiceSoftware as a Service
  48. 48. ...as a ServiceInfrastructure as a ServicePlatform as a ServiceSoftware as a Service
  49. 49. Lendas sobre a “Nuvem” Peter Deutsch ● The network is reliable ● Latency is zero ● Bandwidth is infinite ● The network is secure ● Topology doesnt change ● There is one administrator ● Transport cost is zero ● The network is homogeneous
  50. 50. Lendas sobre banco SQL ● Não escalável (um pouco mais trabalhoso) ● In-memory ● Normalização
  51. 51. Database as a Service
  52. 52. Elefante na nuvem ● AWS ● Rackspace ● Heruko ● Scalr ● VFabric
  53. 53. Elefante na nuvem ● Yahoo ● Sony ● ISS (NASA) ● Reddit ● OpenStreetMap ● MySpace ● Skype ● NTT
  54. 54. Bancos Federados
  55. 55. Foreign Data Wrapper
  56. 56. SQL /MED – Management of External Data PostgreSQL + Oracle PostgreSQL + Redis PostgreSQL + CouchDB PostgreSQL + Redis + CouchDB PostgreSQL + Twitter
  57. 57. PL/Proxy + PgBouncer (Skype)
  58. 58. Postgres Cloud Server ● Versão da EnterpriseDB ● Arquitetura base é proxy, failover automático, load balance, streaming replication ● Fácil implantação e crescimento
  59. 59. Postgres-XC
  60. 60. HaddopDB ● Híbrido de banco relacional e Orientado à Coluna ● Backend em PostgreSQL ou MySQL ● Criado pela Universidade de Yale
  61. 61. PgMemcached
  62. 62. PostreSQL(contrib) + HBase
  63. 63. UNLOGGED TABLES
  64. 64. Sistemas mais complexos
  65. 65. Sistemas projetados desde o início para escalabilidade ouPlanejar modificações para de Sistemas para ter escalabilidade
  66. 66. Soluções híbridasCacheNoSQLSQLvirtualização na nuvemservidores/storages físicos
  67. 67. Hardware commodittyScale Out para servidores earmazenamento (Storage)
  68. 68. Problemas de performance, arquitetura e/ou escalabilidade terão umacomplexidade maior para resolver.
  69. 69. Fim do DBA, devels, sysadmins...
  70. 70. Fim do DBA, devels, sysadmins...● Estereótipo do problema definirá a arquitetura de dados e quer um profissional multidisciplinar
  71. 71. Fim do DBA, devels, sysadmins...● Tipo do problema definirá a arquitetura de dados e quer um profissional multidisciplinar● Sistemas: Cloud (PaaS, IaaS, Saas, Dbaas) + Rede + SO + Algorítimos = integração
  72. 72. BIG DATA NEEDS BIG (QUALIFIED) PROFESSIONALSFernando Imbroisi
  73. 73. Obrigado
  74. 74. @fernandoikefernando.ike at gmail.comhttp://midstorm.org/~fike/weblog

×