SQL Server 2019 introduz o Big Data Cluster, permitindo implantar clusters escalonáveis de contêineres SQL Server, Spark e HDFS em execução no Kubernetes. O Big Data Cluster integra dados estruturados e não estruturados através do PolyBase e permite processamento distribuído de grandes volumes de dados. A arquitetura do Big Data Cluster separa os planos de controle, computação e armazenamento de dados para gerenciar e processar dados de forma escalável.
3. sys.stdout.write (“Luiz")
Bacharel em Ciências da Computação;
MBA em Big Data;
www.dataisbig.com.br
www.Imasters.com.br
‘s
“Ecossistema Big Data”
“SQL Server”
“Desenvolvimento”
7. MS quebrando paradigmas
SQL Server 2014:
• AlwaysOn (desde o 2012)
• In-Memory (desde o 2012)
• Integração com Azure
SQL Server 2016:
• Polybase
• Json
• R Services
SQL Server 2017:
• Linux e Docker
• Python
https://www.sqlshack.com/history-sql-server-evolution-sql-server-features/
SQL Server 2019:
• Spark
• Kubernetes
• Polybase (expansão)
• Big Data Cluster
12. Hadoop
HDFS (Hadoop Distributed File System)
• Sistema de arquivos escalável e distribuído.
• Projeto Apache, Subprojeto do Hadoop.
• Baseado no GFS (Google File System).
• Processamento Massivo Paralelo (MPP).
Armazenamento e Blocos (64 mb) , múltiplas
réplicas.
MapReduce
• Modelo de programação desenhado para
processor grandes volumes de dados (Paralelo e
Distribuído.
• Map e Reduce
15. Docker e Kubernetes
Docker
• Empacota os binários, códigos, bibliotecas
• Open-Source escrita em GO
• Configure uma vez e replique N
• Diminui tempo de Deploy
• Ótimo para criação de Micro serviços
• Escala
Kubernetes
• Orquestração e gerenciamento para Dockers
• k8s (k + 8 caracteres + s) ou “kube”
• Criado pelo Google e cedido para a Apache
foundation
• Elimina grande parte do processo manual, para
implantar ou escalar container
18. Proposito
Big Data gera mais valor, quando somado a dados do
mundo relacional.
É justamente esse o objetivo do BDC.
19. SQL Server 2019 - Big Data Cluster (BDC)
Conceitualmente:
• O BDC com aprimoramentos no PolyBase atuam como um hub de dados para
integrar dados estruturados e não estruturados - SQL Server, Oracle, Teradata,
MongoDB, HDFS.
• Permite implantar clusters escalonáveis de contêineres SQL Server, Spark e HDFS
em execução no Kubernetes.
• Os Clusters de Big Data do SQL Server unem o SQL Server às ferramentas de Big
Data padrão do setor em um pacote suportado pela Microsoft.
20. Big Data Cluster (BDC) – Arquitetura - Polybase
• PushDown – External Table
• Escalabilidade (elasticidade) no processamento dos dados na camada “Compute Plane”.
21. Big Data Cluster (BDC) – Arquitetura - Data Mart
• Scale-out Data Mart
• Polybase + BDC, External Table, Data Pool
• Combinando dados de vários origens
23. Big Data Cluster (BDC) – Control Plane
• Controla o gerenciamento, segurança para o Cluster.
• Kubernetes Master
• SQL Server Master
• Hive Metadados
• Driver’s
• Grafana...
24. Big Data Cluster (BDC) – Compute Plane
• Fornece poder/recurso computacional para o cluster
• SQL Server em execução em Pods (Docker/Kubernetes)
• Conjuntos de Pods para processamento específicos (ex: Polybase)
• Scale-out para consultas distribuídas
25. Big Data Cluster (BDC) – Data Plane
• Persistência de dados e armazenamento em cache:
• SQL Data Pool:
• Pods SQL Server Linux
• Dados em Shared + Desempenho
• Data Marts (Retorno dos Polybases) – Joins com o mundo Relacional
• Storage Pool:
• Pods (SQL + Spark + HDFS)
• Ingestão de dados via Spark
• Acesso a dados por meio de Endpoints do HDFS e SQL Server