20160405 Cloud Community Poznań - Cloud Analytics on AzureŁukasz Grala
Cloud Analytics on Platform Azure. Overview about analytics. Talking about Azure Data Lake Storage & Analytics, Azure Stream Analytics, HDInsight, Hortonowrks, PowerBI...
Wprowadzenie do modelowania danych w PowerPivotKamil Nowinski
PowerPivot jako zintegrowany dodatek do Microsoft Excel 2013 doskonale wpisuje się w promowaną od wielu lat metodykę Self-Service BI pozwalając na budowanie złożonych modeli danych i późniejsze ich wykorzystanie do zaawansowanych analiz danych.
Na sesji dowiemy się od czego zacząć pracę z PowerPivot, jakie mogą być źródła danych, dlaczego analiza dużych ilości danych jest taka przyjemna (bo szybka) oraz jak możemy przygotowany model współdzielić ze współpracownikami.
Prezentacja po raz pierwszy została przedstawiona na 47. spotkaniu wrocławskiej grupy PLSSUG - 18 grudnia 2014r.
SDS implementation using Atlantis USX software
I presented this slides on 2nd Polish Citrix User Group meeting - September 18th, 2015.
Language: polish.
Wydarzenie: Konferencja Oracle Spatial Day - Warszawa, 05.03.2014
Autor: Dariusz Podleśny, Senior Consultant / Oracle System Engineer, OPITZ CONSULTING Polska
Agenda:
1. Oracle Database Appliance
2. Exadata
3. Exadata i ODA wsparciem Spatial
4. Proof of Concept przy użyciu Exadata
5. Możliwości rozwoju w oparciu o Oracle Appliance
6. Przykłady projektów infrastrukturalnych OC
Zasilanie hurtowni danych w SSIS w praktyceKamil Nowinski
Temat obejmuje wybrane aspekty zasilania hurtowni danych za pomocą SSIS (SQL Server Integration Services).
I choć na pewno nie omawia wszystkiego to pozwala zwrócić uwagę na kilka istotnych szczegółów mogących
zadecydować o czasochłonności, a więc koszcie, a więc terminowości i w rezultacie sukcesie projektu zasilania hurtowni danych.
Prezentacja po raz pierwszy została przedstawiona na 45. spotkaniu wrocławskiej grupy PLSSUG - 23 października 2014r.
20160405 Cloud Community Poznań - Cloud Analytics on AzureŁukasz Grala
Cloud Analytics on Platform Azure. Overview about analytics. Talking about Azure Data Lake Storage & Analytics, Azure Stream Analytics, HDInsight, Hortonowrks, PowerBI...
Wprowadzenie do modelowania danych w PowerPivotKamil Nowinski
PowerPivot jako zintegrowany dodatek do Microsoft Excel 2013 doskonale wpisuje się w promowaną od wielu lat metodykę Self-Service BI pozwalając na budowanie złożonych modeli danych i późniejsze ich wykorzystanie do zaawansowanych analiz danych.
Na sesji dowiemy się od czego zacząć pracę z PowerPivot, jakie mogą być źródła danych, dlaczego analiza dużych ilości danych jest taka przyjemna (bo szybka) oraz jak możemy przygotowany model współdzielić ze współpracownikami.
Prezentacja po raz pierwszy została przedstawiona na 47. spotkaniu wrocławskiej grupy PLSSUG - 18 grudnia 2014r.
SDS implementation using Atlantis USX software
I presented this slides on 2nd Polish Citrix User Group meeting - September 18th, 2015.
Language: polish.
Wydarzenie: Konferencja Oracle Spatial Day - Warszawa, 05.03.2014
Autor: Dariusz Podleśny, Senior Consultant / Oracle System Engineer, OPITZ CONSULTING Polska
Agenda:
1. Oracle Database Appliance
2. Exadata
3. Exadata i ODA wsparciem Spatial
4. Proof of Concept przy użyciu Exadata
5. Możliwości rozwoju w oparciu o Oracle Appliance
6. Przykłady projektów infrastrukturalnych OC
Zasilanie hurtowni danych w SSIS w praktyceKamil Nowinski
Temat obejmuje wybrane aspekty zasilania hurtowni danych za pomocą SSIS (SQL Server Integration Services).
I choć na pewno nie omawia wszystkiego to pozwala zwrócić uwagę na kilka istotnych szczegółów mogących
zadecydować o czasochłonności, a więc koszcie, a więc terminowości i w rezultacie sukcesie projektu zasilania hurtowni danych.
Prezentacja po raz pierwszy została przedstawiona na 45. spotkaniu wrocławskiej grupy PLSSUG - 23 października 2014r.
Czy IT może być tak łatwe, jak zakup batonika w automacie? Zobacz, co potrafią rozwiązania hiperkonwergentne Hewlett Packard Enterprise i przekonaj się sam! Zapraszamy na webinar, na którym przedstawimy ich ideę i architekturę oraz zaprezentujemy proces instalacji.
Michał Żyliński: Cortana dla niewtajemniczonychAnalyticsConf
Praktyczne wprowadzenie do nowoczesnych narzędzi analitycznych na przykładzie usług wchodzących w skład Microsoft Cortana Analytics Suite. Na konkretnych przykładach postaram się pokazać uczestnikom, jak przygotować się do przetwarzania dużej ilości danych. Jakie (darmowe i komercyjne) technologie znaleźć można na rynku? Jakie role i kompetencje przydadzą się wewnątrz organizacji? Jak dobrać właściwe narzędzia? Na czym warto skupić się samemu, a kiedy szukać pomocy na zewnątrz? Omówione zostaną również pierwsze komercyjne wdrożenia Cortany.
Maintenance Plans zupełnie znienacka | Każdy z doświadczonych administratorów używa (w jakimś stopniu) czegoś co nazywamy Maintenance Plans – Planami Konserwacji. Podczas tej sesji cciałbym omówić do czego mogą nam się one przydać, jakie funkcjonalności dają, kiedy możemy ich użyć i na co należy zwrócić uwagę. Sesja na poziomie 200 chwilami wybiegająca na 300, z otwarciem na dyskusję.
Wprowadzenie do analizy danych w chmurze. Między innymi o Azure Stream Analytics, Azure Data Lake Analytics, Azure Machine Learning, ale też i o rozwiazaniach OpenSource (Spark, Yupiter, Storm, Zepelin)
Wprowadzenie do składowania danych w chmurze. Od relacyjnych Azure SQL Database, Azure SQL Data Warehouse, NoSQL - Azure DocumentDB, HDInsight (Hadoop, Spark, Hbase), Azure Search i Azure Data Factory
Finally, you can use elastic, relational, and data warehouse in the same sentence. Azure SQL Data Warehouse is a scale out database service designed to answer your ad hoc queries across petabyte scale data-sets through massively parallel processing. See how you can optimize costs by independently scaling compute and storage resources in seconds.
The new Microsoft Azure SQL Data Warehouse (SQL DW) is an elastic data warehouse-as-a-service and is a Massively Parallel Processing (MPP) solution for "big data" with true enterprise class features. The SQL DW service is built for data warehouse workloads from a few hundred gigabytes to petabytes of data with truly unique features like disaggregated compute and storage allowing for customers to be able to utilize the service to match their needs. In this presentation, we take an in-depth look at implementing a SQL DW, elastic scale (grow, shrink, and pause), and hybrid data clouds with Hadoop integration via Polybase allowing for a true SQL experience across structured and unstructured data.
Czy IT może być tak łatwe, jak zakup batonika w automacie? Zobacz, co potrafią rozwiązania hiperkonwergentne Hewlett Packard Enterprise i przekonaj się sam! Zapraszamy na webinar, na którym przedstawimy ich ideę i architekturę oraz zaprezentujemy proces instalacji.
Michał Żyliński: Cortana dla niewtajemniczonychAnalyticsConf
Praktyczne wprowadzenie do nowoczesnych narzędzi analitycznych na przykładzie usług wchodzących w skład Microsoft Cortana Analytics Suite. Na konkretnych przykładach postaram się pokazać uczestnikom, jak przygotować się do przetwarzania dużej ilości danych. Jakie (darmowe i komercyjne) technologie znaleźć można na rynku? Jakie role i kompetencje przydadzą się wewnątrz organizacji? Jak dobrać właściwe narzędzia? Na czym warto skupić się samemu, a kiedy szukać pomocy na zewnątrz? Omówione zostaną również pierwsze komercyjne wdrożenia Cortany.
Maintenance Plans zupełnie znienacka | Każdy z doświadczonych administratorów używa (w jakimś stopniu) czegoś co nazywamy Maintenance Plans – Planami Konserwacji. Podczas tej sesji cciałbym omówić do czego mogą nam się one przydać, jakie funkcjonalności dają, kiedy możemy ich użyć i na co należy zwrócić uwagę. Sesja na poziomie 200 chwilami wybiegająca na 300, z otwarciem na dyskusję.
Wprowadzenie do analizy danych w chmurze. Między innymi o Azure Stream Analytics, Azure Data Lake Analytics, Azure Machine Learning, ale też i o rozwiazaniach OpenSource (Spark, Yupiter, Storm, Zepelin)
Wprowadzenie do składowania danych w chmurze. Od relacyjnych Azure SQL Database, Azure SQL Data Warehouse, NoSQL - Azure DocumentDB, HDInsight (Hadoop, Spark, Hbase), Azure Search i Azure Data Factory
Finally, you can use elastic, relational, and data warehouse in the same sentence. Azure SQL Data Warehouse is a scale out database service designed to answer your ad hoc queries across petabyte scale data-sets through massively parallel processing. See how you can optimize costs by independently scaling compute and storage resources in seconds.
The new Microsoft Azure SQL Data Warehouse (SQL DW) is an elastic data warehouse-as-a-service and is a Massively Parallel Processing (MPP) solution for "big data" with true enterprise class features. The SQL DW service is built for data warehouse workloads from a few hundred gigabytes to petabytes of data with truly unique features like disaggregated compute and storage allowing for customers to be able to utilize the service to match their needs. In this presentation, we take an in-depth look at implementing a SQL DW, elastic scale (grow, shrink, and pause), and hybrid data clouds with Hadoop integration via Polybase allowing for a true SQL experience across structured and unstructured data.
Azure SQL Database (SQL DB) is a database-as-a-service (DBaaS) that provides nearly full T-SQL compatibility so you can gain tons of benefits for new databases or by moving your existing databases to the cloud. Those benefits include provisioning in minutes, built-in high availability and disaster recovery, predictable performance levels, instant scaling, and reduced overhead. And gone will be the days of getting a call at 3am because of a hardware failure. If you want to make your life easier, this is the presentation for you.
[JSS2015] Azure SQL Data Warehouse - Azure Data LakeGUSS
• Présentation du service MPP dans le Cloud SQL Data Warehouse : DWU, Polybase, ...
• Présentation des nouveaux services Big Data dans Azure : Data Lake Store, Data Lake Analytics Service (U-SQL)
• Plein de démos :-)"
SQL Saturday #313 Rheinland - MapReduce in der PraxisSascha Dittmann
Das Programmiermodel MapReduce, welches vor einigen Jahren von Google veröffentlicht wurde, hat Einzug in zahlreiche Systeme erhalten. Dabei wurde es sowohl als eigenständiges System, wie beispielweise bei Hadoop, Disco oder Amazon Elastic MapReduce, aber auch als Abfragesprache innerhalb größerer Systeme, wie beispielweise bei MongoDB, Greenplum DB oder Aster Data, implementiert. Diese Session stellt gängige Problemstellungen aus der Praxis vor und wie diese mit dem MapReduce Framework von Microsoft HDInsight umgesetzt werden können.
How to deploy SQL Server on an Microsoft Azure virtual machinesSolarWinds
Running apps on Microsoft Azure Virtual Machines is tempting; promising faster deployments and lower overall TCO. But how easy is it really to configure and run SQL Server in an Azure VM environment? Learn what you should know about tuning, optimizing, and key indicators for monitoring performance, as well as special considerations for High-Availability and Disaster Recovery.
Enterprise Cloud Data Platforms - with Microsoft AzureKhalid Salama
These slides gives an overview on MS Azure Data Architecture and Services, including Data Lake Analytics, Data Factory, Azure SQL DW, Stream Analytics, Azure Machine learning tools, and Data Catalog. This is also known as Cortana Analytical Suite
En lugar de aprovisionar grandes recursos para tu DW, Azure ofrece una versión especial de SQL Server como DataWarehouse. Si está familiarizado con el appliance APS, SQLDW en Azure viene a ser su versión como servicio. Usted crea su DW desde el portal de Azure y ya puede empezar a cargar datos y explotarlos. En esta sesión veremos cómo habilitar el servicio y cómo empezar a explotar SQLDW como tu DW en la nube.
Polybase est le front-end universel entre le monde relationnel et non relationnel.
Dans cette session nous verrons les capacités de la plateforme Analytics Platform System (APS) contenant une région HDInsight (Distribution Hadoop de Microsoft) et une région PDW (Parallel Data Warehouse, l’offre MPP de SQL Server).
Nous présenterons ensuite l’offre Polybase incluse dans SQL Server 2016 Public Preview. Sans oublier l’intérêt et les bénéfices du MPP, les cas d’usage de la Big Data en entreprise et le gain à utiliser en même temps ces deux technologies.
Nous analyserons ainsi des données non structurées et volumineuses et les exploiterons au sein d’un système décisionnel et relationnel avec un langage que nous connaissons tous : le T-SQL !
The slides give an overview of how Spark can be used to tackle Machine learning tasks, such as classification, regression, clustering, etc., at a Big Data scale.
The Fine Art of Time Travelling - Implementing Event Sourcing - Andrea Saltar...ITCamp
If there is a common practice in architecting software systems, it is to have them store the last known state of business entities in a relational database: though widely adopted and effectively supported by existing development tools, this practice trades the easiness of implementation with the cost of losing the history of such entities.
Event Sourcing provides a pivotal solution to this problem, giving systems the capability of restoring the state they had at any given point in time. Furthermore, injecting mock-up events and having them replayed by the business logic allows for an easy implementation of simulations and “what if” scenarios.
In this session, Andrea will demonstrate how to design time travelling systems by examining real-world, production-tested solutions.
Intorducing Big Data and Microsoft AzureKhalid Salama
The purpose of these slides is to give a high-level overview of Big Data concepts and techniques, as well as its related tools and technologies, focusing on Microsoft Azure. It starts by defining what Big Data is, as well as why Big Data platforms are needed. Fundamental components of a Big Data Platform are discussed, followed by a little bit of theory about Distributed Processing & CAP Theorem, and its relevance to how Big Data Solutions compare to Traditional RDBMS. Use case of how Big Data fits in Enterprise Data Platforms are shown. The Hadoop Ecosystem is briefly reviewed before Big Data on Microsoft Azure is discussed. Then some directions of How to get started with Big Data.
Cortana Analytics Workshop: Azure Data LakeMSAdvAnalytics
Rajesh Dadhia. This session introduces the newest services in the Cortana Analytics family. Azure Data Lake is a hyper-scale data repository designed for big data analytics workloads. It provides a single place to store any type of data in its native format. In this session, we will show how the HDFS compatibility of Azure Data Lake as a Hadoop File System enables all Hadoop workloads including Azure HDInsight, Hortonworks and Cloudera. Further, we will focus on the key capabilities of the Azure Data Lake that make it an ideal choice for storing, accessing and sharing data for a wide range of analytics applications. Go to https://channel9.msdn.com/ to find the recording of this session.
Building the Data Lake with Azure Data Factory and Data Lake AnalyticsKhalid Salama
In essence, a data lake is commodity distributed file system that acts as a repository to hold raw data file extracts of all the enterprise source systems, so that it can serve the data management and analytics needs of the business. A data lake system provides means to ingest data, perform scalable big data processing, and serve information, in addition to manage, monitor and secure the it environment. In these slide, we discuss building data lakes using Azure Data Factory and Data Lake Analytics. We delve into the architecture if the data lake and explore its various components. We also describe the various data ingestion scenarios and considerations. We introduce the Azure Data Lake Store, then we discuss how to build Azure Data Factory pipeline to ingest the data lake. After that, we move into big data processing using Data Lake Analytics, and we delve into U-SQL.
First introduced with the Analytics Platform System (APS), PolyBase simplifies management and querying of both relational and non-relational data using T-SQL. It is now available in both Azure SQL Data Warehouse and SQL Server 2016. The major features of PolyBase include the ability to do ad-hoc queries on Hadoop data and the ability to import data from Hadoop and Azure blob storage to SQL Server for persistent storage. A major part of the presentation will be a demo on querying and creating data on HDFS (using Azure Blobs). Come see why PolyBase is the “glue” to creating federated data warehouse solutions where you can query data as it sits instead of having to move it all to one data platform.
Elitmind @ 113. Spotkanie Data Community, Warszawa - Business Intelligence w ...Elitmind
Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski
Przegląd rozwiązań i możliwości rozwiązań Buisiness Intelligence w chmurze. Spójrzmy na to oferują trzej giganci: Microsoft, Google i Amazon.
Każdy z nas dostał, w którymś momencie pytanie od klienta jak to wygląda u innych? Spójrzmy więc i się przekonajmy!
W trakcie prelekcji Krzysiek opowie o tworzeniu systemu z wykorzystaniem serwisów poziomu Platform as a Service, dostępnych na Microsoft Azure.
Wyjaśni, jak dzięki dobremu wykorzystaniu dostępnych narzędzi możemy skoncentrować się na tym, co tworzymy i zepchnąć problem deploymentu i utrzymania systemu na drugi plan.
SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...radekle
Building efficient and reliable Enterprise Reporting Platform with Microsoft Power BI (SQL Day 2018 conference)
How to build serious, secure, and scalable reporting solutions with Power BI ?
Presentation covers the common patterns for Power BI usage, performance implications and best practices in deployment, monitoring, reports publishing and security aspects.
You will find many useful examples from large Power BI enterprise deployments.
Pierwsza edycja konferencji AzureDay Poland 2016. W ramach tej konferencji sesja o analizie danych strumieniowych przy użyciu Azure Stream Analytics, rozszerzone o możliwości algorytmów uczenia maszynowego przetwarzane w Azure Machine Learning
Jak 5 narzędzi złożyło się na sukces hurtowni
Maciek jest kierownikiem projektu hurtowni danych, Przemek liderem zespołu programistów. Razem zaprezentują jakie (darmowe) narzędzia developerskie usprawniły prace programistom oraz jakie pozytywne „efekty uboczne” przyniosły one zarówno w samym projekcie jak i w jego otoczeniu. Następnie przedstawią jak doprowadziło ich to – szybciej niż myśleli – do automatu, który na bieżąco buduje z najnowszych źródeł, wdraża i testuje hurtownię danych.
Marek Sokołowski @ "Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i am...Ewa Stepien
Marek Sokołowski, prezentacja pt.:"Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i amunicji"@ "I Manewry w Chmurze Partnerów Oracle" - 23-24.czerwca 2015, Serock
Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...Elitmind
Współczesne rozwiązania w obszarze zaawansowanej analityki danych muszą być gotowe na nowego typu wyzwanie: analizę danych pochodzących z różnych źródeł w czasie bliskim rzeczywistemu. Jednym z celów może być reagowanie na zdarzenia w social media czy dostarczanie spersonalizowanych ofert klientom dokładnie wtedy, kiedy tego rzeczywiście potrzebują.
W trakcie prezentacji Barbara Leśniarek (Data Scientist w Elitmind) oraz Kamil Słomka (Senior Business Intelligence Consultant) pokazali przykład implementacji takiego rozwiązania w oparciu o usługi Microsoft Azure: Stream Analytics oraz Machine Learning.
SQL Server 2008 Tips & tricks administracjiSQLExpert.pl
Sesja odbyła się 7 kwietnia 2009r na Wyższej Szkole Komunikacji i Zarządzania w Poznaniu z okazji IT Academic Day.
W ramach tej sesji przedstawiono różne nowości wersji SQL Server 2008 usprawniające pracę administratorom.
Między innymi mowa jest o Policy Based Management, Extended Events, SQL Audit czy też kompresji w SQL Server 2008.
Similar to AnalyticsConf : Azure SQL Data Warehouse (20)
7. • Geneza Azure SQL DWH
• Architektura
• Ładowanie danych
• Zapytania SQL i raportowanie
• Demo
Agenda
7
8. • Usługa PaaS na platformie Azure
• Hurtownia danych „on demand”
• Implementuje podzbiór T-SQL
• Wydajna, skalowalna, elastyczna
• Architektura MPP, oparta na SQL Server
• SQL Server PDW/APS w chmurze
Azure SQL Data Warehouse
8
13. • Parallel Data Warehouse – SQL Server w wersji MPP
• HDInsight – Hadoop, zintegrowany z platformą MS
• PolyBase – łączenie w locie danych PDW i HDInsight
• Skalowalny, wydajny, drogi
• On-premises (HP, Dell, Quanta)
Microsoft APS
13
Analytics Platform System
SQL Server
2012 PDW
Microsoft
HDInsight
PolyBase
15. • Analogicznie do HDInsight:
• Tani, trwały Storage
• Compute „on demand”
• Pause/Start, Scale
• Dane pozostają nienaruszone, nie ma potrzeby ponownego ładowania
• Automatyzacja przez PowerShell / Rest API
• Koncepcja DWU
Sposób użycia i koszty
15
16. • Syntetyczna miara mocy obliczeniowej
• 100 – 6000 DWU (wersja próbna 200 DWU)
• 100 DWU = 1,17 EUR/h
Data Warehouse Unit (DWU)
16
100 DWU = 297 sec
400 DWU = 74 sec
800 DWU = 37 sec
1,600 DWU = 19 sec
Scan 1B Rows
Scan Rate xx M row/sec
Loading Rate xx K row/sec
Table Copy Rate xx K row/sec
100 DWU
18. • Wszystkie tabele są rozproszone
• 60 kubełków / dystrybucji
• Sposoby dystrybucji:
• Hash – duże tabele faktów
• Round Robin – słowniki wymiarów lub tabele bez dobrego kandydata na hashowanie
• Każdy węzeł obliczeniowy (Compute Node) zawiera jedną lub więcej dystrybucji
Dystrybucja danych
18
19. • SSIS (ADO.NET)
• Azure Data Factory
• BCP
• PolyBase
Ładowanie danych
19
Ładowanie via Contol Node – wąskie gardło
• Ładowanie bezpośrednio na Compute Node
• Pliki płaskie (np. CSV)
20. • Ładowanie plików Hadoop lub Azure Blob Storage
• Pull, nie Push – pomijanie Control Node, skalowalna wydajność
• Formaty: RC, ORC, Parquet, CSV/Flat
Idealny scenariusz:
PolyBase
20
Eksport
źródłowych
danych do CSV
Załadowanie
plików na Azure
Blob Storage
Załadowanie do
DWH poprzez
PolyBase
22. • Niektóre elementy T-SQL nie są wspierane
• Wybór właściwego sposobu dystrybucji (Hash vs Round Robin)
• Data Warehouse Migration Utility
• Red Gate Data Platform Studio
Migracja do Azure SQL DWH
22
24. • Ad-hoc
• SQL Server Management Studio
• Analysis Services Tabular
• SQL Server 2016 Enterprise – IaaS / VM
• Azure Analysis Services Preview
• Power BI
• Dedykowany konektor
• Wersja Pro (darmowa 60-dniowa wersja próbna)
Raportowanie i analityka
24
26. Rola i miejsce Azure SQL DWH
26
https://azure.microsoft.com/en-us/services/sql-data-warehouse/
27. Scenariusz biznesowy
27
• Uzupełnienie klasycznego DWH/BI o Big Data
• Clickstream – aktywność użytkowników na portalu
• Rozmiar danych zbyt duży dla Analysis Services (G5 VM – 448 GB RAM)
• Analitycy znający SQL / Hive
• Zapytania ad-hoc + eksport do SQL Server IaaS / VM
28. • Próbna subskrypcja Azure
• https://azure.microsoft.com/pl-pl/free/
• Rozszerzona wersja próbna Azure SQL DWH (do końca 2016)
• https://azure.microsoft.com/en-us/services/sql-data-warehouse/extended-trial/
• SQL Server Management Studio
• https://msdn.microsoft.com/en-us/library/mt238290.aspx
• Data Warehouse Migration Utility
• https://migrhoststorage.blob.core.windows.net/sqldwsample/DataWarehouseMigrationUtility.zip
• Próbna wersja Power BI Pro
• https://powerbi.microsoft.com/en-us/get-started/
Jak zacząć
28