Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski
Przegląd rozwiązań i możliwości rozwiązań Buisiness Intelligence w chmurze. Spójrzmy na to oferują trzej giganci: Microsoft, Google i Amazon.
Każdy z nas dostał, w którymś momencie pytanie od klienta jak to wygląda u innych? Spójrzmy więc i się przekonajmy!
Pierwsza edycja konferencji AzureDay Poland 2016. W ramach tej konferencji sesja o analizie danych strumieniowych przy użyciu Azure Stream Analytics, rozszerzone o możliwości algorytmów uczenia maszynowego przetwarzane w Azure Machine Learning
20160405 Cloud Community Poznań - Cloud Analytics on AzureŁukasz Grala
Cloud Analytics on Platform Azure. Overview about analytics. Talking about Azure Data Lake Storage & Analytics, Azure Stream Analytics, HDInsight, Hortonowrks, PowerBI...
Sesja zapoznawcza na temat narzędzia Microsoftu do analizy danych – PowerBI. Koncepcja działania. Obsługiwane platformy. Wymagania. Źródła danych. Pulpit nawigacyjny i dashboardy oraz dostępne wizualizacje.
Pierwsza edycja konferencji AzureDay Poland 2016. W ramach tej konferencji sesja o analizie danych strumieniowych przy użyciu Azure Stream Analytics, rozszerzone o możliwości algorytmów uczenia maszynowego przetwarzane w Azure Machine Learning
20160405 Cloud Community Poznań - Cloud Analytics on AzureŁukasz Grala
Cloud Analytics on Platform Azure. Overview about analytics. Talking about Azure Data Lake Storage & Analytics, Azure Stream Analytics, HDInsight, Hortonowrks, PowerBI...
Sesja zapoznawcza na temat narzędzia Microsoftu do analizy danych – PowerBI. Koncepcja działania. Obsługiwane platformy. Wymagania. Źródła danych. Pulpit nawigacyjny i dashboardy oraz dostępne wizualizacje.
Wprowadzenie do analizy danych w chmurze. Między innymi o Azure Stream Analytics, Azure Data Lake Analytics, Azure Machine Learning, ale też i o rozwiazaniach OpenSource (Spark, Yupiter, Storm, Zepelin)
Wprowadzenie do modelowania danych w PowerPivotKamil Nowinski
PowerPivot jako zintegrowany dodatek do Microsoft Excel 2013 doskonale wpisuje się w promowaną od wielu lat metodykę Self-Service BI pozwalając na budowanie złożonych modeli danych i późniejsze ich wykorzystanie do zaawansowanych analiz danych.
Na sesji dowiemy się od czego zacząć pracę z PowerPivot, jakie mogą być źródła danych, dlaczego analiza dużych ilości danych jest taka przyjemna (bo szybka) oraz jak możemy przygotowany model współdzielić ze współpracownikami.
Prezentacja po raz pierwszy została przedstawiona na 47. spotkaniu wrocławskiej grupy PLSSUG - 18 grudnia 2014r.
W trakcie prelekcji Krzysiek opowie o tworzeniu systemu z wykorzystaniem serwisów poziomu Platform as a Service, dostępnych na Microsoft Azure.
Wyjaśni, jak dzięki dobremu wykorzystaniu dostępnych narzędzi możemy skoncentrować się na tym, co tworzymy i zepchnąć problem deploymentu i utrzymania systemu na drugi plan.
Wprowadzenie do składowania danych w chmurze. Od relacyjnych Azure SQL Database, Azure SQL Data Warehouse, NoSQL - Azure DocumentDB, HDInsight (Hadoop, Spark, Hbase), Azure Search i Azure Data Factory
SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...radekle
Building efficient and reliable Enterprise Reporting Platform with Microsoft Power BI (SQL Day 2018 conference)
How to build serious, secure, and scalable reporting solutions with Power BI ?
Presentation covers the common patterns for Power BI usage, performance implications and best practices in deployment, monitoring, reports publishing and security aspects.
You will find many useful examples from large Power BI enterprise deployments.
Prezentacja ze spotkania grupy roboczej IAB e-Commerce na temat opłacalności użycia usług chmury publicznej jako podstawy działania rozwiązań e-commerce z przykładem analizy kosztów jednego ze sklepów internetowych działających w takim modelu.
Jak 5 narzędzi złożyło się na sukces hurtowni
Maciek jest kierownikiem projektu hurtowni danych, Przemek liderem zespołu programistów. Razem zaprezentują jakie (darmowe) narzędzia developerskie usprawniły prace programistom oraz jakie pozytywne „efekty uboczne” przyniosły one zarówno w samym projekcie jak i w jego otoczeniu. Następnie przedstawią jak doprowadziło ich to – szybciej niż myśleli – do automatu, który na bieżąco buduje z najnowszych źródeł, wdraża i testuje hurtownię danych.
Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...Elitmind
Współczesne rozwiązania w obszarze zaawansowanej analityki danych muszą być gotowe na nowego typu wyzwanie: analizę danych pochodzących z różnych źródeł w czasie bliskim rzeczywistemu. Jednym z celów może być reagowanie na zdarzenia w social media czy dostarczanie spersonalizowanych ofert klientom dokładnie wtedy, kiedy tego rzeczywiście potrzebują.
W trakcie prezentacji Barbara Leśniarek (Data Scientist w Elitmind) oraz Kamil Słomka (Senior Business Intelligence Consultant) pokazali przykład implementacji takiego rozwiązania w oparciu o usługi Microsoft Azure: Stream Analytics oraz Machine Learning.
Marek Sokołowski @ "Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i am...Ewa Stepien
Marek Sokołowski, prezentacja pt.:"Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i amunicji"@ "I Manewry w Chmurze Partnerów Oracle" - 23-24.czerwca 2015, Serock
Vicodein - Krystian Knapik o tym jak .NET Core wspomaga budowę nowoczesnych, wydajnych i świetnych pod względem User Experience aplikacji SPA. Także o tym co oferuje framework i dlaczego jest odpowiednim wyborem. Idzie nowe!
Vicodein - Krystian Knapik o tym jak .NET Core wspomaga budowę nowoczesnych, wydajnych i świetnych pod względem User Experience aplikacji SPA. Także o tym co oferuje framework i dlaczego jest odpowiednim wyborem. Idzie nowe!
GET.NET - Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...Michal Furmankiewicz
Azure oferuje wiele platform na których możesz uruchomić swoją aplikację. Każda ma swoje zalety i wady. Zrobiłem przegląd tych platform dla Ciebie. W prezentacji wyrażam swoją prywatną opinię.
More Related Content
Similar to Elitmind @ 113. Spotkanie Data Community, Warszawa - Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski
Wprowadzenie do analizy danych w chmurze. Między innymi o Azure Stream Analytics, Azure Data Lake Analytics, Azure Machine Learning, ale też i o rozwiazaniach OpenSource (Spark, Yupiter, Storm, Zepelin)
Wprowadzenie do modelowania danych w PowerPivotKamil Nowinski
PowerPivot jako zintegrowany dodatek do Microsoft Excel 2013 doskonale wpisuje się w promowaną od wielu lat metodykę Self-Service BI pozwalając na budowanie złożonych modeli danych i późniejsze ich wykorzystanie do zaawansowanych analiz danych.
Na sesji dowiemy się od czego zacząć pracę z PowerPivot, jakie mogą być źródła danych, dlaczego analiza dużych ilości danych jest taka przyjemna (bo szybka) oraz jak możemy przygotowany model współdzielić ze współpracownikami.
Prezentacja po raz pierwszy została przedstawiona na 47. spotkaniu wrocławskiej grupy PLSSUG - 18 grudnia 2014r.
W trakcie prelekcji Krzysiek opowie o tworzeniu systemu z wykorzystaniem serwisów poziomu Platform as a Service, dostępnych na Microsoft Azure.
Wyjaśni, jak dzięki dobremu wykorzystaniu dostępnych narzędzi możemy skoncentrować się na tym, co tworzymy i zepchnąć problem deploymentu i utrzymania systemu na drugi plan.
Wprowadzenie do składowania danych w chmurze. Od relacyjnych Azure SQL Database, Azure SQL Data Warehouse, NoSQL - Azure DocumentDB, HDInsight (Hadoop, Spark, Hbase), Azure Search i Azure Data Factory
SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...radekle
Building efficient and reliable Enterprise Reporting Platform with Microsoft Power BI (SQL Day 2018 conference)
How to build serious, secure, and scalable reporting solutions with Power BI ?
Presentation covers the common patterns for Power BI usage, performance implications and best practices in deployment, monitoring, reports publishing and security aspects.
You will find many useful examples from large Power BI enterprise deployments.
Prezentacja ze spotkania grupy roboczej IAB e-Commerce na temat opłacalności użycia usług chmury publicznej jako podstawy działania rozwiązań e-commerce z przykładem analizy kosztów jednego ze sklepów internetowych działających w takim modelu.
Jak 5 narzędzi złożyło się na sukces hurtowni
Maciek jest kierownikiem projektu hurtowni danych, Przemek liderem zespołu programistów. Razem zaprezentują jakie (darmowe) narzędzia developerskie usprawniły prace programistom oraz jakie pozytywne „efekty uboczne” przyniosły one zarówno w samym projekcie jak i w jego otoczeniu. Następnie przedstawią jak doprowadziło ich to – szybciej niż myśleli – do automatu, który na bieżąco buduje z najnowszych źródeł, wdraża i testuje hurtownię danych.
Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...Elitmind
Współczesne rozwiązania w obszarze zaawansowanej analityki danych muszą być gotowe na nowego typu wyzwanie: analizę danych pochodzących z różnych źródeł w czasie bliskim rzeczywistemu. Jednym z celów może być reagowanie na zdarzenia w social media czy dostarczanie spersonalizowanych ofert klientom dokładnie wtedy, kiedy tego rzeczywiście potrzebują.
W trakcie prezentacji Barbara Leśniarek (Data Scientist w Elitmind) oraz Kamil Słomka (Senior Business Intelligence Consultant) pokazali przykład implementacji takiego rozwiązania w oparciu o usługi Microsoft Azure: Stream Analytics oraz Machine Learning.
Marek Sokołowski @ "Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i am...Ewa Stepien
Marek Sokołowski, prezentacja pt.:"Usługi PaaS oraz IaaS - przegląd dostępnego osprzętu i amunicji"@ "I Manewry w Chmurze Partnerów Oracle" - 23-24.czerwca 2015, Serock
Vicodein - Krystian Knapik o tym jak .NET Core wspomaga budowę nowoczesnych, wydajnych i świetnych pod względem User Experience aplikacji SPA. Także o tym co oferuje framework i dlaczego jest odpowiednim wyborem. Idzie nowe!
Vicodein - Krystian Knapik o tym jak .NET Core wspomaga budowę nowoczesnych, wydajnych i świetnych pod względem User Experience aplikacji SPA. Także o tym co oferuje framework i dlaczego jest odpowiednim wyborem. Idzie nowe!
GET.NET - Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...Michal Furmankiewicz
Azure oferuje wiele platform na których możesz uruchomić swoją aplikację. Każda ma swoje zalety i wady. Zrobiłem przegląd tych platform dla Ciebie. W prezentacji wyrażam swoją prywatną opinię.
Similar to Elitmind @ 113. Spotkanie Data Community, Warszawa - Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski (20)
2. Michał Krajewski
Fullstack developer
• Back-end and front-end side
development of multiple
applications.
• Data engineering.
• In the meantime project
requirements analyst and system
architect.
• Open source fan.
Core technologies:
• C# / .NET Framework / .NET
Core
• MS SQL 2012/2014/2016
• Azure / AWS
• Javascript
• Ruby / Ruby on Rails
https://www.linkedin.com/
in/michal-krajewski/
3. Adrian Kukiełka
Business Intelligence Consultant
• Implemetacje BI end to end.
• Analyst, Developer, Architect,… you call IT.
• Wychowany na MS
Technologie:
• MS SQL 2012/2014/2016
• Azure / Google Cloud Platform
Pasje:
• E-sportu
https://www.linkedin.com/in/adrian-kukielka/
4.
5. Przychodzi Klient i…
• Chce przenieść rozwiązania IT do chmury
• Chce oferty od różnych dostawców cloud
10. Amazon Web Services
• Platforma chmurowa firmy Amazon
• Data pierwszego wydania: marzec 2006
• Data pierwszego wydania Azure: luty 2010
• Rosnąca liczba usług chmurowych
• Środowiska obliczeniowe / maszyny wirtualne
• Usługi przechowywania danych
• Usługi bazodanowe / hurtowniane / BI
• AI / ML
• IoT
• Integracyjne (w tym z innymi usługami w chmurach)
i inne…
12. • Wysoce skalowalna, w pełni zarządzalna
usługa hurtowni danych
• Oparta na PostgreSQL
• W pełni kompatybilna ze wszystkimi
komponentami AWS
• Python, R
• Amazon ML
• Massively Parallel Processing (MPP)
architecture
• Zaawansowana kompresja danych
• Indeksy? Widoki zmaterializowane?
• 0,25$ za godzinę, $1000 za terabajt
rocznie …
Amazon Redshift
19. Amazon QuickSight
• Źródło Szybkie, łatwe w obsłudze narzędzie
BI (taki PowerBI)
• Analizy ad-hoc
• SPICE
• Integracja z prawie każdym źródłem na
AWSem na AWS
25. Google BigQuery
• Zapomnijcie o klasycznej DWH
• Usługa uniezależniona od zasobów danych
• Pay-Per-Query AND Flat Rate Pricing
• Nieskończone skalowanie – używamy tyle mocy ile
jest konieczne
• Bardzo łatwe współdzielenie projektów i zbiorów
danych pomiędzy użytkownikami
31. Pros
• Wydajność w przeglądarce
• Łatwość obsługi i proponowane wizualizacje
• Integracja z usługami Google – Youtube, AdSense,
Sheets, Analytics
• Darmowe do 5 raportów per konto
• Korporacyjnie usługa Data Studio 360 – nielimitowany
dostęp
Cons
• Mała ilość konektorów
• Nadal Beta
32. • Wszystkie 3 narzędzia mają cechy
wspólne.
• Różnice na poziomie architektury.
• Które wybrać?
• Porównanie architektury i wydajności
Amazon Redshift Spectrum enables you to run Amazon Redshift SQL queries against exabytes of data in Amazon S3.
4 min
Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie
Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced
Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing
Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji
Przetwarzanie batchowe bądź strumieniowe wpychanie danych
Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny
Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie
Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced
Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing
Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji
Przetwarzanie batchowe bądź strumieniowe wpychanie danych
Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny
4 min
Duże zbiory danych współdzielone w ramach różnych organizacji bez potrzeby och kopiowania poprzez rozdzielenie Computing od Storage
Zarabianie na udostępnionych publicznie zbiorach danych
REST Api i szerokie spektrum kontektorów
Placisz za kwerendę bądź abonament i wtedy wszystkie kwerendy free
Complaince i formal legal
Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie
Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced
Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing
Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji
Przetwarzanie batchowe bądź strumieniowe wpychanie danych
Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny
Model potrzeby VM i oprogrmowania serwerowego – „prawie” nieskończone i szybkie skalowanie w locie
Colossus – nowy system rozproszony system zapisu plików wzorowany na własnym systemie MapReduced
Dremel Egine – autorski silnik bazodanowy inspirowany Apache Dril and Apache Impala – in memory. 24h query cashing
Ponownie autorskie rozwiązanie będące łacznikiem pomiędzy Computing power a Cloud Storage i przekazujące Petity informacji
Przetwarzanie batchowe bądź strumieniowe wpychanie danych
Bezpośrednie query do danych w Bigtable(noSQL), GCS/Collosus,GoogleDrive i pomiędzy nimi joiny