Wprowadzenie do analizy danych w chmurze. Między innymi o Azure Stream Analytics, Azure Data Lake Analytics, Azure Machine Learning, ale też i o rozwiazaniach OpenSource (Spark, Yupiter, Storm, Zepelin)
Wprowadzenie do składowania danych w chmurze. Od relacyjnych Azure SQL Database, Azure SQL Data Warehouse, NoSQL - Azure DocumentDB, HDInsight (Hadoop, Spark, Hbase), Azure Search i Azure Data Factory
AnalyticsConf2016 - Innowacyjność poprzez inteligentną analizę informacji - C...Łukasz Grala
Sesja o wprowadzeniu do sztucznej inteligencji, cognitive services i uczeniu maszynowym. Na wyciągnięcie ręki serwisy, które dają możliwość analizy obrazu, dźwięku, tekstów. Analiza obrazu w czasie rzeczywitym, rozpoznawanie twarzy i ludzi, ruchu, emocji. Odczytywanie tekstów z video, oraz boty.
20160405 Cloud Community Poznań - Cloud Analytics on AzureŁukasz Grala
Cloud Analytics on Platform Azure. Overview about analytics. Talking about Azure Data Lake Storage & Analytics, Azure Stream Analytics, HDInsight, Hortonowrks, PowerBI...
AzureDay North 2016. Conference about cloud solutions.
What is Machine Learning? Why we need Machine Learning? Where and When we use this? What is Azure Machine Learning and language R. Session introduce to paradigm machine learning, data mining, classes of problems and fundamentals of algorithms.
By Data Scientist as a Service.
Pierwsza edycja konferencji AzureDay Poland 2016. W ramach tej konferencji sesja o analizie danych strumieniowych przy użyciu Azure Stream Analytics, rozszerzone o możliwości algorytmów uczenia maszynowego przetwarzane w Azure Machine Learning
Wprowadzenie do składowania danych w chmurze. Od relacyjnych Azure SQL Database, Azure SQL Data Warehouse, NoSQL - Azure DocumentDB, HDInsight (Hadoop, Spark, Hbase), Azure Search i Azure Data Factory
AnalyticsConf2016 - Innowacyjność poprzez inteligentną analizę informacji - C...Łukasz Grala
Sesja o wprowadzeniu do sztucznej inteligencji, cognitive services i uczeniu maszynowym. Na wyciągnięcie ręki serwisy, które dają możliwość analizy obrazu, dźwięku, tekstów. Analiza obrazu w czasie rzeczywitym, rozpoznawanie twarzy i ludzi, ruchu, emocji. Odczytywanie tekstów z video, oraz boty.
20160405 Cloud Community Poznań - Cloud Analytics on AzureŁukasz Grala
Cloud Analytics on Platform Azure. Overview about analytics. Talking about Azure Data Lake Storage & Analytics, Azure Stream Analytics, HDInsight, Hortonowrks, PowerBI...
AzureDay North 2016. Conference about cloud solutions.
What is Machine Learning? Why we need Machine Learning? Where and When we use this? What is Azure Machine Learning and language R. Session introduce to paradigm machine learning, data mining, classes of problems and fundamentals of algorithms.
By Data Scientist as a Service.
Pierwsza edycja konferencji AzureDay Poland 2016. W ramach tej konferencji sesja o analizie danych strumieniowych przy użyciu Azure Stream Analytics, rozszerzone o możliwości algorytmów uczenia maszynowego przetwarzane w Azure Machine Learning
Resultados del proyecto sobre recuperación de praderas degradadas y sostenibi...FAO
Presentación realizada por los Sres. Rodrigo Allende y Diego Ocampos, en el marco la XIII CODEGALAC Capítulo Cono Sur y Andino realizada entre el 11 y el 13 de Mayo de 2016 en Santa Cruz de la Sierra, Bolivia.
AnalyticsConf2016 - Zaawansowana analityka na platformie Azure HDInsightŁukasz Grala
Sesja or ozwiązaniu Big Data Analytics Microsoft. Jest to Hortonowrks (HADOOP, HBase, Storm, Spark), wraz z wydajnym R Server. Zaawansowana analityka przy użyciui RevoScaleR
Elitmind @ 113. Spotkanie Data Community, Warszawa - Business Intelligence w ...Elitmind
Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski
Przegląd rozwiązań i możliwości rozwiązań Buisiness Intelligence w chmurze. Spójrzmy na to oferują trzej giganci: Microsoft, Google i Amazon.
Każdy z nas dostał, w którymś momencie pytanie od klienta jak to wygląda u innych? Spójrzmy więc i się przekonajmy!
Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...Elitmind
Współczesne rozwiązania w obszarze zaawansowanej analityki danych muszą być gotowe na nowego typu wyzwanie: analizę danych pochodzących z różnych źródeł w czasie bliskim rzeczywistemu. Jednym z celów może być reagowanie na zdarzenia w social media czy dostarczanie spersonalizowanych ofert klientom dokładnie wtedy, kiedy tego rzeczywiście potrzebują.
W trakcie prezentacji Barbara Leśniarek (Data Scientist w Elitmind) oraz Kamil Słomka (Senior Business Intelligence Consultant) pokazali przykład implementacji takiego rozwiązania w oparciu o usługi Microsoft Azure: Stream Analytics oraz Machine Learning.
Resultados del proyecto sobre recuperación de praderas degradadas y sostenibi...FAO
Presentación realizada por los Sres. Rodrigo Allende y Diego Ocampos, en el marco la XIII CODEGALAC Capítulo Cono Sur y Andino realizada entre el 11 y el 13 de Mayo de 2016 en Santa Cruz de la Sierra, Bolivia.
AnalyticsConf2016 - Zaawansowana analityka na platformie Azure HDInsightŁukasz Grala
Sesja or ozwiązaniu Big Data Analytics Microsoft. Jest to Hortonowrks (HADOOP, HBase, Storm, Spark), wraz z wydajnym R Server. Zaawansowana analityka przy użyciui RevoScaleR
Elitmind @ 113. Spotkanie Data Community, Warszawa - Business Intelligence w ...Elitmind
Business Intelligence w Cloud, nie tylko na Azure by Adrian Kukiełka i Michał Krajewski
Przegląd rozwiązań i możliwości rozwiązań Buisiness Intelligence w chmurze. Spójrzmy na to oferują trzej giganci: Microsoft, Google i Amazon.
Każdy z nas dostał, w którymś momencie pytanie od klienta jak to wygląda u innych? Spójrzmy więc i się przekonajmy!
Elitmind @ SQLDay2018: Stream Analytics i Machine Learning – czy to dobrze do...Elitmind
Współczesne rozwiązania w obszarze zaawansowanej analityki danych muszą być gotowe na nowego typu wyzwanie: analizę danych pochodzących z różnych źródeł w czasie bliskim rzeczywistemu. Jednym z celów może być reagowanie na zdarzenia w social media czy dostarczanie spersonalizowanych ofert klientom dokładnie wtedy, kiedy tego rzeczywiście potrzebują.
W trakcie prezentacji Barbara Leśniarek (Data Scientist w Elitmind) oraz Kamil Słomka (Senior Business Intelligence Consultant) pokazali przykład implementacji takiego rozwiązania w oparciu o usługi Microsoft Azure: Stream Analytics oraz Machine Learning.
[#4] spark - IBM Integrated Analytics SystemArtur Wronski
Presentation #4 from IBM conference "Analityka Nowej Generacji", 8th of March 2018, Warsaw
Title: Introduction to data science and spark
Presenter: Marcin Janiszewski
[language: polish]
Wprowadzenie do modelowania danych w PowerPivotKamil Nowinski
PowerPivot jako zintegrowany dodatek do Microsoft Excel 2013 doskonale wpisuje się w promowaną od wielu lat metodykę Self-Service BI pozwalając na budowanie złożonych modeli danych i późniejsze ich wykorzystanie do zaawansowanych analiz danych.
Na sesji dowiemy się od czego zacząć pracę z PowerPivot, jakie mogą być źródła danych, dlaczego analiza dużych ilości danych jest taka przyjemna (bo szybka) oraz jak możemy przygotowany model współdzielić ze współpracownikami.
Prezentacja po raz pierwszy została przedstawiona na 47. spotkaniu wrocławskiej grupy PLSSUG - 18 grudnia 2014r.
Jak 5 narzędzi złożyło się na sukces hurtowni
Maciek jest kierownikiem projektu hurtowni danych, Przemek liderem zespołu programistów. Razem zaprezentują jakie (darmowe) narzędzia developerskie usprawniły prace programistom oraz jakie pozytywne „efekty uboczne” przyniosły one zarówno w samym projekcie jak i w jego otoczeniu. Następnie przedstawią jak doprowadziło ich to – szybciej niż myśleli – do automatu, który na bieżąco buduje z najnowszych źródeł, wdraża i testuje hurtownię danych.
GET.NET - Osiołkowi w żłobie dano, czyli o tym jak hostować aplikacje na Mic...Michal Furmankiewicz
Azure oferuje wiele platform na których możesz uruchomić swoją aplikację. Każda ma swoje zalety i wady. Zrobiłem przegląd tych platform dla Ciebie. W prezentacji wyrażam swoją prywatną opinię.
Praca naukowa i projekty komercyjne w 9 Lives Data9LivesData
Prezentacja projektów komercyjnych oraz prac naukowych realizowanych w 9LivesData. Zaprezentowana w ramach 9LivesData Day na wydziale MIM UW 17 października 2016.
Wysoka Dostępność Windows Server 2008 w kontekscie umów SLATobias Koprowski
To trzecia prezentacja w cztero-częściowym cyklu omawiającym znaczenie wysokiej dostepności w kontekście umów SLA. Prezentacje przeznaczone są dla odbiorców z kręgu ITPro, a publikowane na zywo na portalu VirtualStudy.pl
***
This is third part of my four-parts cycle about Service Level Agreement for ITPros. It a session for Virtualstudy.pl education portal.
PLNOG 17 - Maciej Flak - Cisco Cloud Networking - czyli kompletna infrastrukt...PROIDEA
W trakcie sesji zostanie omówiony nowy zyskujący coraz większe uznanie model zarządzania i provisioningu sieci LAN, WAN, WIFI z chmury. Pokazane zostanie w jaki sposób operatorzy telekomunikacyjni przy pomocy platformy Cisco Cloud Networking mogą budować i dostarczać własne usługi zarządzane Klientom (manager LAN, WAN i WIFI).
SQL Day 2018 Building efficient and reliable Enterprise Reporting Platform wi...radekle
Building efficient and reliable Enterprise Reporting Platform with Microsoft Power BI (SQL Day 2018 conference)
How to build serious, secure, and scalable reporting solutions with Power BI ?
Presentation covers the common patterns for Power BI usage, performance implications and best practices in deployment, monitoring, reports publishing and security aspects.
You will find many useful examples from large Power BI enterprise deployments.
Similar to 20160316 techstolica - cloudanalytics -tidk (20)
DataMass Summit - Machine Learning for Big Data in SQL ServerŁukasz Grala
Sesja pokazująca zarówno Machine Learning Server (czyli algorytmy uczenia maszynowego w językach R i Python), ale także możliwość korzystania z danych JSON w SQL Server, czy też łączenia się do danych znajdujących się na HDFS, HADOOP, czy Spark poprzez Polybase w SQL Server, by te dane wykorzystywać do analizy, predykcji poprzez modele w językach R lub Python.
Sesja na temat analizy sentymentu, ale także i algorytmów uczenia maszynowego w bibliotekach do języka R Microsoft. Sesja była prezentowana na konferencji WhyR? w Warszawie
eRum2016 -RevoScaleR - Performance and Scalability RŁukasz Grala
Conference eRum2016.
European R users meeting (eRum) is an international conference that aims at integrating users of the R language. eRum 2016 will be a good chance to exchange experiences, broaden knowledge on R and collaborate. One can participate in eRum 2016: (1) with a regular oral presentation, (2) with a lightning talk, (3) with a poster presentation, (4) or attending without presentation or poster. Due to space available at the conference venue, organizers set limit of participants at 250.
Session about RevoScale R.
AzureDay - Introduction Big Data Analytics.Łukasz Grala
AzureDay North 2016. Conference about cloud solutions.
What is Analytics? What is Big Data? Why Big Data we have in the cloud. What offer Microsoft for Big Data Analytics. How to start with Big Data Analytics or Advanced Analytics? Session introduce fundamentals for Big Data and Advanced Analytics.
By Data Scientist as a Service
WyspaIT 2016 - Azure Stream Analytics i Azure Machine Learning w analizie str...Łukasz Grala
Wzrost ilości danych w postaci strumieni danych spowodował potrzebę analizy danych w czasie rzecyzwistych będących strumieniami. W czasie sesji pokazano połączenie:
- event hub/Iot hub
- Azure Stream Analytics
- Azure Machine Learning
Session about types of analytics. Descriptive, diagnostic, predictive and prescriptive analytics.
Conference DATA ANALYSIS DEVELOPMENT 2016 by RZECZPOSPOLITA.
"SharePoint 2010 a SQL Server" - Konferencja Time For SharePoint 2011- Łukas...Łukasz Grala
Materiały z konferencji Time For SharePoint 2011 - 17 czerwiec 2011.
Sesja dotycząca SQL Server wykorzystywanego w rozwiązaniach opartych na SharePoint. Przedstawione są topologie infrastruktury SharePoint 2010, bazy danych w SharePoint 2010, wysoka dostępność w SQL Server 2008 i 2008R2 - między innymi: clustering, mirroring, replication i log shiping, Prelegentem w sesji był Łukasz Grala - konsulatant, projektant i trener rozwiązań opartych na SQL Server, oraz SharePoint. MVP w kategorii SQL Server.
Reprezentacja hierarchii w SQL Server 2008/2008R2 - 2nd Silesian CodeCampŁukasz Grala
W życiu mamy często do czynienia z hierarchią. Problem pojawia się jak mamy ją odpowiednio zapisać w bazie danych, żeby później z niej efektywnie korzystać. W ramach sesji będą przedstawione zagadnienia związane zarówno z reprezentacją hierarchii przy użyciu złączenia self-join, jak i przy użyciu nowego typu hirarchyid. W ramach sesji przedstawione będą metody korzystania z obu reprezentacji i porównanie ich wydajności.
Prezentacja z konferencji 2nd Sielesian CodeCamp która odbyła się 9 kwietnia 2011 roku.
Łukasz Grala - WSKIZ 2009-04-07 It Academic - SQL Server 2008 - Nowości Adm...Łukasz Grala
Łukasz Grala - SQL Server 2008 - Nowości administracyjne.
Prezentacja z konferencji IT Academic Day organizowanej w Wyższej Szkole Komunikacji Zarządzania w Poznaniu
2. @Łukasz Grala – lukasz@tidk.pl
• Architekt rozwiązań Platformy Danych & Business Intelligence & Zaawansowanej Analityki w TIDK
• Certyfikowany trener Microsoft i wykładowca na wyższych uczelniach
• Autor zaawansowanych szkoleń i warsztatów, oraz licznych publikacji i webcastów
• Od 2010 roku wyróżniany nagrodą Microsoft Data Platform MVP
• Doktorant Politechnika Poznańska – Wydział Informatyki (obszar bazy danych, eksploracja danych,
uczenie maszynowe)
• Prelegent na licznych konferencjach w kraju i na świecie
• Posiada liczne certyfikaty (MCT, MCSE, MCSA, MCITP,…)
• Członek Polskiego Towarzystwa Informatycznego
• Członek i lider Polish SQL Server User Group (PLSSUG)
• Pasjonat analizy, przechowywania i przetwarzania danych, miłośnik Jazzu
4. Data (Big Data)
• 72 hours of video are uploaded per minute on YouTube (1 terabyte
every 4 minutes)
• 500 terabytes of new data per day are ingested in Facebook
databases
• Sensors from a Boeing jet engine create 20 terabytes
of data every hour
• The proposed Square Kilometer Array telescope will generate “a few
Exabytes of data per day” (single beam)
lukasz@tidk.pl
7. New BI Solutions
ETL Tool
(SSIS, etc) EDW
(SQL Server, Teradata, etc)
Extract
Original Data
Load
Transformed
Data
Transform
BI Tools
Ingest (EL)
Original Data
Scale-out
Storage &
Compute
(HDFS, Blob Storage,
etc)
Transform & Load
Data Marts
Data Lake(s)
Dashboards
Apps
Streaming data
lukasz@tidk.pl
13. Built on Apache YARN
Scales dynamically with the turn of a dial
Pay by the query
Supports Azure AD for access control, roles,
and integration with on-prem identity systems
Built with U-SQL to unify the benefits of SQL
with the power of C#
Processes data across Azure
Azure Data Lake Analytics Services
13
14. Work across all cloud data
Azure Data Lake
Analytics
Azure SQL DW Azure SQL DB
Azure
Storage Blobs
Azure
Data Lake Store
SQL DB in an
Azure VM
23. Big Data - HDInsight
• HDInsight is a Hadoop-based service that brings 100% Apache
Hadoop solution running on the Microsoft Azure platform
• Based on the Hortonworks Data Platform (HDP)
• Scalable, on-demand service
lukasz@tidk.pl
26. HDInsight & SQL Server 2016
Query relational
and non-relational
data, on-premises
and in Azure
Apps
T-SQL query
SQL Server Hadoop
lukasz@tidk.pl
27. Advanced Analytics - Language and Tools
• Language R and Python
• Microsoft R Open, Microsoft R Server, R Services, CARN R, Revolution
• Mahout
• SparkR
• MLLib
• Azure Machine Learning
lukasz@tidk.pl
29. Key Concept – Machine Learning
Data
Model
Parameters
Learning Prediction
Decision Making
Utility Function
lukasz@tidk.pl
30. Class Learning Problems
• Classification: Assign a category to each item (Chinese | French
| Indian | Italian | Japanese restaurant).
• Regression: Predict a real value for each item
(stock/currency value, temperature).
• Ranking: Order items according to some criterion
(web search results relevant to a user query).
• Clustering: Partition items into homogeneous groups
(clustering twitter posts by topic).
• Dimensionality reduction: Transform an initial representation of items
into a lower-dimensional representation while preserving some
properties (preprocessing of digital images).
lukasz@tidk.pl
36. • 16-18 maj 2016
• Wrocław Centrum Konferencyjne
• 3 dni, 6 warsztatów, 4 ścieżki, ponad 30 prelegentów, 50 sesji
• 600 uczestników + sponsorzy + prelegenci + organizatorzy
• Goście między innymi z USA, Anglii, Niemiec, Ukrainy, Bułgarii, Słoweni
• Premiera techniczna SQL Server 2016
sqlday.pl @sqlday
lukasz@tidk.pl
W tym warsztat Big Data Analytics – Łukasz Grala & Marcin Szeliga
37.
38. Masterclass: Cloud Storage
23-25.05.2016, Warszawa
Azure SQL Server i Azure SQL Database, Skalowanie bazy relacyjnej w
chmurze, Hurtownia danych w chmurze PowerShell i bazy danych w
Azure, Azure BLOB Storage, Bazy dokumentowe, Big Data z
HDInsight, Hadoop, Apache Spark, Pozostałe komponenty HDInsight i
Hadoop, Wirtualne maszyny
Masterclass: Cloud Analytics
20-22.06.2016, Warszawa
Data Catalog, Data Factory, Data Lake, PowerBI i dane relacyjne w
chmurze, Hadoop, Apache Spark, Analiza danych strumieniowych,
Analiza z baz danych dokumentowych i grafowych, Uczenie
maszynowe, Polybase w SQL Server 2016
Łukasz Grala
Data Platform MVP,
MCT, MCSE, MCSA,
MCITP, MCSA,
MCP, MTA
Łukasz o szkoleniach:
„Danych produkowanych jest
więcej niż kiedykolwiek, pochodzą
z sieci Internet, z portali społecznościowych, z
urządzeń. Bardzo duży rozwój Internetu Rzeczy
(IoT) ilość tych danych jeszcze bardziej
zwiększa. Dlatego przygotowaliśmy dwa
specjalne kursy Cloud Storage i Cloud Analytics,
przedstawiające mechanizmy składowania,
przetwarzania i analizy danych z
wykorzystaniem chmury.”
Big Data, BI, Analityka, SQL
Standard -25% na hasło TechStolicawww.hexcode.pl
Editor's Notes
A new distributed analytics service
Built on Apache YARN
Dynamically scales
Handles jobs of any scale instantly by simply setting the dial for how much power you need.
You only pay for the cost of the query
Supports Azure Active Directory for Access Control, Roles, Integration with on-premises identity systems
It also includes U-SQL, a language that unifies the benefits of SQL with the expressive power of C#
U-SQL’s scalable runtime processes data across multiple Azure data sources
ADLA allows you to compute on data anywhere and a join data from multiple cloud sources.