Praktyczne wprowadzenie do nowoczesnych narzędzi analitycznych na przykładzie usług wchodzących w skład Microsoft Cortana Analytics Suite. Na konkretnych przykładach postaram się pokazać uczestnikom, jak przygotować się do przetwarzania dużej ilości danych. Jakie (darmowe i komercyjne) technologie znaleźć można na rynku? Jakie role i kompetencje przydadzą się wewnątrz organizacji? Jak dobrać właściwe narzędzia? Na czym warto skupić się samemu, a kiedy szukać pomocy na zewnątrz? Omówione zostaną również pierwsze komercyjne wdrożenia Cortany.

4. Machine Learning
Chmura
Big Data

10. • W szczycie
• 1600 rdzeni
• 5.6 TB RAM
• Ponad 2000 zdjęć/sekundę
Efekt pracy jednego programisty (3 tygodnie pracy) * Dane z września 2015

15. CHALLENGE
Dartmouth-Hitchcock Medical Center is a leading
regional medical center in New England with 1.2
million patients and more than 1,000 physicians in
virtually all areas of medicine. It wanted to replace
static treatment plans based on outdated, generic
data with highly personalized treatment plans or
“pathways” that would evolve based on the patient’s
own data and near-real-time information such as
vital signs, moods, and exercise habits from similar
people in the same region.
o Empowered, healthier patients with
personalized, evidence-based treatment plans
and collaborative care
o Millions of dollars saved in readmission costs,
unnecessary ER and doctor visits, and missed
work
o Improved quality of life with 360-degree view
of patient health, mood, and behavior
o More effective population health management
BENEFITSSOLUTION
Dartmouth-Hitchcock created ImagineCare, a new
consumer-focused solution based on the Microsoft
Cortana Analytics Suite and Microsoft Dynamics CRM.
ImagineCare collects and analyzes real-time and
historical data from medical and health devices and
electronic health records, and then surfaces metrics
including predictive analytics in clinical dashboards
and mobile apps. Clinicians can adjust treatment
plans and immediately alert patients to changes, and
patients and doctors can collaborate in real time.
DARTMOUTH-HITCHCOCK
Personalized care delivers
healthier populations
“This system is really transforming how we can deliver health and wellness to
the population. Despite all of the technology involved, ImagineCare does
not lose that human touch, which is so important.”
Nathan Larson
Director of Remote Medical Sensing

16. Przykładowe rozwiązania

19. Hadoop w chmurach

20. Azure HDInsight

21. Hadoop w modelu IaaS

22. HDInsight działa na Windows i Linux
• Wolność wyboru

23. Środowiska hybrydowe

24. Azure Storage
Architektura klastra
AzureVNet
Secure gateway
AuthN
HTTP Proxy
Highly available
Head nodes
xWorker nodes
HTTPS
traffic
ODBC/JDBC WebHCatalog Oozie Ambari

25. Customize
cluster?
Proces tworzenia klastra (technicznie)
Sesja RDP do klastra (ale
bez gwarancji trwałości)
Ręcznie
Zarządzanie i konfiguracja
Hive/Oozie Metastore
Storage accounts & VNET’s
ScriptAction
Za pomocą portalu
Ready for
deployment
Accepted
Cluster
storage
provisioned
AzureVM
configuration
Running
Timed Out
Error
Cluster
operational
Configuring
HDInsight
Cluster
customization
(custom script
running
Config values
JAR file placement in
cluster
PowerShell/SDK
No
Yes

26. Integracja z Visual Studio
Dostarczana razem z Azure SDK
Wsparcie dla VS 2012, 2013 i 2015
Proste zarządzanie klastrem (głownie z perspektywy Hive)
Podgląd powiązanych zasobów
Tworzenie tabel
Uruchamianie kwerend Hive
Podgląd postępów przetwarzania
Lokalna walidacja skryptów
IntelliSense

27. Integracja z Visual Studio
27
Budowanie topologii Storm
Gotowe szablony
Wsparcie dla spoutów i boltów tworzonych w C#
Topologie heterogeniczne (.NET i Java)
Monitorowanie topologii
Debugger

29. Azure Data Lake Store

30. Proces ETL
Specjalizowane narzędzia ETL (np. SSIS)
Zdefiniowany schemat
Kwerendy
Rezultat
Relacyjne
Aplikacje
biznesowe
Tradycyjny sposób patrzenia na analitykę
1. Zebranie wymagań od użytkowników na potrzebne zestawienia i
raporty
2. Określenie schematu danych i optymalnych zapytań
3. Zidentyfikowanie potrzebnych źródeł danych
4. Budowa procesu ETL w oparciu o z góry narzucony schemat
danych.
5. Stworzenie raportów.
Niepotrzebne dane są usuwane lub archiwizowane
30

31. Jak najdłuższe
przechowywanie
Analiza Rezultaty
Zebranie informacji
ze wszystkich
źródeł
Iteracja
Nowe podejście: Wszystkie dane mają wartość
Nie jesteśmy w stanie określić wartości danych z góry
Kolekcjonowanie danych staje się nawykiem
Brak narzuconych schematów danych – różne formaty natywne
Schemat danych zależy od sposobu ich przetwarzania i zależny jest od zapytań
Aplikacje i użytkownicy traktują dane jako dobro wspólne
31

32. Zintegrowana usługa
przechowywania i analizy danych
W pełni zarządzana
Łatwa w użyciu
Sprawdzona w dużej skali
Dowolny typ, rozmiar i format
danych
Oparta o otwarte standardy
Microsoft Azure Data Lake
YARN
HDFS
HDInsightAnalytics
Service
Store
Partners
U-SQL
Clickstream
Sensors
Video
Social
Web
Devices
Relational
Applications
32

33. Rozproszony system plików
Zoptymalizowany pod kątem
przetwarzania danych
Brak ograniczeń pojemności
Dowolny format danych
Wysoka dostępność (w tym
georeplikacja)
WebHDFS REST API
Wspierany przez wszystkie
wiodące dystrybucje Hadoop
Przystosowane również dla
scenariuszy IoT
Azure Data Lake: Store
YARN
HDFS
HDInsightAnalytics
Service
Store
U-SQL
Clickstream
Sensors
Video
Social
Web
Devices
Relational
Applications
33

34. ADL Store jest kompatybilny z HDFS
Map reduce
HBase
transactions
Any HDFS applicationHive query
Azure HDInsight
Hadoop WebHDFS client
Hadoop WebHDFS client
WebHDFS
endpoint
WebHDFS
REST API
WebHDFS
REST API
34
ADL Store file ADL Store file ADL Store file ADL Store fileADL Store file
Azure Data Lake Store

35. ADL Store i bezpieczeństwo: RBAC
Każdy plik i katalog ma swojego
właściciela (grupę)
Osobne uprawnienia (RWX) dla
właścicieli, członków grupy i
pozostałych użytkowników
Można zarządzać ACLami z portalu
lub za pomocą linii komend
35

36. ADL Store i bezpieczeństwo: szyfrowanie
Szyfrowanie danych podczas
transmisji (HTTPS) i przy zapisie
Użytkownicy będą mogli samodzielnie
zarządzać kluczami lub skorzystać z
usługi Azure Key Vault
36

37. Azure Data Lake
Analytics Service

38. Azure
Data Lake
Analytics Service
Alternatywa do
Hadoop
Oparty o Apache YARN
Dynamiczne skalowanie bez myślenia o
klastrach
Opłaty za ilość zapytań
Wsparcie dla Azure AD w celu kontroli
dostępu i integracji z lokalnymi
środowiskami
Korzysta z U-SQL aby połączyć wygodę
SQL z elastycznością C#
38

39. Po co kolejna usługa?
39
Nieograniczona
pojemność
Automatyczne
skalowanie
Zrównoleglanie
skryptów U-SQL
010010
100100
010101
Ten sam kod Integracja z VS
Debugger,
optymalizacja zapytań,
monitorowanie itd..
Łatwiejsza
nauka
Pochodna SQL i C#

40. Jak to wygląda w praktyce?
Wiele języków:
U-SQL, Hive, & Pig
Łatwa integracja z .NET

41. ADLA ma uzupełniać HDInsight
Podobne zastosowania, narzędzia i klienci
HDInsight
Dla miłośników open source: Java,
Eclipse, Hive itd.
Konfigurowalne i elastyczne klastry
w postaci zarządzanej usługi
ADLA
Dla dotychczasowych użytkowników
C#, SQL i PowerShella
Wygoda, wydajność i automatyczna
skalowalność – „job service”

42. Zapytania U-SQL: Wzorzec działania
PrzetwarzanieOdczyt Zapis
INSERT
OUTPUT
OUTPUT
RowSetSELECT…
FROM…
WHERE…
EXTRACT
EXTRACT
SELECT
SELECT
Azure
Data
Lake
Azure
Data
Lake
Azure
SQL
DB
Azure
Storage
Blobs
Azure
Storage
Blobs
15
RowSet

43. U-SQL i rozszerzenia
Wbudowane
operatory, funkcje i
agregaty
C# expressions (in SELECT statements)
User-defined aggregates (UDAGGs)
User-defined functions (UDFs)
User-defined operators (UDOs)
43

46. Azure SQL Data Warehouse
Relacyjna hurtownia danych w modelu usługowym, zarządzana w chmurze przez Microsoft.
Najbardziej elastyczny model rozliczeniowy na rynku z wbudowanymi możliwościami klasy Enterprise.
Możliwość integracji ze środowiskami chmurowymi lub on-premise.
Prosty model rozliczeniowy oparty o
przechowywane dane i czas obliczeń
Płatność zależna od realnych potrzeb
Wysoka wydajność bez potrzeby zmiany
architektury aplikacji
Niski koszt przechowywania
nieużywanych danych
Zarządzanie, wsparcie i niezbędna
infrastruktura zawarta w cenie
Przetwarzanie MPP petabajtów danych
Przeskalowanie środowiska w mniej niż minutę
Szybsze rezultaty obliczeń
Płatność tylko za realne zużycie
Ścisła integracja z pozostałymi
składnikami platformy Azure
Możliwość budowy rozwiązań
hybrydowych
SQL Server w tle

47. App Service
Intelligent App
Hadoop
Azure Machine
Learning
Power BI
Platforma zbudowana z myślą o chmurze
Azure SQL
Database
SQL
Azure SQL Data
Warehouse

49. Storm on HDInsight Azure Stream Analytics
Spark Streaming on HDInsight

51. ASA jako element architektury systemu
Data Source Collect Process ConsumeDeliver
Event Inputs
- Event Hub
- Azure Blob
Transform
- Temporal joins
- Filter
- Aggregates
- Projections
- Windows
- Etc.
Enrich
Correlate
Outputs
- SQL Database
- Blob Storage
- Event Hub
- Power BI
- Table Storage
- Service Bus Queue
- Service Bus Topic
- DocumentDb*
Azure
Storage
• Temporal Semantics
• Guaranteed delivery
• Guaranteed up time
Azure Stream Analytics
Reference Data
- Azure Blob
- …

53. 




 PyGame Pacman by David Reilly

54. 


 Wykrywanie nieprawidłowości

55. 





56. {"user_id":"michalz", "session_id": "28e12480-724d-11e5-80ca-
cc3d821e73b3", "event_type": "START", "event_value": ""}
{"user_id":"michalz", "session_id": "cf1498ee-724d-11e5-9408-
cc3d821e73b3", "event_type": "SCORE", "event_value": "10"}
{"user_id":"michalz", "session_id": "cf1498ee-724d-11e5-9408-
cc3d821e73b3", "event_type": "SCORE", "event_value": "400"}
{"user_id":"michalz", "session_id": "2a8bf6e1-7264-11e5-a7ca-
cc3d821e73b3", "event_type": "STOP", "event_value": "410"}

59. Wykrywanie anomalii
• Wykrywanie włamań
• Wadliwe egzemplarze produktów
• Zaawansowany monitoring infrastruktury IT
Nietypowa aktywność
Działalność hakerów lub terrorystów, próby włamań do
systemów bankowych, telekomunikacyjnych…
Błąd narzędziowy
Uszkodzenia lub zużycie sprzętu
Zmiana środowiska
• Pogoda, nowe wzorce zakupowe, mutacje w genach
Błąd ludzki
Przekładający się zwykle na różnicę w danych wejściowych

60. Input Dataset
Feature
Selection
Training set Testing set
Algorithm
Train Model Score Model
Evaluate
Model
Budowa modelu ML
Age Workclass Education Occupation Sex Hours-per-week Income
39 State-gov Bachelors Adm-clerical Male 40 <=50K
50 Self-emp-not-inc Bachelors Exec-managerial Male 13 <=50K
38 Private HS-grad Handlers-cleaners Male 40 <=50K
53 Private 11th Handlers-cleaners Male 40 <=50K
28 Private Bachelors Prof-specialty Female 40 <=50K
37 Private Masters Exec-managerial Female 40 <=50K
49 Private 9th Other-service Female 16 <=50K
Publish Model

63. Azure Data Factory

64. Elastyczność
ELASTYCZNOŚĆ KONTROLA
Kontrola
Azure Data Factory

65. Przykład: profilowanie użytkowników

66. Przykład: profilowanie użytkowników
Copy new users
to blob storage
Join and aggregate
activity per week
and user table
Weekly
Privacy:
Refresh:
Xbox New
Users
Game New
Users
Game Activity
Per Week
Daily
New User Activity Per
Week
Contains PII
Weekly, Mon
by 8AM