prezentacja z konferencji ""Data Scientist: The sexiest job of the 21st century!"

1. Galaktyka bitów
jak przeżyć powódź danych przy pomocy Microsoft i Open Source
Ryszard Dałkowski
Open Source Strategy Lead
Microsoft
http://www.chronozoomproject.org/#/t55
Zamiast agendy
O tym porozmawiamy…
Galaktyka bitów…
Dużo
danych?
Skąd? Charakter
Open
source z
MS?
W
chmurze
Sami spróbujcie

2. Sources: The Economist, Feb ‘10; IDC
2000
• Projekt Sloan Digital Sky Survey w 7 dni zgromadził więcej
danych niż wcześniej w całej historii astronomii
Do
2016
• Chilijski New Large Synoptic Survey Telescope będzie gromadził
około 140 terabajtów co 5 dni – więcej niż Sloan w ciągu 10 lat
2013
• Wielki Zderzacz Hadronów w CERN generuje 40 terabajtów
danych w ciągu sekundy eksperymentu
XXI w
• Więcej informacji w jeden dzień niż człowiek XV w w ciągu
całego życia
Sources: The Economist, Feb ‘10; DBMS2; Microsoft Corp
Bing „pożera” ponad 7 petabajtów
danych miesięcznie
Użytkownicy Twittera generują
ponad 1 terabajt wpisów każdego
dnia
Cisco przewiduje że ruch w
internecie osiągnie w 2013 poziom
667 exabajtów (czyli 108)

3. 1,800,000,000,000,
000,000,000 bytes1,8 ZB
Rozmiary cyfrowego wszechświata 2011
0
2
4
6
8
10
2010 2011 2012 2015
W ciągu 24 miesięcy ilość
mobilnych urządzeń >
tradycyjnych komputerów
Sources: IDC Digital Universe Study 2011, Worldwide Big Data Technology and Services 2012–2015 Forecast
W 2015 ponad 20% informacji
będzie przetwarzanych w
chmurze

5. VS
Baza relacyjna Baza MapReduce
Pojemności Gigabajty (Terabajty) Petabajty (Hexabajty)
Dostęp Interaktywny i wsadowy Wsadowy
Uaktualnianie Wielokrotny zapis/odczyt Pojedynczy zapis,
wielokrotny odczyt
Struktura Statyczna Dynamiczna
Integralność Wysoka (ACID) Niska
Skalowanie Nieliniowe Liniowe
DBA Ratio 1:40 1:3000

6. Własna dystrybucja
Microsoft
• Wszystkie zmiany oddane do
Apache Foundation
• Otwarta i wolna
• 100% kompatybilna
Optymalizowany dla
Windows & Azure
• Integracja z AD & Systems
Center
• Hadoop-as-a-service-on-Azure
Dostosowany dla
programistów .NET
• Integracja z Visual Studio
• Wsparcie dla C#
• Wydajności i skalowalność
• Wysoka dostępność
• Łatwość użycia

7. Współpraca
MS + OSS
Klienci
MS + OSS
Otwarta
chmura
+ Apache Hadoop

8. @Hortonworks
http://spr.ly/6017nTdb #microsoft #bigdata
http://aka.ms/HadoopWindows
+ Open Source

9. + OSS i transfer wiedzy
• MSDN
• WindowsAzure.com
• Channel 9
• php.net
• TechNet Wiki
• Blogi
• interoperability
• brian_swan
• Silverlining
• Specyfikacje i
dokumentacja
PHP at Scale on the Microsoft Platform
Azure Real World: Migrating a Drupal Site from LAMP to Windows Azure
http://www.chronozoomproject.org/
http://www.worldwidetelescope.org/webclient/

11. http://research.microsoft.com/en-us/um/redmond/groups/cue/sketchinsight/

12. http://www.microsoft.com/en-
us/news/Press/2013/Feb13/02-
11BigDataRoundupPR.aspx
http://www.microsoft.com/bizspark