Związany z technologiami Microsoft od początku kariery zawodowej, najpierw jako programista .NET, później architekt hurtowni danych. Zarządzał zespołami wdrażającymi rozwiązania oparte o MS BI m.in. w Grupie Energa, LOTOS, czy EuroStyl. Nastawiony na tworzenie rozwiązań praktycznych, zautomatyzowanych, prostych. MCSE: Business Intelligence
Maintenance Plans zupełnie znienacka | Każdy z doświadczonych administratorów używa (w jakimś stopniu) czegoś co nazywamy Maintenance Plans – Planami Konserwacji. Podczas tej sesji cciałbym omówić do czego mogą nam się one przydać, jakie funkcjonalności dają, kiedy możemy ich użyć i na co należy zwrócić uwagę. Sesja na poziomie 200 chwilami wybiegająca na 300, z otwarciem na dyskusję.
Związany z technologiami Microsoft od początku kariery zawodowej, najpierw jako programista .NET, później architekt hurtowni danych. Zarządzał zespołami wdrażającymi rozwiązania oparte o MS BI m.in. w Grupie Energa, LOTOS, czy EuroStyl. Nastawiony na tworzenie rozwiązań praktycznych, zautomatyzowanych, prostych. MCSE: Business Intelligence
Maintenance Plans zupełnie znienacka | Każdy z doświadczonych administratorów używa (w jakimś stopniu) czegoś co nazywamy Maintenance Plans – Planami Konserwacji. Podczas tej sesji cciałbym omówić do czego mogą nam się one przydać, jakie funkcjonalności dają, kiedy możemy ich użyć i na co należy zwrócić uwagę. Sesja na poziomie 200 chwilami wybiegająca na 300, z otwarciem na dyskusję.
Michał Żyliński: Cortana dla niewtajemniczonychAnalyticsConf
Praktyczne wprowadzenie do nowoczesnych narzędzi analitycznych na przykładzie usług wchodzących w skład Microsoft Cortana Analytics Suite. Na konkretnych przykładach postaram się pokazać uczestnikom, jak przygotować się do przetwarzania dużej ilości danych. Jakie (darmowe i komercyjne) technologie znaleźć można na rynku? Jakie role i kompetencje przydadzą się wewnątrz organizacji? Jak dobrać właściwe narzędzia? Na czym warto skupić się samemu, a kiedy szukać pomocy na zewnątrz? Omówione zostaną również pierwsze komercyjne wdrożenia Cortany.
Czy następuje taki moment w życiu programisty, kiedy może on stwierdzić, że jego warsztat jest już doskonały? Nie, jeżeli pracuje w technologiach internetowych. Ta dziedzina informatyki rozwija się w niesamowicie szybkim tempie, a stworzone wczoraj rozwiązania warto stosować już dziś! Podczas prelekcji słuchacze poznają aktualne możliwości, jakie dają web developerowi różne biblioteki, narzędzia developerskie oraz usługi.
Wprowadzenie do składowania danych w chmurze. Od relacyjnych Azure SQL Database, Azure SQL Data Warehouse, NoSQL - Azure DocumentDB, HDInsight (Hadoop, Spark, Hbase), Azure Search i Azure Data Factory
[#4] spark - IBM Integrated Analytics SystemArtur Wronski
Presentation #4 from IBM conference "Analityka Nowej Generacji", 8th of March 2018, Warsaw
Title: Introduction to data science and spark
Presenter: Marcin Janiszewski
[language: polish]
Transact-SQL to podstawowy język programowania baz danych w środowisku MS SQL Server. Transact-SQL jest zmodyfikowaną i uzupełnioną o elementy typowe dla proceduralnych języków programowania (jak zmienne i instrukcje sterujące wykonaniem programu) wersją standardu SQL-92. Dzięki temu rozszerzeniu, jego możliwości są znacznie większe niż możliwości standardowego SQL-a.
SQL Server został wyposażony w intuicyjne, a zarazem potężne narzędzie administracyjne -- konsolę SQL Server Enterprise Menager. W rezultacie część administratorów SQL Servera nie zna albo nie korzysta z możliwości języka Transact-SQL. A okazuje się, że ta sama operacja może być przeprowadzona kilkukrotnie szybciej, jeżeli zamiast konsoli użyjemy Transact-SQLa.
Książka "Transact-SQL. Czarna Księga" to wyczerpujące i dogłębne kompendium omawiające nie tylko sam język Transact-SQL, ale również zasady projektowania baz danych, a także zarządzanie SQL Serverem za pomocą języka Transact-SQL.
Przedstawiono:
* Standardowe interfejsy języka SQL instalowane wraz z SQL Serverem
* Elementy języka Transact-SQL i składnię poszczególnych instrukcji języka wraz z praktycznymi przykładami ich wykorzystania
* Metody pobierania i modyfikowania danych
* Optymalizację zapytań
* Wyszukiwanie pełnotekstowe i usługa MS Search.
* Zasady projektowania relacyjnych baz danych
* Algorytmy przekształcania relacji poprzez kolejne postacie normalne
* Tworzenie, modyfikowanie i usuwanie wszystkich typów obiektów bazodanowych
* Bezpieczeństwo i kontrolowanie dostępu do danych
* Integrację SQL Servera z innymi serwerami firmy Microsoft
* Tworzenie i przywracanie kopii zapasowych
* Automatyzację czynności administracyjnych
* Monitorowanie pracy SQL Servera i optymalizację jego wydajności
* Łączenie serwerów bazodanowych
* Replikację danych pomiędzy wieloma SZBD
MySQL zajmuje szczególną pozycję wśród systemów obsługi relacyjnych baz danych. Dzięki dużej wydajności, prostocie obsługi i dostępności interfejsów programistycznych dla wielu języków programowania, osiągnął ogromną popularność w zastosowaniach internetowych. Jeśli dysponujesz ograniczonym budżetem, powinieneś rozważyć użycie darmowego systemu, który pod wieloma względami może konkurować z drogimi systemami komercyjnymi. MySQL rozwija się zresztą bardzo dynamicznie, a jego kolejne wersje dysponują coraz to bardziej wyrafinowanymi funkcjami.
Do kogo adresowana jest ta książka?
"Bazy danych i MySQL. Od podstaw" to pozycja zarówno dla początkujących, jak i dla zaawansowanych użytkowników MySQL-a. Początkujący dowiedzą się jak instalować i konfigurować system MySQL, nauczą się projektowania wydajnych baz danych i zgłębią tajemnice języka SQL. Doświadczeni programiści będą mogli poznać interfejs pozwalający na korzystanie z MySQL-a z poziomu ich ulubionego języka programowania (książka omawia C, C++, Perla, PHP i Javę). Zainteresować ich powinny także rozdziały poświęcone wzorcom projektowym stosowanym przy tworzeniu aplikacji bazodanowych i omówienie mechanizmu transakcji, zaimplementowanego w najnowszych wersjach MySQL-a.
Co zawiera ta książka?
* Przystępne omówienie zagadnień związanych z projektowaniem baz danych
* Opis kompilacji, instalacji, konfiguracji i obsługi systemu MySQL
* Kompletny kurs języka SQL w wersji implementowanej w MySQL
* Prezentację narzędzi ułatwiających pracę z MySQL
* Omówienie zagadnień związanych z administracją systemem bazodanowym (replikacja, tworzenie kopii zapasowych, odtwarzanie danych)
* Opis interfejsów umożliwiających pisanie aplikacji bazodanowych w językach C, C++, PHP, Perl i Java
* Dodatki, zawierające m.in. skorowidz poleceń SQL i informacje na temat obsługi dużych obiektów (pola BLOB)
Autorzy szybko nauczą Cię korzystać z MySQL-a, dzięki czemu więcej czasu zostanie Ci na właściwe zadania.
Drupal to nowoczesny framework i system zarządzania treścią, który aktualnie używany jest przez przeszło milion stron internetowych na świecie - portale informatyczne, blogi, strony firmowe, a nawet strony rządowe.
Jak 5 narzędzi złożyło się na sukces hurtowni
Maciek jest kierownikiem projektu hurtowni danych, Przemek liderem zespołu programistów. Razem zaprezentują jakie (darmowe) narzędzia developerskie usprawniły prace programistom oraz jakie pozytywne „efekty uboczne” przyniosły one zarówno w samym projekcie jak i w jego otoczeniu. Następnie przedstawią jak doprowadziło ich to – szybciej niż myśleli – do automatu, który na bieżąco buduje z najnowszych źródeł, wdraża i testuje hurtownię danych.
Michał Żyliński: Cortana dla niewtajemniczonychAnalyticsConf
Praktyczne wprowadzenie do nowoczesnych narzędzi analitycznych na przykładzie usług wchodzących w skład Microsoft Cortana Analytics Suite. Na konkretnych przykładach postaram się pokazać uczestnikom, jak przygotować się do przetwarzania dużej ilości danych. Jakie (darmowe i komercyjne) technologie znaleźć można na rynku? Jakie role i kompetencje przydadzą się wewnątrz organizacji? Jak dobrać właściwe narzędzia? Na czym warto skupić się samemu, a kiedy szukać pomocy na zewnątrz? Omówione zostaną również pierwsze komercyjne wdrożenia Cortany.
Czy następuje taki moment w życiu programisty, kiedy może on stwierdzić, że jego warsztat jest już doskonały? Nie, jeżeli pracuje w technologiach internetowych. Ta dziedzina informatyki rozwija się w niesamowicie szybkim tempie, a stworzone wczoraj rozwiązania warto stosować już dziś! Podczas prelekcji słuchacze poznają aktualne możliwości, jakie dają web developerowi różne biblioteki, narzędzia developerskie oraz usługi.
Wprowadzenie do składowania danych w chmurze. Od relacyjnych Azure SQL Database, Azure SQL Data Warehouse, NoSQL - Azure DocumentDB, HDInsight (Hadoop, Spark, Hbase), Azure Search i Azure Data Factory
[#4] spark - IBM Integrated Analytics SystemArtur Wronski
Presentation #4 from IBM conference "Analityka Nowej Generacji", 8th of March 2018, Warsaw
Title: Introduction to data science and spark
Presenter: Marcin Janiszewski
[language: polish]
Transact-SQL to podstawowy język programowania baz danych w środowisku MS SQL Server. Transact-SQL jest zmodyfikowaną i uzupełnioną o elementy typowe dla proceduralnych języków programowania (jak zmienne i instrukcje sterujące wykonaniem programu) wersją standardu SQL-92. Dzięki temu rozszerzeniu, jego możliwości są znacznie większe niż możliwości standardowego SQL-a.
SQL Server został wyposażony w intuicyjne, a zarazem potężne narzędzie administracyjne -- konsolę SQL Server Enterprise Menager. W rezultacie część administratorów SQL Servera nie zna albo nie korzysta z możliwości języka Transact-SQL. A okazuje się, że ta sama operacja może być przeprowadzona kilkukrotnie szybciej, jeżeli zamiast konsoli użyjemy Transact-SQLa.
Książka "Transact-SQL. Czarna Księga" to wyczerpujące i dogłębne kompendium omawiające nie tylko sam język Transact-SQL, ale również zasady projektowania baz danych, a także zarządzanie SQL Serverem za pomocą języka Transact-SQL.
Przedstawiono:
* Standardowe interfejsy języka SQL instalowane wraz z SQL Serverem
* Elementy języka Transact-SQL i składnię poszczególnych instrukcji języka wraz z praktycznymi przykładami ich wykorzystania
* Metody pobierania i modyfikowania danych
* Optymalizację zapytań
* Wyszukiwanie pełnotekstowe i usługa MS Search.
* Zasady projektowania relacyjnych baz danych
* Algorytmy przekształcania relacji poprzez kolejne postacie normalne
* Tworzenie, modyfikowanie i usuwanie wszystkich typów obiektów bazodanowych
* Bezpieczeństwo i kontrolowanie dostępu do danych
* Integrację SQL Servera z innymi serwerami firmy Microsoft
* Tworzenie i przywracanie kopii zapasowych
* Automatyzację czynności administracyjnych
* Monitorowanie pracy SQL Servera i optymalizację jego wydajności
* Łączenie serwerów bazodanowych
* Replikację danych pomiędzy wieloma SZBD
MySQL zajmuje szczególną pozycję wśród systemów obsługi relacyjnych baz danych. Dzięki dużej wydajności, prostocie obsługi i dostępności interfejsów programistycznych dla wielu języków programowania, osiągnął ogromną popularność w zastosowaniach internetowych. Jeśli dysponujesz ograniczonym budżetem, powinieneś rozważyć użycie darmowego systemu, który pod wieloma względami może konkurować z drogimi systemami komercyjnymi. MySQL rozwija się zresztą bardzo dynamicznie, a jego kolejne wersje dysponują coraz to bardziej wyrafinowanymi funkcjami.
Do kogo adresowana jest ta książka?
"Bazy danych i MySQL. Od podstaw" to pozycja zarówno dla początkujących, jak i dla zaawansowanych użytkowników MySQL-a. Początkujący dowiedzą się jak instalować i konfigurować system MySQL, nauczą się projektowania wydajnych baz danych i zgłębią tajemnice języka SQL. Doświadczeni programiści będą mogli poznać interfejs pozwalający na korzystanie z MySQL-a z poziomu ich ulubionego języka programowania (książka omawia C, C++, Perla, PHP i Javę). Zainteresować ich powinny także rozdziały poświęcone wzorcom projektowym stosowanym przy tworzeniu aplikacji bazodanowych i omówienie mechanizmu transakcji, zaimplementowanego w najnowszych wersjach MySQL-a.
Co zawiera ta książka?
* Przystępne omówienie zagadnień związanych z projektowaniem baz danych
* Opis kompilacji, instalacji, konfiguracji i obsługi systemu MySQL
* Kompletny kurs języka SQL w wersji implementowanej w MySQL
* Prezentację narzędzi ułatwiających pracę z MySQL
* Omówienie zagadnień związanych z administracją systemem bazodanowym (replikacja, tworzenie kopii zapasowych, odtwarzanie danych)
* Opis interfejsów umożliwiających pisanie aplikacji bazodanowych w językach C, C++, PHP, Perl i Java
* Dodatki, zawierające m.in. skorowidz poleceń SQL i informacje na temat obsługi dużych obiektów (pola BLOB)
Autorzy szybko nauczą Cię korzystać z MySQL-a, dzięki czemu więcej czasu zostanie Ci na właściwe zadania.
Drupal to nowoczesny framework i system zarządzania treścią, który aktualnie używany jest przez przeszło milion stron internetowych na świecie - portale informatyczne, blogi, strony firmowe, a nawet strony rządowe.
Jak 5 narzędzi złożyło się na sukces hurtowni
Maciek jest kierownikiem projektu hurtowni danych, Przemek liderem zespołu programistów. Razem zaprezentują jakie (darmowe) narzędzia developerskie usprawniły prace programistom oraz jakie pozytywne „efekty uboczne” przyniosły one zarówno w samym projekcie jak i w jego otoczeniu. Następnie przedstawią jak doprowadziło ich to – szybciej niż myśleli – do automatu, który na bieżąco buduje z najnowszych źródeł, wdraża i testuje hurtownię danych.
3. Skalowalność
• Zdolność do zwiększania wydajności
systemu wraz ze zwiększaniem jego
zasobów (np. sprzętowych)
• Liniowa skalowalność – zwiększając ilość
zasobów systemu X razy, zwiększamy
także X razy jego wydajność
• Większość RDBMS nie posiada tej cechy
• HBase jest skalowalny do nawet setek
serwerów
4. Czym jest HBase
• Nierelacyjna baza danych (NoSQL)
• Otwarto-źródłowa implementacja BigTable
• Dostęp w czasie rzeczywistym do
ogromnych ilości danych
• Przechowywanie miliardów wierszy i
milionów kolumn
5. NoSQL
• Brak schematu danych
• Brak JOIN'ów, brak SQL
• np.: bazy klucz/wartość, bazy
dokumentowe, bazy grafowe
• Bardziej wyspecjalizowane niż RDBMS
6. Google BigTable
• Od 2004 roku używana przez większość
usług Google, m.in.:
Google Reader, Gmail, YouTube,
Google Maps
• HBase jest implementacją architektury
BigTable tworzoną przez fundację Apache
9. Przykłady zastosowania
– historia zmian danych użytkownika
• Przechowywanie historii zmian np. adresu
e-mail, hasła, danych osobowych
• Wykorzystywanie natywnych dla HBase
mechanizmów wersjonowania
• Umożliwia bezpieczny backup
i odtworzenie danych
10. Przeprowadzone testy
• Testy przeprowadzono standardowym
narzędziem dołączonym do HBase
• Zawierają testy użyte przez Google do
oceny BigTable
• Standardowe testy umożliwiają
porównywanie BigTable oraz HBase na
przestrzeni czasu
11. Wyniki testu – czas sumaryczny
randomRead
50000000
4
45000000
3,5
40000000
3
35000000
total time
25000000
2
20000000
1,5
15000000
1
10000000
0,5
5000000
0
0
2
4
6
number of servers
rowCount
milliseconds
8
scalability
10
12
scalability
2,5
30000000
12. Wyniki testu – czas/serwer
randomRead
14000000
0,5
0,45
12000000
0,4
0,35
0,3
8000000
0,25
6000000
0,2
0,15
4000000
0,1
2000000
0,05
0
0
2
4
6
8
number of servers
rowCount
milliseconds per server
10
scalability
12
scalability
miliseconds per server
10000000
13. Podsumowanie
1. Nowe, specjalistyczne rozwiązania
2. Dzięki skalowalności nadają się do
przetwarzania dużych ilości danych
3. HBase z powodzeniem używane przez:
Facebook, Twitter, Yahoo!, Filmweb