Alphorm.com Formation Certified Network Defender 1/2 : Réussir la certificationAlphorm
Formation complète ici:
http://www.alphorm.com/tutoriel/formation-en-ligne-cnd-certified-network-defender-1-2-reussir-la-certification-cnd
Le Certified Network Defender (CND) est un cours vendor-neutral, c'est à dire sans orientation technique vis à vis d'un quelconque fournisseur de matériel ou d'éditeur de solutions de sécurité des réseaux informatiques
Le cursus CND est un cours 50 % pratique sous forme de labs, modélisant les activités courantes d'administrateurs réseaux, basés sur les outils et techniques les plus utilisés dans la sécurité réseau.
Ces éléments ont été mise en place grâce aux meilleurs pratiques établies par le ministère américain de la Défense (DoD) ainsi qu'au travers du framework de cybersécurité décrit par le National Initiative of Cybersecurity Education.
Le programme permet aux administrateurs réseaux de se préparer aux technologies de la sécurité des réseaux ainsi que sur les opérations et méthodologies qui y sont relatives et ainsi appliquer une logique de sécurité en profondeur (Defense-in-Depth)
Wprowadzenie do technologii Big Data / Intro to Big Data EcosystemSages
Introduction to Hadoop Map Reduce, Pig, Hive and Ambari technologies.
Workshop deck prepared and presented on September 5th 2015 by Radosław Stankiewicz.
During that the day participants had also the possibility to go through prepared tutorials and test their analysis on real cluster.
Codepot - Pig i Hive: szybkie wprowadzenie / Pig and Hive crash courseSages
Szybkie wprowadzenie do technologii Pig i Hive z ekosystemu Hadoop. Prezentacja wykonana w ramach warsztatów Codepot w dniu 29.08.2015. Prezentacja wykonana przez Radosława Stankiewicza oraz Bartłomieja Tartanusa.
Alphorm.com Formation Certified Network Defender 1/2 : Réussir la certificationAlphorm
Formation complète ici:
http://www.alphorm.com/tutoriel/formation-en-ligne-cnd-certified-network-defender-1-2-reussir-la-certification-cnd
Le Certified Network Defender (CND) est un cours vendor-neutral, c'est à dire sans orientation technique vis à vis d'un quelconque fournisseur de matériel ou d'éditeur de solutions de sécurité des réseaux informatiques
Le cursus CND est un cours 50 % pratique sous forme de labs, modélisant les activités courantes d'administrateurs réseaux, basés sur les outils et techniques les plus utilisés dans la sécurité réseau.
Ces éléments ont été mise en place grâce aux meilleurs pratiques établies par le ministère américain de la Défense (DoD) ainsi qu'au travers du framework de cybersécurité décrit par le National Initiative of Cybersecurity Education.
Le programme permet aux administrateurs réseaux de se préparer aux technologies de la sécurité des réseaux ainsi que sur les opérations et méthodologies qui y sont relatives et ainsi appliquer une logique de sécurité en profondeur (Defense-in-Depth)
Wprowadzenie do technologii Big Data / Intro to Big Data EcosystemSages
Introduction to Hadoop Map Reduce, Pig, Hive and Ambari technologies.
Workshop deck prepared and presented on September 5th 2015 by Radosław Stankiewicz.
During that the day participants had also the possibility to go through prepared tutorials and test their analysis on real cluster.
Codepot - Pig i Hive: szybkie wprowadzenie / Pig and Hive crash courseSages
Szybkie wprowadzenie do technologii Pig i Hive z ekosystemu Hadoop. Prezentacja wykonana w ramach warsztatów Codepot w dniu 29.08.2015. Prezentacja wykonana przez Radosława Stankiewicza oraz Bartłomieja Tartanusa.
Introduction to Hadoop Map Reduce, Pig, Hive and HBase technologies.
Workshop deck prepared and presented on May 30th 2015 by Radosław Stankiewicz.
During that day participants had also possibility to go through prepared tutorials and test their analysis on real cluster.
e-Commerce Trends from 2014 to 2015 by Divante.coDivante
The new and actual version of this Report is here
https://www.slideshare.net/divanteltd/ecommerce-trends-from-2017-to-2018-by-divante
e-Commerce sales worldwide will reach $1.7 trillion in 2015. The World's Leading E-Commerce Companies, Capital Market, E-Commerce startups to watch, Omnichannel, B2C e-commerce sales worldwide and more!
Bazy danych bywają skomplikowane. Właśnie dlatego, by zrozumieć jak funkcjonują i nauczyć się wykorzystywać ich możliwości, potrzebujesz wskazówek ekspertów, jakimi niewątpliwie są autorzy tego obszernego podręcznika. Jeżeli po raz pierwszy zetknąłeś się z Accessem, docenisz uwagę, jaką w niniejszej książce poświęcono wyjaśnieniu terminologii oraz przekazaniu podstawowych wiadomości na temat baz danych. Jeśli znasz poprzednie wersje programu, możesz od razu przejść do opisu tych funkcji, które w Accessie 2003 są nowe, np. szerszego wykorzystania języka XML i usług WWW.
Choć kolejne rozdziały opisują coraz to bardziej zaawansowane tematy, nie musisz czytać książki "od deski do deski". Każdy z rozdziałów możesz traktować samodzielnie, wybierając rozdziały i zagadnienia według uznania (pomocny w tym może być bardzo szczegółowy spis treści, pozwalający na łatwe zlokalizowanie interesującego tematu).
W tej książce znajdziesz pełny opis programu Access 2003
* Tworzenie tabel, korzystanie z arkuszy danych i praca z wieloma tabelami
* Zastosowanie siedmioetapowej metody projektowej do tworzenia baz danych spełniających indywidualne wymagania
* Tworzenie formularzy za pomocą kreatorów, tworzenie związanych i niezwiązanych formularzy oraz weryfikacja poprawności danych
* Wykorzystanie języka Visual Basic i programu VBA Editor do automatyzacji działania Accessa
* Zastosowanie języka XML do prostego i zaawansowanego dostępu do danych
* Automatyzacja parametrów kwerend, tworzenie funkcji i procedur oraz programowa obsługa błędów
* Wymiana danych z innymi aplikacjami pakietu Office
Kupując tę książkę, zdobędziesz kompletne źródło informacji na temat jednego z najpopularniejszych systemów bazodanowych. Niezależnie od tego, czy chcesz stworzyć w Accesie prostą bazę danych, czy też planujesz wykorzystanie go jako podstawy do budowy zaawansowanego systemu, nie będziesz potrzebował żadnych dodatkowych podręczników.
* Kompletny opis Accessa 2003
* Ogromna liczba przykładów ilustrujących opisywane zagadnienia
* Podręcznik dla początkujących i zaawansowanych
* Bogata zawartość dołączonego CD-ROM-u
Bazy danych bywają skomplikowane. Właśnie dlatego, by zrozumieć jak funkcjonują i nauczyć się wykorzystywać ich możliwości, potrzebujesz wskazówek ekspertów, jakimi niewątpliwie są autorzy tego obszernego podręcznika. Jeżeli po raz pierwszy zetknąłeś się z Accessem, docenisz uwagę, jaką w niniejszej książce poświęcono wyjaśnieniu terminologii oraz przekazaniu podstawowych wiadomości na temat baz danych. Jeśli znasz poprzednie wersje programu, możesz od razu przejść do opisu tych funkcji, które w Accessie 2003 są nowe, np. szerszego wykorzystania języka XML i usług WWW.
Choć kolejne rozdziały opisują coraz to bardziej zaawansowane tematy, nie musisz czytać książki "od deski do deski". Każdy z rozdziałów możesz traktować samodzielnie, wybierając rozdziały i zagadnienia według uznania (pomocny w tym może być bardzo szczegółowy spis treści, pozwalający na łatwe zlokalizowanie interesującego tematu).
W tej książce znajdziesz pełny opis programu Access 2003
* Tworzenie tabel, korzystanie z arkuszy danych i praca z wieloma tabelami
* Zastosowanie siedmioetapowej metody projektowej do tworzenia baz danych spełniających indywidualne wymagania
* Tworzenie formularzy za pomocą kreatorów, tworzenie związanych i niezwiązanych formularzy oraz weryfikacja poprawności danych
* Wykorzystanie języka Visual Basic i programu VBA Editor do automatyzacji działania Accessa
* Zastosowanie języka XML do prostego i zaawansowanego dostępu do danych
* Automatyzacja parametrów kwerend, tworzenie funkcji i procedur oraz programowa obsługa błędów
* Wymiana danych z innymi aplikacjami pakietu Office
Kupując tę książkę, zdobędziesz kompletne źródło informacji na temat jednego z najpopularniejszych systemów bazodanowych. Niezależnie od tego, czy chcesz stworzyć w Accesie prostą bazę danych, czy też planujesz wykorzystanie go jako podstawy do budowy zaawansowanego systemu, nie będziesz potrzebował żadnych dodatkowych podręczników.
* Kompletny opis Accessa 2003
* Ogromna liczba przykładów ilustrujących opisywane zagadnienia
* Podręcznik dla początkujących i zaawansowanych
* Bogata zawartość dołączonego CD-ROM-u
[#4] spark - IBM Integrated Analytics SystemArtur Wronski
Presentation #4 from IBM conference "Analityka Nowej Generacji", 8th of March 2018, Warsaw
Title: Introduction to data science and spark
Presenter: Marcin Janiszewski
[language: polish]
Poznaj jeden z najpopularniejszych systemów zarządzania bazami danych
* Rozpocznij pracę z bazami danych
* Poznaj możliwości Accessa
* Naucz się tworzyć kwerendy
* Zautomatyzuj własną pracę
* Błyskawicznie twórz raporty
Współczesny świat jest przesycony informacjami. Jest ich tak dużo, że do efektywnego korzystania z nich nie wystarczy już ludzka pamięć ani nawet papierowe kartoteki -- potrzeba do tego wydajniejszego mechanizmu, jaki zapewniają komputerowe bazy danych. Access 2007 to najnowsza wersja jednego z najpopularniejszych systemów zarządzania takimi bazami. Ten program jest na tyle bogaty, że korzystają z niego profesjonalni programiści, a jednocześnie wystarczająco prosty, aby nowicjusze mogli szybko nauczyć się jego obsługi.
Książka "Access 2007 PL. Kurs" to pozycja skierowana do początkujących użytkowników, którzy nie mają dużego doświadczenia w korzystaniu z komputera. Dzięki licznym ilustracjom i szczegółowym wyjaśnieniom szybko nauczysz się tworzyć i używać bazy danych. Z krótkich rozdziałów, w których krok po kroku opisane są rozwiązania standardowych problemów, dowiesz się, jak wykonać podstawowe operacje w programie Access 2007. Nauczysz się:
* Korzystać z baz danych w programie Access 2007
* Projektować, tworzyć i modyfikować tabele
* Używać relacji do łączenia tabel
* Obsługiwać dane przy użyciu kwerend
* Korzystać z formularzy
* Prezentować dane za pomocą raportów
* Używać makr do automatyzacji zadań
* Zarządzać bazami danych
Zamiast długich tekstów -- rysunki z dokładnymi objaśnieniami.
Samodzielna nauka nigdy nie była tak prosta.
Jak 5 narzędzi złożyło się na sukces hurtowni
Maciek jest kierownikiem projektu hurtowni danych, Przemek liderem zespołu programistów. Razem zaprezentują jakie (darmowe) narzędzia developerskie usprawniły prace programistom oraz jakie pozytywne „efekty uboczne” przyniosły one zarówno w samym projekcie jak i w jego otoczeniu. Następnie przedstawią jak doprowadziło ich to – szybciej niż myśleli – do automatu, który na bieżąco buduje z najnowszych źródeł, wdraża i testuje hurtownię danych.
W typowych zastosowaniach systemów baz danych wykorzystuje się architekturę scentralizowaną, w której system zarządzania bazą i wszystkie dane znajdują się w tym samym węźle sieci informatycznej. Istnieje jednak wiele zastosowań, w których scentralizowane bazy danych nie zapewniają wymaganej funkcjonalności i efektywności pracy. W takich przypadkach stosuje się tzw. rozproszone bazy danych.
Wiele problemów związanych z projektowaniem i zarządzaniem scentralizowanymi bazami danych, m.in. projektowanie struktury bazy, przetwarzanie i optymalizacja zapytań, zarządzanie współbieżnością transakcji staje się znacznie trudniejsze w przypadku baz rozproszonych.
Najpopularniejszymi systemami umożliwiającymi tworzenie rozproszonych baz danych są systemy firmy Oracle. Funkcjonalność Oracle pociąga za sobą dużą złożoność oprogramowania. Niniejsza książka stanowi kompendium wiedzy niezbędnej do projektowania rozproszonych baz danych, opartych na Oracle, a także potrzebnej do administrowania takimi bazami.
Tematy poruszone w książce to m.in.:
* Architektura rozproszonych baz danych
* Oprogramowanie komunikacji sieciowej Oracle Net
* Procesy komunikacji sieciowej Oracle
* Zarządzanie transakcjami rozproszonymi
* Replikacja danych: migawki i zaawansowane sposoby replikacji
* Oracle9i Lite - rozproszona baza danych dla urządzeń mobilnych
* Optymalizacja zapytań rozproszonych
* Partycjonowanie tabel i indeksów
Książka jest adresowana do administratorów rozproszonych baz danych (nie tylko systemu Oracle), szerokiego grona informatyków, zajmujących się projektowaniem rozproszonych systemów informatycznych opartych na bazach danych, studentów kierunków związanych z informatyką oraz wszystkich tych, którzy interesują się problematyką rozproszonych baz danych.
* Projektuj rozproszone bazy danych
* Zarządzaj transakcjami w rozproszonych bazach danych
* Integruj bazy danych umieszczone na urządzeniach przenośnych
* Wybierz właściwą metodę replikacji danych rozproszonych
Zamiast długich tekstów -- rysunki z dokładnymi objaśnieniami.Samodzielna nauka nigdy nie była tak prosta
Znaczenie baz danych trudno przecenić. Służą one nie tylko jako magazyny informacji, ale co ważniejsze, pozwalają na niezwykle szybkie ich przeszukiwanie. W ciągu kilku sekund w tysiącach danych odnajdziesz te, których właśnie potrzebujesz i zaprezentujesz je w formie rozmaitych zestawień, a nawet wykresów. Baza danych pozwoli Ci gromadzić szczegółowe dane o kontrahentach czy produktach i przeprowadzać na nich dowolne operacje. Trudno dziś sobie wyobrazić nowoczesne przedsiębiorstwo, które nie korzystałoby z rozbudowanych baz danych. Program Microsoft Access to jeden z najprostszych w obsłudze i zarazem najpopularniejszy system bazodanowy powszechnie stosowany w firmach i instytucjach na całym świecie.
Książka "Access 2003 PL. Kurs" to nowoczesny podręcznik, dzięki któremu w krótkim czasie poznasz tę aplikację i nauczysz się używać jej w praktyce. Przystępny język, liczne ilustracje, ćwiczenia pokazujące jak krok po kroku realizować najczęstsze zadania -- to wszystko sprawi, że bez pomocy nauczyciela poznasz Accessa i powiększysz swoje kompetencje stając się bardziej cenionym i poszukiwanym pracownikiem.
Nauczysz się:
* Instalować Accessa i pakiet Office
* Tworzyć nowe bazy danych
* Projektować i modyfikować tabele przechowujące dane
* Wprowadzać dane do baz danych
* Wiązać ze sobą tabele za pomocą relacji
* Pisać własne kwerendy przeszukujące bazy danych
* Tworzyć wygodne formularze do wprowadzania danych
* Tworzyć eleganckie raporty na podstawie wybranych danych
* Zarządzać bazami danych
Książki wydawnictwa Helion z serii "Kurs" adresowane są do początkujących użytkowników komputerów, którzy chcą w krótkim czasie nabyć praktycznych umiejętności przydatnych w karierze zawodowej i codziennej pracy. Napisane przystępnym językiem i bogato ilustrowane są wspaniałą pomocą w samodzielnej nauce.
* Przeznaczony dla początkujących
* Praktyczne zadania omówione krok po kroku
* Przystępny i zrozumiały język
* Liczne ilustracje
* Idealny do samodzielnej nauki
Poznaj najpopularniejszą bazę danych dla Windows
Baza danych Oracle od dawna cieszy się zasłużoną sławą. Jest wykorzystywana wszędzie tam, gdzie dba się o stabilność i bezpieczeństwo danych oraz szybkość dostępu do nich. Każda nowa wersja Oracle’a wnosi coś nowego i wytycza nowe standardy. Ogromne możliwości Oracle’a pociągają za sobą konieczność dołączania do niej tysięcy stron dokumentacji. Każdy z opasłych tomów instrukcji szczegółowo opisuje inne elementy systemu. Często jednak podczas pracy z bazą zachodzi konieczność szybkiego odnalezienia konkretnej informacji. W takich przypadkach przydatne okazuje się zestawienie najbardziej istotnych zagadnień, zebranych w jednej publikacji.
W książce "Oracle Database 10g. Kompendium administratora" zebrano wszystkie najważniejsze pojęcia dotyczące bazy danych Oracle. W jednym podręczniku zgromadzone są opisy poleceń, funkcji i właściwości oraz dokumentacja narzędzi dołączanych do Oracle’a. Każdy użytkownik, administrator i programista baz danych znajdzie tu coś, co przyda mu się w pracy. Jednych zainteresuje opis języka SQL, innych -- opis instalacji, konfiguracji i strojenia bazy, a jeszcze inni docenią omówienie zasad tworzenia aplikacji współpracujących z Oracle’em.
* Instalacja bazy danych Oracle 10g
* Planowanie i projektowanie aplikacji bazodanowych
* Język SQL i narzędzie SQL*Plus
* Operacje na danych z wykorzystaniem języka SQL
* Budowanie złożonych zapytań
* Zarządzanie tabelami, perspektywami, indeksami i klastrami
* Mechanizmy bezpieczeństwa bazy danych
* Eksport danych i technologia Data Pump
* Zapytania flashback
* Dołączanie tabel zewnętrznych
* Tworzenie aplikacji w języku PL/SQL
* Strojenie aplikacji i optymalizacja zapytań
Dodatkową pomocą dla użytkowników Oracle’a jest przewodnik po wszystkich jej funkcjach, potencjalnych zastosowaniach i zestawienie poleceń wraz z opcjami i parametrami.
Ta książka powinna znaleźć się na biurku każdego,kto wykorzystuje w pracy bazę Oracle 10g.
Wykorzystaj w pełni ogromne możliwości Accessa 2003 PL
* Poznaj podstawy relacyjnych baz danych i programu Access 2003
* Wykorzystaj w pracy istniejące bazy danych i obiekty lub stwórz własne
* Zastosuj zaawansowane funkcje tworzenia i modyfikowania obiektów w bazach
* Dowiedz się, jak można połączyć Accessa 2003 z innymi aplikacjami
* Stwórz własne aplikacje dla Accessa za pomocą języka VBA
Microsoft Access 2003 to jeden z najpopularniejszych systemów do zarządzania bazami danych wykorzystywanych w przedsiębiorstwach i przez użytkowników prywatnych. Pozwala zarówno na prowadzenie domowej kartoteki płyt CD, jak i zarządzanie danymi klientów i kontrahentów. Łatwość obsługi, rozbudowany system pomocy, wykonywanie większości zadań za pomocą kreatorów i spore możliwości czynią z Accessa doskonałe narzędzie dla tych, którzy chcą korzystać z baz danych, a nie mają okazji lub czasu na naukę potężnych systemów, takich jak Oracle czy MS SQL Server.
Książka "Access 2003 PL dla każdego" przedstawia wszystko, co jest niezbędne do korzystania z tej aplikacji w domu lub w pracy. Opisuje podstawy relacyjnych baz danych, zasady tworzenia i modyfikowania baz oraz obiektów, możliwości wykorzystania Accessa w połączeniu z innymi aplikacjami, wykorzystywanie języka VBA.
* Podstawowe wiadomości o relacyjnych bazach danych
* Otwieranie istniejących baz danych
* Uruchamianie kwerend i raportów
* Wykorzystywanie istniejących obiektów
* Tworzenie nowej bazy danych
* Tworzenie własnych formularzy, raportów i kwerend
* Współużytkowanie danych z innymi aplikacjami
* Administrowanie danymi
* Podstawy tworzenia aplikacji w języku VBA
Instrukcje SQL są kluczowymi elementami typowych aplikacji bazodanowych, a więc efektywność ich wykonywania decyduje w głównym stopniu o wydajności samych aplikacji. Twórcy aplikacji bazodanowych i administratorzy baz danych często spędzają długie godziny w celu upewnienia się, że dostęp do danych istotnie odbywa się po najszybszych ścieżkach, czyli że plany wykonywania wyrażeń SQL są optymalne. Wiąże się z tym między innymi rozważanie wzajemnego związku między strukturą wyrażeń SQL a planami ich wykonywania.
Książka ta poświęcona jest jednemu z kluczowych aspektów tego związku, często niedocenianemu, aczkolwiek niezmiernie istotnemu -- wyborowi odpowiedniego planu wykorzystywanego przez określone zapytanie. Autor prezentuje matematyczną metodą optymalizacji wyrażeń SQL, opierającą się na dobrze zdefiniowanym algorytmie postępowania i prowadzącą do znajdowania optymalnych (lub niemal optymalnych) planów wykonania dla określonych wyrażeń; jest to naprawdę atrakcyjna alternatywa dla poszukiwań metodą prób i błędów, rzadko dającą optymalne rezultaty. Czytelnik znajdzie w niniejszej książce opis wielu szczegółowych zagadnień związanych z optymalizacją wyrażeń SQL i baz danych w ogólności, między innymi takich jak:
* Buforowanie danych i zarządzanie tabelami
* Indeksowanie, implementowanie indeksów i związane z tym koszty
* Filtrowanie zawartości tabel i jego związek z indeksowaniem
* Złączenia tabel i metody ich realizacji
* Analiza planów wykonywania zapytań i zarządzanie tymi planami w bazach danych Oracle, MS SQL Server i DB2
* Sporządzanie diagramów zapytań i wykorzystywanie ich do celów optymalizacji złożonych zapytań oraz do wyznaczania najlepszych planów wykonywania
* Specjalne metody optymalizacji szczególnych przypadków, w których standardowe postępowanie okazuje się niewystarczające: buforowanie wielokrotnie wydawanych zapytań, łączenie i upodobnianie zapytań itp.
Treści poszczególnych rozdziałów towarzyszą ćwiczenia kontrolne, a całość wieńczy prezentacja zastosowania opisywanych koncepcji w (kompletnie opisanym) procesie optymalizowania konkretnej aplikacji.
Przyśpiesz działanie aplikacji -- zoptymalizuj dostęp do danych
Similar to Szybkie wprowadzenie do eksploracji danych z pakietem Weka (20)
Szybkie wprowadzenie do eksploracji danych z pakietem Weka
1. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Weka – szybkie wprowadzenie
Lukasz Kobyli´nski
Sages sp. z o.o.
Instytut Podstaw Informatyki PAN
Sages Weka – szybkie wprowadzenie 1 / 49
2. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Plan
1 Wprowadzenie
2 Praca z pakietem Weka
3 Eksploracja danych
4 Rozszerzanie pakietu i aspekty integracji
Sages Weka – szybkie wprowadzenie 2 / 49
4. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Czym jest Weka?
Weka to pakiet, zawierajacy implementacje wielu
algorytm´ow, slu˙zacych do eksploracji danych.
ponad 80 metod klasyfikacji, regresji, grupowania, doboru
atrybut´ow,
podstawowe wsparcie dla odkrywania regul asocjacyjnych,
inne algorytmy dostepne w postaci wtyczek,
napisana w Javie,
udostepnia zar´owno interfejs okienkowy, jak i programistyczny,
istnieje mo˙zliwo´s´c integracji z innymi systemami analizy
danych.
Licencja: Weka udostepniana jest na licencji GPL 3.0. Projekty
zbudowane na podstawie Weki musza by´c udostepnione razem z
kodem ´zr´odlowym.
Sages Weka – szybkie wprowadzenie 4 / 49
5. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Czym jest eksploracja danych?
Eksploracja danych to proces odkrywania ukrytych informacji
w danych.
https://visualisingadvocacy.org/blog/disinformation-visualization-how-lie-datavis
Sages Weka – szybkie wprowadzenie 5 / 49
6. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Ewolucja podej´s´c do analizy danych
Zbieranie danych (Data Collection)
Jaki byl laczny przych´od mojej firmy w ciagu ostatnich 5 lat?
Dostep do danych (Data Access)
Jaki byl przych´od oddzialu malopolskiego w marcu ostatniego roku?
Hurtownie danych (Data Warehousing)
Jaki byl przych´od oddzialu malopolskiego w marcu ostatniego roku? Jaka
cze´s´c stanowil Krak´ow?
Eksploracja danych (Data Mining)
Jak bedzie sie ksztaltowa´c sprzeda˙z w Krakowie w kolejnym miesiacu?
Dlaczego?
Du˙ze Dane (Big Data)
Jakie wzorce zachowa´n mo˙zna zauwa˙zy´c u naszych klient´ow on-line?
Sages Weka – szybkie wprowadzenie 6 / 49
7. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Typowe zastosowania
Analiza danych finansowych
jakie sa trendy wynik´ow sprzeda˙zy?
Analiza danych o klientach
kt´orzy klienci sa kluczowi z punktu widzenia firmy,
kt´ore produkty beda sie sprzedawa´c w przyszlym roku?
Sages Weka – szybkie wprowadzenie 7 / 49
8. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Typowe zastosowania
Analiza danych finansowych
jakie sa trendy wynik´ow sprzeda˙zy?
Analiza danych o klientach
kt´orzy klienci sa kluczowi z punktu widzenia firmy,
kt´ore produkty beda sie sprzedawa´c w przyszlym roku?
Sages Weka – szybkie wprowadzenie 7 / 49
9. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Typowe zastosowania (2)
Analiza danych tekstowych
do jakiej kategorii mo˙zna zaklasyfikowa´c ten email?
czy ta recenzja produktu ma wyd´zwiek pozytywny, czy
negatywny?
jaka opinie ma ten polityk na Twitterze?
Sages Weka – szybkie wprowadzenie 8 / 49
10. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Typowe zastosowania (3)
Analiza obraz´ow
kto z moich znajomych jest widoczny na tych zdjeciach?
w jakim wieku i jakiej plci sa ci ludzie?
Sages Weka – szybkie wprowadzenie 9 / 49
11. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Architektura pakietu
Weka to ´srodowisko uruchomieniowe metod uczenia
maszynowego i implementacje poszczeg´olnych algorytm´ow
Weka Core
algorytmy
Classifiers
Clusterers
Associations
Filters
Attribute Selection
Wtyczki
Sages Weka – szybkie wprowadzenie 10 / 49
12. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Sposoby pracy z pakietem
Explorer – eksploracyjna analiza danych, interfejs zakladek, kt´ore
odpowiadaja kolejnym etapom analizy danych,
Sages Weka – szybkie wprowadzenie 11 / 49
13. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Sposoby pracy z pakietem
KnowledgeFlow – graficzna reprezentacja procesu przetwarzania
danych w postaci widget´ow i polacze´n miedzy nimi,
Sages Weka – szybkie wprowadzenie 11 / 49
14. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Sposoby pracy z pakietem
Experimenter – umo˙zliwia uruchamianie wieloetapowych lub
wielokrotnie powtarzanych eksperyment´ow.
Sages Weka – szybkie wprowadzenie 11 / 49
15. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Sposoby pracy z pakietem
Weka udostepnia r´ownie˙z interfejs wiersza linii polece´n
Wiersz polece´n
java -Xmx1024m weka.classifiers.trees.J48 -t
data.arff -i -k -d J48-data.model
oraz interfejs programistyczny
Interfejs programistyczny
import weka.core.converters.ConverterUtils.DataSource;
...
DataSource source = new DataSource(”/some/where/data.arff”);
Instances data = source.getDataSet();
// setting class attribute if the data format does not provide this information
// For example, the XRFF format saves the class attribute information as well
if (data.classIndex() == -1)
data.setClassIndex(data.numAttributes() - 1);
Sages Weka – szybkie wprowadzenie 11 / 49
16. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Skad uzyska´c informacje?
Dokumentacja i Wiki
http://www.cs.waikato.ac.nz/ml/weka/documentation.html
http://weka.wikispaces.com/
http://wiki.pentaho.com/display/DATAMINING/Pentaho+Data+
Mining+Community+Documentation
Ksia˙zka
http://www.cs.waikato.ac.nz/ml/
weka/book.html
Sages Weka – szybkie wprowadzenie 12 / 49
18. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Przygotowanie danych do analizy
Jakie dane mo˙ze analizowa´c Weka?
dane musza by´c ustrukturyzowane,
format tabelaryczny ze ´sci´sle typowanymi kolumnami,
domy´slnym formatem jest ARFF (lub XRFF), istnieje
mo˙zliwo´s´c ladowania innych typ´ow (np. CSV),
ARFF – pozwala na oznaczanie danych brakujacych,
ARFF – pozwala na zapisywania danych rzadkich (sparse
data),
istnieje mo˙zliwo´s´c odczytu/zapisu z bazy danych.
Sages Weka – szybkie wprowadzenie 14 / 49
19. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Format danych ARFF
Podstawowy format zapisu danych w Wece
– Attribute-Relation File Format – zbli˙zony do CSV, z
dodatkowymi metadanymi.
Nagl´owek
% 1. Title: Iris Plants Database
@RELATION iris
@ATTRIBUTE sepallength REAL
@ATTRIBUTE sepalwidth REAL
@ATTRIBUTE petallength REAL
@ATTRIBUTE petalwidth REAL
@ATTRIBUTE class {Iris-setosa,Iris-versicolor,
Iris-virginica}
Sages Weka – szybkie wprowadzenie 15 / 49
20. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Format danych ARFF
Dane
@DATA
5.1,3.5,1.4,0.2,Iris-setosa
4.9,3.0,1.4,0.2,Iris-setosa
4.7,3.2,1.3,0.2,Iris-setosa
7.0,3.2,4.7,1.4,Iris-versicolor
6.9,3.1,4.9,1.5,Iris-versicolor
5.5,2.3,4.0,1.3,Iris-versicolor
6.3,3.3,6.0,2.5,Iris-virginica
5.8,2.7,5.1,1.9,Iris-virginica
6.3,?,5.6,?,Iris-virginica
Znak ? oznacza dane brakujace.
Sages Weka – szybkie wprowadzenie 16 / 49
21. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Format danych ARFF
Dostepne typy danych
numeric
integer (=numeric)
real (=numeric)
<nominal-specification >
string
date [<date-format>]
Na przyklad:
@ATTRIBUTE timestamp DATE ”yyyy-MM-dd HH:mm:ss”
@DATA
”2001-04-03 12:12:12”
Sages Weka – szybkie wprowadzenie 17 / 49
22. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Format danych ARFF
Typ relational
@attribute molecule_name {MUSK-jf78,...,NON-MUSK-199}
@attribute bag relational
@attribute f1 numeric
...
@attribute f166 numeric
@end bag
@attribute class {0,1}
...
MUSK-188,"42,...,30",1
Sages Weka – szybkie wprowadzenie 18 / 49
23. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Format danych ARFF – dane rzadkie
Zamiast
@data
0, X, 0, Y, "class A"
0, 0, W, 0, "class B"
Mo˙zliwy jest zapis:
@data
{1 X, 3 Y, 4 "class A"}
{2 W, 4 "class B"}
Sages Weka – szybkie wprowadzenie 19 / 49
24. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Dostep do bazy danych
Dostep do baz danych realizowany poprzez sterowniki JDBC
Konieczne jest:
pobranie odpowiedniego sterownika JDBC dla danej bazy,
skopiowanie pliku DatabaseUtils.props z weka.jar
(weka/experiment) do $WEKA HOME/props (domy´slnie:
$HOME/wekafiles)
edycja pliku DatabaseUtils.props i:
wskazanie ´scie˙zki do pliku sterownika,
podanie adresu URL do polaczenia z baza.
Na przyklad (DatabaseUtils.props.mysql):
jdbcDriver=org.gjt.mm.mysql.Driver
jdbcURL=jdbc:mysql://server name:3306/database name
Sages Weka – szybkie wprowadzenie 20 / 49
26. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Eksploracja danych
Jakie zadania eksploracji danych mo˙zna realizowa´c za
pomoca Weki?
Klasyfikacja i regresja
Grupowanie
Odkrywanie regul asocjacyjnych
Ograniczanie i transformacja przestrzeni atrybut´ow
Wizualizacja danych
Sages Weka – szybkie wprowadzenie 22 / 49
27. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Klasyfikacja – przyklad
Ocena zdrowia pacjenta – wykonujemy badania diagnostyczne i
ankiete
ci´snienie krwi (liczba)
poziom cukru (liczba)
wystepowanie chor´ob serca w rodzinie (warto´s´c binarna)
wiek (liczba)
ple´c (M/K)
Na tej podstawie decydujemy, czy wysla´c pacjenta na badania
szczeg´olowe (podejrzenie choroby).
Sages Weka – szybkie wprowadzenie 23 / 49
28. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Klasyfikacja – przyklad
Ocena zdrowia pacjenta – wykonujemy badania diagnostyczne i
ankiete
ci´snienie krwi (liczba) – wysokie
poziom cukru (liczba) – wysoki
wystepowanie chor´ob serca w rodzinie (warto´s´c binarna) – tak
wiek (liczba) – 50
ple´c (M/K) – M
Na tej podstawie decydujemy, czy wysla´c pacjenta na badania
szczeg´olowe (podejrzenie choroby).
Skierowa´c na badania diagnostyczne.
Sages Weka – szybkie wprowadzenie 23 / 49
29. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Grupowanie – przyklad
Segmentacja klient´ow – czy w´sr´od naszych klient´ow mo˙zna
wyr´o˙zni´c rozlaczne grupy, np. wg takich parametr´ow jak wierno´s´c
marce/wra˙zliwo´s´c na ceny lub warto´sci zakup´ow/czestotliwo´s´c
wizyt.
http://www.select-statistics.co.uk/article/blog-post/customer-segmentation
Sages Weka – szybkie wprowadzenie 24 / 49
30. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Klasyfikacja i grupowanie – ujecie formalne
Zadanie klasyfikacji Na podstawie obserwacji wej´sciowych X i
zbioru etykiet kategorii Y = y1, y2, . . . , yn zwr´o´c przewidywana
kategorie y ∈ Y .
Uczenie z nadzorem Posiadamy zbi´or treningowy o N elementach,
w kt´orym ka˙zdy element ma przypisana wzorcowa etykiete klasy:
(d1, c1), . . . , (dn, cn). Klasyfikacja: naszym celem jest nauczy´c sie
na podstawie tych danych mapowania nowego zbioru d na c ∈ C.
Regresja: c jest ciagle.
Uczenie bez nadzoru Posiadamy zbi´or danych o N elementach,
bez ˙zadnych dodatkowych informacji na temat przypisanych
kategorii. Grupowanie: naszym zadaniem jest znale´z´c wzorce w
samych danych i nauczy´c sie dzieli´c obserwacje na rozlaczne grupy.
Sages Weka – szybkie wprowadzenie 25 / 49
34. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Odkrywanie regul asocjacyjnych – definicja formalna
Baza D jest zbiorem transakcji, D = {T1, T2, . . . , Tn}, gdzie ka˙zda
transakcja T jest niepustym zbiorem element´ow z przestrzeni
obiekt´ow, T ⊆ I, I = {i1, i2, . . . , im}.
Reguly asocjacyjne maja forme implikacji pomiedzy dwoma
zbiorami element´ow: X i Y , gdzie X, Y ∈ I i X ∩ Y = ∅:
R : X → Y . (1)
Wsparcie reguly to liczba
transakcji T w bazie D, kt´ore
zawieraja jednocze´snie X i Y :
supp(R) = |DX∪Y |. (2)
Pewno´s´c reguly to stosunek
liczby T, kt´ore zawieraja lacznie
X i Y do liczby T, kt´ore
zawieraja jedynie X:
conf (R) =
|DX∪Y |
|DX |
. (3)
Sages Weka – szybkie wprowadzenie 27 / 49
35. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Przeksztalcenia przestrzeni atrybut´ow
Problem: dane liczbowe w postaci ciaglej
Jak zastosowa´c na przyklad algorytmy drzewiaste?
Dyskretyzacja
Sages Weka – szybkie wprowadzenie 28 / 49
36. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Ograniczanie przestrzeni atrybut´ow – przyklad
W wielu zastosowaniach przestrze´n atrybut´ow analizowanych
danych jest bardzo du˙za. Przyklad: reprezentacja bag of words
Przetwarzanie jezyka naturalnego
Ala kot mie´c . . . plot
0 1 0 . . . 1
Analiza obraz´ow
barwa1 tekstura1 barwa2 . . . teksturan
0 1 0 . . . 1
Potencjalnie tysiace+ atrybut´ow.
Sages Weka – szybkie wprowadzenie 29 / 49
37. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Ograniczanie przestrzeni atrybut´ow
Statystyczne metody oszacowania istotno´sci atrybut´ow w
procesie eksploracji danych
InfoGainAttributeEval – przyrost informacji w stosunku do
klasy,
CfsSubsetEval – warto´s´c podzbioru atrybut´ow ze wzgledu na
mo˙zliwo´s´c przewidywania klasy oraz korelacje z innymi
atrybutami w podzbiorze,
analiza gl´ownych skladowych (Principal Components
Analysis).
Sages Weka – szybkie wprowadzenie 30 / 49
39. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Tryb Experimenter
Zalety trybu Experimenter
latwo´s´c por´ownywania wynik´ow dla r´o˙znych algorytm´ow, ich
parametr´ow i dla r´o˙znych zbior´ow danych,
umo˙zliwia lepsza analize wynik´ow, ni˙z Explorer,
rezultat serii eksperyment´ow mo˙zna zapsa´c do pliku lub bazy
danych,
wiele schemat´ow ewaluacji,
testy istotno´sci statystycznej.
Sages Weka – szybkie wprowadzenie 32 / 49
40. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Tryb KnowledgeFlow
Zalety trybu KnowledgeFlow
intuicyjny, wizualny interfejs drag-and-drop,
nieco wieksze mo˙zliwo´sci, ni˙z Explorer,
pozwala tworzenie schemat´ow przeplywu danych miedzy
modulami,
schematy moga by´c zapisywane i wykorzystywane w
przyszlo´sci.
Sages Weka – szybkie wprowadzenie 33 / 49
41. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Rozszerzanie pakietu i aspekty integracji
Sages Weka – szybkie wprowadzenie 34 / 49
43. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Przetwarzanie du˙zych zbior´ow danych
Mo˙zliwe rozwiazania
przyrostowe uczenie klasyfikator´ow – musza implementowa´c
interfejs UpdateableClassifier:
HoeffdingTree, IBk, KStar, LWL,
MultiClassClassifierUpdateable, NaiveBayesMultinomialText,
NaiveBayesMultinomialUpdateable, NaiveBayesUpdateable,
SGD, SGDText,
wykorzystanie wtyczki massiveOnlineAnalysis i pakietu MOA,
kt´ory zawiera algorytmy przystosowane do przetwarzania
du˙zych zbior´ow lub strumieni danych,
wykorzystanie wtyczek pozwalajacych na integracje z
Hadoopem lub Sparkiem (distributedWekaBase, Hadoop,
Spark).
Sages Weka – szybkie wprowadzenie 36 / 49
44. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Wykorzystanie algorytm´ow w kodzie aplikacji
Zaladowanie danych z pliku ARFF
import weka.core.converters.ConverterUtils.DataSource;
...
DataSource source = new DataSource("data.arff");
Instances data = source.getDataSet();
Wykorzystanie filtru
Standardize filter = new Standardize();
filter.setInputFormat(train);
Instances newTrain = Filter.useFilter(train, filter);
Sages Weka – szybkie wprowadzenie 37 / 49
45. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Wykorzystanie algorytm´ow w kodzie aplikacji
Uczenie klasyfikatora
import weka.classifiers.trees.J48;
...
String[] options = new String[1];
options[0] = "-U"; // unpruned tree
J48 tree = new J48(); // new instance of tree
tree.setOptions(options); // set the options
tree.buildClassifier(data); // build classifier
Ewaluacja klasyfikatora
import weka.classifiers.Evaluation;
import java.util.Random;
...
Evaluation eval = new Evaluation(newData);
eval.crossValidateModel(tree, newData, 10, new Random(1
Sages Weka – szybkie wprowadzenie 38 / 49
46. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Rozszerzanie Weki o wlasne implementacje
algorytm´ow
Sages Weka – szybkie wprowadzenie 39 / 49
47. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Rozszerzanie Weki o wlasne implementacje
algorytm´ow
Rozszerzanie odpowiednich klas API Weki – Filter
import weka.core.*;
import weka.core.Capabilities.*;
import weka.filters.*;
public class SimpleBatch
extends SimpleBatchFilter {
public String globalInfo() {
return "A simple batch filter that adds an
"additional attribute ’bla’ at the end "
+ "containing the index of the processed instance."
}
Sages Weka – szybkie wprowadzenie 40 / 49
48. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Rozszerzanie Weki o wlasne implementacje
algorytm´ow
Rozszerzanie odpowiednich klas API Weki – Filter (2)
public Capabilities getCapabilities() {
Capabilities result = super.getCapabilities();
result.enableAllAttributes();
result.enableAllClasses();
result.enable(Capability.NO_CLASS);
return result;
}
protected Instances determineOutputFormat(Instances
inputFormat) {
Instances result = new Instances(inputFormat, 0);
result.insertAttributeAt(new Attribute("bla"),
result.numAttributes());
return result;
}
Sages Weka – szybkie wprowadzenie 41 / 49
49. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Rozszerzanie Weki o wlasne implementacje
algorytm´ow
Rozszerzanie odpowiednich klas API Weki – Filter (2)
protected Instances process(Instances inst) {
Instances result
= new Instances(determineOutputFormat(inst), 0);
for (int i = 0; i < inst.numInstances(); i++) {
double[] values = new double[result.numAttributes()];
for (int n = 0; n < inst.numAttributes(); n++)
values[n] = inst.instance(i).value(n);
values[values.length - 1] = i;
result.add(new Instance(1, values));
}
return result;
}
Sages Weka – szybkie wprowadzenie 42 / 49
50. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Integracja z innymi systemami analizy danych
Inne systemy analizy danych moga r´ownie˙z korzysta´c z
implementacji algorytm´ow w Wece:
R – z wykorzystaniem paczki RWeka,
Python – z wykorzystaniem
http://pythonhosted.org/python-weka-wrapper/,
Octave – za pomoca wsparcia dla kodu Java, wbudowanego w
system,
Hadoop – za pomoca wtyczek distributedWekaBase
(obliczenia rozproszone) i distributedWekaHadoop
(implementacja Hadoopa).
Sages Weka – szybkie wprowadzenie 43 / 49
51. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Inne narzedzia z obszaru analityki
i eksploracji danych
Sages Weka – szybkie wprowadzenie 44 / 49
52. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Inne narzedzia z obszaru analityki
i eksploracji danych
Sages Weka – szybkie wprowadzenie 44 / 49
53. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Co dalej?
Data Warehousing
tworzenie system´ow do raportowania i analizy danych
problemy integracji, tranformacji i ladowania danych
np. Pentaho
Sages Weka – szybkie wprowadzenie 45 / 49
54. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Co dalej?
Data Science
analiza danych: analiza statystyczna, eksploracja danych,
uczenie maszynowe
pakiety specjalizowane lub biblioteki powiazane z jezykami
programowania
np. R, RStudio, Python z bibliotekami (numpy, scipy,
matplotlib)
Sages Weka – szybkie wprowadzenie 46 / 49
55. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Co dalej?
Data Science
analiza danych: analiza statystyczna, eksploracja danych,
uczenie maszynowe
pakiety specjalizowane lub biblioteki powiazane z jezykami
programowania
np. R, RStudio, Python z bibliotekami (numpy, scipy,
matplotlib)
Sages Weka – szybkie wprowadzenie 46 / 49
56. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Co dalej?
Big Data
analiza i przetwarzanie du˙zych danych, rzedu terabajt´ow
nowe podej´scia algorytmiczne i rozwiazania sprzetowe
np. Hadoop, Spark
Sages Weka – szybkie wprowadzenie 47 / 49
57. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Co dalej?
Czym sie r´o˙zni szkolenie od warsztatu?
mamy wiecej czasu,
praca indywidualna z ka˙zda osoba (grupy 4–8 osobowe),
doglebny przeglad zgadnienia + praktyczne problemy w formie
zada´n,
program dostosowany do oczekiwa´n grupy.
Sages Weka – szybkie wprowadzenie 48 / 49
58. Wprowadzenie Weka Eksploracja danych Rozszerzenia
Dzieki za wsp´olna prace!
Pytania?
Slack: stacjait.slack.com
E-mail: l.kobylinski@sages.com.pl
Sages Weka – szybkie wprowadzenie 49 / 49