• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
[PL] Złożone przetwarzanie zdarzeń w SZSBD StreamBase
 

[PL] Złożone przetwarzanie zdarzeń w SZSBD StreamBase

on

  • 1,384 views

Prezentacja przedstawia wprowadzenie do strumieniowych baz danych, wyjaśnia pojęcia związane z tą technologią oraz opisuje jeden z najbardziej popularnych i efektywnych narzędzi strumieniowego ...

Prezentacja przedstawia wprowadzenie do strumieniowych baz danych, wyjaśnia pojęcia związane z tą technologią oraz opisuje jeden z najbardziej popularnych i efektywnych narzędzi strumieniowego przetwarzania danych - SZSBD StreamBase.

Statistics

Views

Total Views
1,384
Views on SlideShare
1,379
Embed Views
5

Actions

Likes
0
Downloads
7
Comments
0

2 Embeds 5

http://www.slideshare.net 4
https://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    [PL] Złożone przetwarzanie zdarzeń w SZSBD StreamBase [PL] Złożone przetwarzanie zdarzeń w SZSBD StreamBase Presentation Transcript

    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia Złożone przetwarzanie zdarzeń w SZSBD StreamBase Nowe Technologie Baz Danych Wojciech Podgórski w.podgorski@student.pwr.wroc.pl 4 maja 2009 Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia Agenda 1 Wprowadzenie Złożone przetwarzanie zdarzeń Podstawowe pojęcia Różnice pomiędzy SZBD, a SZSBD 2 StreamSQL/EventFlow 3 Produkty StreamBase StreamBase Studio StreamBase Server StreamBase Adapters StreamBase Chronicle 4 Studium przypadku 5 Zastosowania 6 Bibliografia Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Złożone przetwarzanie zdarzeń Złożone przetwarzanie zdarzeń (ang. Complex Event Processing ) to koncepcja obsługi przetwarzania wielu zdarzeń w celu identyfikacji znaczenia w chmurze zdarzeń (ang. event cloud). Przetwarzanie odbywa się za pomocą zbioru abstrakcyjnych operacji takich jak porównywanie wzorców, korelowanie zdarzeń, tworzenie hierarchii zdarzeń, analiza relacji pomiędzy zdarzeniami i innych. Źrodło: Wikipedia Złożone przetwarzanie zdarzeń Złożone przetwarzanie zdarzeń (ang. Complex Event Processing ) to technologia filtrowania, korelowania, agregowania oraz przetwarzania rzeczywistych zdarzeń w krótkim czasie pomiędzy ich wystąpieniem a wywołaniem określonego skutku. Źrodło: StreamBase.com Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Czym jest StreamBase? jest systemem zarządzania strumieniową bazą danych (SZSBD), implementującym CEP. Platforma StreamBase gromadzi w sobie graficzne środowisko wytwarzania aplikacji, wydajny serwer przetwarzania zdarzeń i interfejsy do danych czasu rzeczywistego oraz historycznych. Aby lepiej zrozumieć sposób działania przetwarzania strumieniowego, wprowadza się następujące pojęcia: Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Krotka (ang. Tuple) Jest to kolekcja par: nazwa-wartość. Dozwolone nazwy i wartości określone są w schematach, które specyfikują typ krotki. Krotki moga być płaskie i składać się z typów prymitywnych (np. integer, float, string) lub mieć strukturę hierarchiczną (np. zbiór, krotka, lista). Zdarzenie (ang. Event) To interpretacja krotki. Podczas gdy krotka to struktura danych, zdarzenie odwołuję się do procesu w świecie rzeczywistym. Przykładem może być zdarzenie “niebieski samochód został zaobserwowany na pozycji (100,100)“, wtedy krotką reprezentującą zdarzenie będzie (typ-pojazdu: ”samochód“, kolor: ”niebieski”, x: “100”, y: “100“). Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Krotka (ang. Tuple) Jest to kolekcja par: nazwa-wartość. Dozwolone nazwy i wartości określone są w schematach, które specyfikują typ krotki. Krotki moga być płaskie i składać się z typów prymitywnych (np. integer, float, string) lub mieć strukturę hierarchiczną (np. zbiór, krotka, lista). Zdarzenie (ang. Event) To interpretacja krotki. Podczas gdy krotka to struktura danych, zdarzenie odwołuję się do procesu w świecie rzeczywistym. Przykładem może być zdarzenie “niebieski samochód został zaobserwowany na pozycji (100,100)“, wtedy krotką reprezentującą zdarzenie będzie (typ-pojazdu: ”samochód“, kolor: ”niebieski”, x: “100”, y: “100“). Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Krotka (ang. Tuple) Jest to kolekcja par: nazwa-wartość. Dozwolone nazwy i wartości określone są w schematach, które specyfikują typ krotki. Krotki moga być płaskie i składać się z typów prymitywnych (np. integer, float, string) lub mieć strukturę hierarchiczną (np. zbiór, krotka, lista). Zdarzenie (ang. Event) To interpretacja krotki. Podczas gdy krotka to struktura danych, zdarzenie odwołuję się do procesu w świecie rzeczywistym. Przykładem może być zdarzenie “niebieski samochód został zaobserwowany na pozycji (100,100)“, wtedy krotką reprezentującą zdarzenie będzie (typ-pojazdu: ”samochód“, kolor: ”niebieski”, x: “100”, y: “100“). Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Zdarzenie złożone (ang. Complex event) Jest to zdarzenie złożone lub skorelowane z wielu zdarzeń. Chmura zdarzeń (ang. Event cloud) Abstrakcyjna przestrzeń zdarzeń czasu rzeczywistego oraz historycznych (zachowanych) będąca zarówno źródłem jak i wynikiem przetwarzania. Strumień (ang. Stream) Definiuje się jako uporządkowaną i potencjalnie nieskończoną sekwencję krotek. Okno (ang. Window ) Wycinek strumienia stanowiący zbiór krotek, uzyskany poprzez przetwarzanie strumienia w określonym przedziale czasowym lub przetworzenie odpowiedniej ilości krotek. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Zdarzenie złożone (ang. Complex event) Jest to zdarzenie złożone lub skorelowane z wielu zdarzeń. Chmura zdarzeń (ang. Event cloud) Abstrakcyjna przestrzeń zdarzeń czasu rzeczywistego oraz historycznych (zachowanych) będąca zarówno źródłem jak i wynikiem przetwarzania. Strumień (ang. Stream) Definiuje się jako uporządkowaną i potencjalnie nieskończoną sekwencję krotek. Okno (ang. Window ) Wycinek strumienia stanowiący zbiór krotek, uzyskany poprzez przetwarzanie strumienia w określonym przedziale czasowym lub przetworzenie odpowiedniej ilości krotek. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Zdarzenie złożone (ang. Complex event) Jest to zdarzenie złożone lub skorelowane z wielu zdarzeń. Chmura zdarzeń (ang. Event cloud) Abstrakcyjna przestrzeń zdarzeń czasu rzeczywistego oraz historycznych (zachowanych) będąca zarówno źródłem jak i wynikiem przetwarzania. Strumień (ang. Stream) Definiuje się jako uporządkowaną i potencjalnie nieskończoną sekwencję krotek. Okno (ang. Window ) Wycinek strumienia stanowiący zbiór krotek, uzyskany poprzez przetwarzanie strumienia w określonym przedziale czasowym lub przetworzenie odpowiedniej ilości krotek. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Zdarzenie złożone (ang. Complex event) Jest to zdarzenie złożone lub skorelowane z wielu zdarzeń. Chmura zdarzeń (ang. Event cloud) Abstrakcyjna przestrzeń zdarzeń czasu rzeczywistego oraz historycznych (zachowanych) będąca zarówno źródłem jak i wynikiem przetwarzania. Strumień (ang. Stream) Definiuje się jako uporządkowaną i potencjalnie nieskończoną sekwencję krotek. Okno (ang. Window ) Wycinek strumienia stanowiący zbiór krotek, uzyskany poprzez przetwarzanie strumienia w określonym przedziale czasowym lub przetworzenie odpowiedniej ilości krotek. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Zdarzenie złożone (ang. Complex event) Jest to zdarzenie złożone lub skorelowane z wielu zdarzeń. Chmura zdarzeń (ang. Event cloud) Abstrakcyjna przestrzeń zdarzeń czasu rzeczywistego oraz historycznych (zachowanych) będąca zarówno źródłem jak i wynikiem przetwarzania. Strumień (ang. Stream) Definiuje się jako uporządkowaną i potencjalnie nieskończoną sekwencję krotek. Okno (ang. Window ) Wycinek strumienia stanowiący zbiór krotek, uzyskany poprzez przetwarzanie strumienia w określonym przedziale czasowym lub przetworzenie odpowiedniej ilości krotek. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Strumień danych vs. Baza danych Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Baza Danych Rysunek: Architektura przepływu danych w SZBD. Źródło: Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Złożone przetwarzanie zdarzeń Produkty StreamBase Podstawowe pojęcia Studium przypadku Różnice pomiędzy SZBD, a SZSBD Zastosowania Bibliografia Strumień Danych Rysunek: Architektura przepływu danych w SZSBD. Źródło: Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia Platforma StreamBase wykorzstuje dwa strumieniowe języki zapytań, które są sobie całkowicie równoważne. StreamSQL jest deklaratywnym rozszerzeniem języka SQL z możliwością definiowania okien, uzyskiwania realcji z strumieni i podziału strumienia na grupy. StreamSQL EventFlow jest graficznym proceduralnym językiem zapytań wykorzystującym zbiór operatorów strumieniowych takich jak Filter, BSort, Map, Aggregate, Union, Join itd. StreamSQL jest językiem rozszerzalnym z możliwością definiowania nowych funkcji i operatorów w językach Java, C++ itp. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia StreamSQL EventFlow Rysunek: Zapytanie w języku StreamSQL EventFlow Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia StreamSQL 1 CREATE INPUT STREAM T i c k s I n ( 2 Symbol s t r i n g , 3 S o u rc eTimestamp timestamp , 4 BidPrice string , 5 AskPrice string , 6 FeedName s t r i n g ) ; 7 CREATE STREAM T i c k s W i t h T i m e AS 8 SELECT ∗ , now ( ) AS L o c a l T i m e FROM T i c k s I n ; 9 CREATE STREAM T i c k s P e r S e c o n d AS 10 SELECT o p e n v a l ( ) AS S t a r t O f T i m e S l i c e , c o u n t ( ) AS NumberTicks , FeedName 11 FROM T i c k s W i t h T i m e [ SIZE 1 ON L o c a l T i m e PARTITION BY FeedName ] 12 GROUP BY FeedName ; 13 CREATE OUTPUT STREAM T i c k S t a t s AS 14 SELECT o p e n v a l ( ) AS S t a r t O f T i m e S l i c e , 15 avg ( NumberTicks ) AS A v g T i c k s P e r S e c o n d , 16 s t d e v ( NumberTicks ) AS S t d e v T i c k s P e r S e c o n d , 17 l a s t v a l ( NumberTicks ) AS L a s t T i c k s P e r S e c o n d , FeedName 18 FROM T i c k s P e r S e c o n d [ SIZE 20 ADVANCE 1 ON S t a r t O f T i m e S l i c e 19 PARTITION BY FeedName ] 20 GROUP BY FeedName ; 21 CREATE STREAM S e t T h r e s h o l d AS 22 SELECT ∗ , . 7 5 AS A l e r t T h r e s h o l d FROM T i c k S t a t s ; 23 CREATE OUTPUT STREAM T i c k F a l l O f f A l e r t AS 24 SELECT ∗ FROM S e t T h r e s h o l d 25 WHERE L a s t T i c k s P e r S e c o n d < A v g T i c k s P e r S e c o n d ∗ A l e r t T h r e s h o l d ; Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Studio StreamBase Studio to zintegrowane środowisko programistyczne oparte na Eclipse IDE służące do modelowania, wytwarzania, testowania i debugowania aplikacji CEP. StreamBase Studio pozwala zarówno na graficzne budowanie logiki biznesowej za pomocą języka StreamSQL EventFlow, jak i tekstowe w języku StreamSQL. Integracja z Eclipse IDE pozwala na korzystanie z wszystkich możliwości tego środowiska włączając w to system kontroli wersji, zarządzanie zadaniami, a także implementację aplikacji w języku Java czy C++ wykorzystujących StreamBase API. Rysunek: StreamBase Studio, perspektywa SB Authoring. Źródło: StreamBase.com Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Studio wspomaga rozwój aplikacji CEP w całym cyklu jej życia udostępniając poniższe narzędzia: StreamBase Feed Simulator pozwala na wprowadzanie symulowanych danych do aplikacji StreamBase w trakcie jej działania. Służy do testowania poprawności działania i wydajności. StreamBase Debugger służy do pauzowania działającej aplikacji i wykonywania jej krok po kroku w celu prześledzenia działania indywidualnych operatorów, kolejek itp na danych wejściowych. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Studio wspomaga rozwój aplikacji CEP w całym cyklu jej życia udostępniając poniższe narzędzia: StreamBase Feed Simulator pozwala na wprowadzanie symulowanych danych do aplikacji StreamBase w trakcie jej działania. Służy do testowania poprawności działania i wydajności. StreamBase Debugger służy do pauzowania działającej aplikacji i wykonywania jej krok po kroku w celu prześledzenia działania indywidualnych operatorów, kolejek itp na danych wejściowych. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Studio wspomaga rozwój aplikacji CEP w całym cyklu jej życia udostępniając poniższe narzędzia: StreamBase Feed Simulator pozwala na wprowadzanie symulowanych danych do aplikacji StreamBase w trakcie jej działania. Służy do testowania poprawności działania i wydajności. StreamBase Debugger służy do pauzowania działającej aplikacji i wykonywania jej krok po kroku w celu prześledzenia działania indywidualnych operatorów, kolejek itp na danych wejściowych. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Monitor pozwala na analizę danych wejściowych, które pojawiły się na danym operatorze lub w strumieniu wejściowym, a także przekazywanie ich dalej. StreamBase Record and Playback jest mechanizmem rejestrującym dane wejściowe w czasie rzeczywistym oraz odtwarzającym dane historyczne w celu wyznaczenia nowych strategii przetwarzania. StreamBase API to zbiór interfejsów programowania aplikacji dla języków i platform Java, C++, .NET, służący do wytwarzania aplikacji klienckich, operatorów, adapterów i funkcji StreamBase. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Monitor pozwala na analizę danych wejściowych, które pojawiły się na danym operatorze lub w strumieniu wejściowym, a także przekazywanie ich dalej. StreamBase Record and Playback jest mechanizmem rejestrującym dane wejściowe w czasie rzeczywistym oraz odtwarzającym dane historyczne w celu wyznaczenia nowych strategii przetwarzania. StreamBase API to zbiór interfejsów programowania aplikacji dla języków i platform Java, C++, .NET, służący do wytwarzania aplikacji klienckich, operatorów, adapterów i funkcji StreamBase. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Monitor pozwala na analizę danych wejściowych, które pojawiły się na danym operatorze lub w strumieniu wejściowym, a także przekazywanie ich dalej. StreamBase Record and Playback jest mechanizmem rejestrującym dane wejściowe w czasie rzeczywistym oraz odtwarzającym dane historyczne w celu wyznaczenia nowych strategii przetwarzania. StreamBase API to zbiór interfejsów programowania aplikacji dla języków i platform Java, C++, .NET, służący do wytwarzania aplikacji klienckich, operatorów, adapterów i funkcji StreamBase. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Monitor pozwala na analizę danych wejściowych, które pojawiły się na danym operatorze lub w strumieniu wejściowym, a także przekazywanie ich dalej. StreamBase Record and Playback jest mechanizmem rejestrującym dane wejściowe w czasie rzeczywistym oraz odtwarzającym dane historyczne w celu wyznaczenia nowych strategii przetwarzania. StreamBase API to zbiór interfejsów programowania aplikacji dla języków i platform Java, C++, .NET, służący do wytwarzania aplikacji klienckich, operatorów, adapterów i funkcji StreamBase. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Server StreamBase Server jest zarówno środowiskiem uruchomieniowym całej platformy StreamBase jak i serwerem aplikacji służącym do żłożonego przetwarzania zdarzeń. Bardzo duży nacisk położony został na współbieżne wykonywanie operacji, serwer został zaprojektowany tak aby w maksymalnym stopniu wykorzystywać wieloprocesorowość (64-bitowe systemy operacyjne). StreamBase Server można używać na klastrach, a także łączyć instancje serwerów w celu zmniejszenia awaryjności. Jedną z najważniejszych cech serwera są interfejsy składowania danych w postaci zarówno tabel w pamięci jak i na dysku, a także w zewnętrznych bazach i hurtowaniach danych. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Server cd. Dane deklarowane przez producenta, źródło: StreamBase.com Przepustowość: 500,000+ komunikatów/sekundę lub więcej na procesorach wielordzeniowych Wydajność: 5-10x szybciej w stosunku do konkurencji dzięki Dynamic Stream CompilerTM Skalowalność: największa - 64-bitowe wielordzeniowe procesory dla przetwarzania i tabel w pamięci, klastry Przenośność: systemy operacyjne Windows, Linux i Solaris Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Adapters StreamBase Adapters to jeden z najważniejszych komponentów platformy StreamBase służący do integrowania aplikacji StreamBase z źródłami danych w czasie rzeczywistym. Adaptery to aplikacje które wczytują strumień wejściowy z źródła, konwertują dane do formatu StreamBase i zapisują rezultaty do strumienia wyjściowego. StreamBase oferuje zbiór gotowych adapterów, a także API do tworzenia własnych. Rysunek: Adaptery zczytujące wartości akcji giełdowych (StreamSQL EventFlow). Źródło: StreamBase.com Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Adapters cd. Adaptery systemów komunikacyjnych i sieci IBM MQ JMS: integruje StreamBase z magistralą zgodną z JMS. RTT SMTP: analiza napływających wiadomości TIBCO EMS Tibco Rendezvous 7.2 Adaptery wizualizacji, zestawień i interakcji Adobe Flex CSV: zapisywanie i odczytywanie danych odzielonych przecinkami z plików CSV (comma-separated value). Data JDBC: połączenie z zewnętrznymi bazami danych oraz wykonywanie kodu SQL, np. Oracle, SQL Server, IBM R DB2. Microsoft Excel: zapisywanie i odczytywanie danych z plików Excel. SL RT View XML: konsumowanie i produkowanie rekordów XML Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Adapters cd. Adaptery danych finansowych Alpha Trading System Bloomberg BBCOM, Server, BPIPE, BPOD DirectPlus (wcześnie znane jako COMSTOCK) Inforeach Lime Trading System Reuters RMDS RFA5 Adapter subskrypcji Reuters RMDS RFA5 Adapter publikacji Reuters RMDS RFA6/OMM (Open Message Model) Toronto Stock Exchange (TSX) Wombat (MAMA) Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Chronicle Jednym z największych wyzwań w przetwarzaniu danych czasu rzeczywistego jest ich korelacja z danymi historycznymi. Jako, że archiwizowanie danych ciągle napływających jest technicznie trudne do zrealizowania (zbiory rzędu dziesiątek lub setek terabajtów), platforma StreamBase gromadzi dane w mediach zewnętrznych. Mechanizm StreamBase ChronicleTM jest framework’iem do optymalnego łączenia StreamBase Server z bazami i hurtowniami danych takimi jak Vhauy Velocity, Sybase RAP, IBM DB2 itd. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow StreamBase Studio Produkty StreamBase StreamBase Server Studium przypadku StreamBase Adapters Zastosowania StreamBase Chronicle Bibliografia StreamBase Chronicle cd. Framework StreamBase ChronicleTM składa się z dwóch części: Real-time loader służący do ładowania danych z StreamBase Server do hurtowni/baz danych. High-performance adapter służący do ładowania danych z hurtowni/bazy danych wprost do strumienia wejściowego, lub operatora. Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia Studium przypadku Tworzenie projektu w StreamBase Studio 6.3 Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia Rynki finansowe Obrót akcjami, obliczanie strat i zysków w czasie rzeczywistym, automatyczna sprzedaż/zakup, analizy finansowe, transakcje bankomatowe, zarządzanie ryzykiem itp. Telekomunikacja Monitorowanie sieci, analiza przepustowości i zapewnianie QoS, wykrywanie oszustw, lokalizowanie odbiorców itp. Wojsko Wywiad i obserwacja, wykrywanie intruzów, sterowanie i analiza pola walki Handel elektroniczny Monitorowanie zmian w magazynach, wykrywanie oszustw, administrowanie sklepami internetowymi Gry typu multiplayer Obsługa zdarzeń i statystyki Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia Sieci sensoryczne Monitorowanie pogody, zwierząt, więźniów, RFID... Logistyka i transport Monitorowanie ruchu towarów Przemysł Nadzorowanie linii produkcyjnych Integracja z systemami czasu rzeczywistego WIELE INNYCH... Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia Podsumowanie Platforma StreamBase jest jednym z najpopularniejszych systemów zarządzania strumieniową bazą danych, implementującym Complex Event Processing. Składa się z czterech komponentów - StreamBase Studio (tworzenie aplikacji), Server (serwer aplikacji), Adapters (komunikacja) oraz Chronicle (persystancja). Udostępnia dwa języki zapytań zorientowane na przetwarzanie strumieniowe - StreamSQL (tekstowy) oraz StreamSQL EventFlow (graficzny). Platformę można ściagnąć w wersji trail oraz zakupić na stronie: http://www.streambase.com Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia StreamBase Knowledge Center http://www.streambase.com/knowledgecenter.htm Kot W. Krótko o Complex Event Processing (I co może z tego mieć developer Java) Java Developers Network - http://www.jdn.pl/node/1583 Wilczek A. Wykłady z przedmiotu Nowe Technologie Baz Danych Politechnika Wrocławska, Instytut Informatyki, Wrocław 2009 - http://www.ii.pwr.wroc.pl/ wilczek Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia Jain N., Mishra S., Srinivasan A., Gehrke J. Widom J., Balakrishnan H., Cetintemel U., Cherniack M., Tibbetts R., Zdonik S. Towards a Streaming SQL Standard Proceedings of the VLDB Endowment, Volume 1, Issue 2 (August 2008), Session: Industrial, application, and experience sessions: query processing, pp. 1379-1390 Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia Dlaczego?... Pytania ? Jak?... Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase
    • Wprowadzenie StreamSQL/EventFlow Produkty StreamBase Studium przypadku Zastosowania Bibliografia Dziękuje bardzo... Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase