SlideShare a Scribd company logo
1 of 13
Baza danych i system przetwarzania dużych zbiorów
danych AIS na potrzeby projektu badawczego netBaltic
Michał Lewczuk, Paweł Cichocki, Józef Woźniak
Założenie: W sieci ad-hoc zorganizowanej z węzłów będących
w ruchu istotna jest informacja o położeniu i kierunku
przemieszczania się zarówno węzłów tworzących aktualną
strukturę takiej sieci, jak i węzłów z jej sąsiedztwa (nie
mających bezpośredniego połączenia).
2
AIS (Automatic Identification System) – System dla
zapewnienia bezpieczeństwa żeglugi
• Pasmo morskie VHF 162 MHz
• Dwa kanały (nadmiarowość);
• Obligatoryjny w klasie A (duże jednostki >300BRT międzynarodowe,
>500BRT ruch lokalny, wszystkie pasażerskie, platformy wyd. , pławy);
• Obecny również na wielu mniejszych jednostkach (Klasa B);
• Zasięg – 15-20MM małe jednostki i 40-60MM duże jednostki;
• Istotne informacje przenoszone w komunikatach AIS:
• Typ jednostki, numer MMSI,
• Bandera, armator,
• Prędkość, kurs, port przeznaczenia,
• Przy rozszerzeniu – dostępne technologie komunikacyjne (wymagane zmiany).
3
Koncepcja wykorzystania AIS
4
Mechanizmy
bezpieczeństwa
transmisji
Moduł wykrywania
otoczenia i ustalania
sąsiedztwa
Moduł wyznaczania tras
Mechanizmy routingu
IPv6
Modułobsługi
interfejsu
sieciowego
Transmisja
danych
Konfiguracja i
sterowanie Modułobsługi
interfejsu
sieciowego
Transmisja
danych
Konfiguracja i
sterowanie
Biblioteki/
narzędziasystemu
operacyjnego
Sterownik
urządzenia
Modułobsługi
interfejsu
sieciowego
Transmisja
danych
Konfiguracja i
sterowanie
Mechanizmy poprawy
efektywności transmisji
Moduł dostępu
użytkownika
Przykładowe struktury sieci ad-hoc (i trasy) – wyznaczone
dzięki znajomości położenia jednostek
5
Rejestracja – stacja ruchoma:
• Statek badawczy IMGW/MIR
– r/v Baltica.
• Rejestracja danych AIS w latach 2013(listopad)-2016 (ciągła).
• Blisko 3,6 mln rekordów o pozycjach, kursach, banderach
jednostek sąsiadujących zebranych w trakcie kilkudziesięciu
rejsów pełnomorskich.
• Powtarzalne punkty trasy w ramach rejsów hydrologicznych
IMGW.
Rejestracja – stacja bazowa (lądowa):
• Lokalizacja – Gdynia, 185 m n.p.m.
• Rejestracja w latach 2013 (kwiecień)-2016.
• Ponad 160 unikalnych statków / dobę.
• Obszar odbioru - ponad 5tys km kw. (maj-wrzesień 7,5 tys.).
• Niezawodność – 98,9%.
• Zasięg odbioru – ponad 70 Mm.
7
Baza danych
Baza w liczbach
• ~3 652 559 – liczba
zarejestrowanych jednostek
pływających (netbaltic_data)
• ~69 320 427 – liczba
prawdopodobnych połączeń
statek-statek
(netbaltic_connections)
• ~434 245 – liczba unikatowych
statków zarejestrowanych przez
automat (netbaltic_statki)
8
Aplikacja
9
Trudności…
• Ograniczone zasoby sprzętowe;
• Ograniczenia licencyjne;
• Duże zbiory danych do przetworzenia;
• Sposoby prezentacji przetworzonych danych;
• Aplikacje zewnętrzne (dedykowane API-XML);
• Cache (optymalizacja pracy aplikacji na bazie danych).
10
Zastosowanie mechanizmu cache
0
100
200
300
400
500
600
Graph
connections - All
Vessels
Graph
connections -
Baltic countries
(Neighborhoods)
Graph
connections -
Baltic countries
(Neighborhoods)
+ Cheep Flags -
Pessimistic
variant
Graph
connections -
Baltic countries
(Neighborhoods)
+ Cheep Flags -
Optimistic
variant
Graph
connections -
Defined by the
user
Table with
calculations -
Defined by the
user
Table with
calculations -
Pessimistic
variant
Table with
calculations -
Optimistic
variant
600
400
500 500
600 600 600 600
1,5 1,0 1,0 1,0 2,0 3,0 3,0 3,0
WPŁYW MECHANIZMU CACHE
Without CACHE With CACHE
11
Wnioski, dalsze prace…
• Stworzono mapy prawdopodobnych połączeń jednostek
pływających oraz stacji nabrzeżnych;
• Zastosowano mechanizmy optymalizacyjne i CACHE;
• Zbudowano dedykowane rozwiązanie programistyczne API
(XML) dla aplikacji zewnętrznych;
• Dalszy import danych do systemu;
• Rozbudowa bazy danych o nowe jednostki pływające (automat);
• Nowe aplikacje zewnętrzne wykorzystujące dedykowane API
programistyczne (XML).
12
Dziękujemy za uwagę!
• Prezentowane prace realizowane były przy częściowym
finansowaniu przez Narodowe Centrum Badań i Rozwoju w
ramach projektu Programu Badań Stosowanych
PBS3/A3/20/2015.
13

More Related Content

Featured

How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
ThinkNow
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 

Featured (20)

Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
 

Baza danych i system przetwarzania dużych zbiorów danych AIS na potrzeby projektu badawczego netBaltic

  • 1. Baza danych i system przetwarzania dużych zbiorów danych AIS na potrzeby projektu badawczego netBaltic Michał Lewczuk, Paweł Cichocki, Józef Woźniak
  • 2. Założenie: W sieci ad-hoc zorganizowanej z węzłów będących w ruchu istotna jest informacja o położeniu i kierunku przemieszczania się zarówno węzłów tworzących aktualną strukturę takiej sieci, jak i węzłów z jej sąsiedztwa (nie mających bezpośredniego połączenia). 2
  • 3. AIS (Automatic Identification System) – System dla zapewnienia bezpieczeństwa żeglugi • Pasmo morskie VHF 162 MHz • Dwa kanały (nadmiarowość); • Obligatoryjny w klasie A (duże jednostki >300BRT międzynarodowe, >500BRT ruch lokalny, wszystkie pasażerskie, platformy wyd. , pławy); • Obecny również na wielu mniejszych jednostkach (Klasa B); • Zasięg – 15-20MM małe jednostki i 40-60MM duże jednostki; • Istotne informacje przenoszone w komunikatach AIS: • Typ jednostki, numer MMSI, • Bandera, armator, • Prędkość, kurs, port przeznaczenia, • Przy rozszerzeniu – dostępne technologie komunikacyjne (wymagane zmiany). 3
  • 4. Koncepcja wykorzystania AIS 4 Mechanizmy bezpieczeństwa transmisji Moduł wykrywania otoczenia i ustalania sąsiedztwa Moduł wyznaczania tras Mechanizmy routingu IPv6 Modułobsługi interfejsu sieciowego Transmisja danych Konfiguracja i sterowanie Modułobsługi interfejsu sieciowego Transmisja danych Konfiguracja i sterowanie Biblioteki/ narzędziasystemu operacyjnego Sterownik urządzenia Modułobsługi interfejsu sieciowego Transmisja danych Konfiguracja i sterowanie Mechanizmy poprawy efektywności transmisji Moduł dostępu użytkownika
  • 5. Przykładowe struktury sieci ad-hoc (i trasy) – wyznaczone dzięki znajomości położenia jednostek 5
  • 6. Rejestracja – stacja ruchoma: • Statek badawczy IMGW/MIR – r/v Baltica. • Rejestracja danych AIS w latach 2013(listopad)-2016 (ciągła). • Blisko 3,6 mln rekordów o pozycjach, kursach, banderach jednostek sąsiadujących zebranych w trakcie kilkudziesięciu rejsów pełnomorskich. • Powtarzalne punkty trasy w ramach rejsów hydrologicznych IMGW.
  • 7. Rejestracja – stacja bazowa (lądowa): • Lokalizacja – Gdynia, 185 m n.p.m. • Rejestracja w latach 2013 (kwiecień)-2016. • Ponad 160 unikalnych statków / dobę. • Obszar odbioru - ponad 5tys km kw. (maj-wrzesień 7,5 tys.). • Niezawodność – 98,9%. • Zasięg odbioru – ponad 70 Mm. 7
  • 8. Baza danych Baza w liczbach • ~3 652 559 – liczba zarejestrowanych jednostek pływających (netbaltic_data) • ~69 320 427 – liczba prawdopodobnych połączeń statek-statek (netbaltic_connections) • ~434 245 – liczba unikatowych statków zarejestrowanych przez automat (netbaltic_statki) 8
  • 10. Trudności… • Ograniczone zasoby sprzętowe; • Ograniczenia licencyjne; • Duże zbiory danych do przetworzenia; • Sposoby prezentacji przetworzonych danych; • Aplikacje zewnętrzne (dedykowane API-XML); • Cache (optymalizacja pracy aplikacji na bazie danych). 10
  • 11. Zastosowanie mechanizmu cache 0 100 200 300 400 500 600 Graph connections - All Vessels Graph connections - Baltic countries (Neighborhoods) Graph connections - Baltic countries (Neighborhoods) + Cheep Flags - Pessimistic variant Graph connections - Baltic countries (Neighborhoods) + Cheep Flags - Optimistic variant Graph connections - Defined by the user Table with calculations - Defined by the user Table with calculations - Pessimistic variant Table with calculations - Optimistic variant 600 400 500 500 600 600 600 600 1,5 1,0 1,0 1,0 2,0 3,0 3,0 3,0 WPŁYW MECHANIZMU CACHE Without CACHE With CACHE 11
  • 12. Wnioski, dalsze prace… • Stworzono mapy prawdopodobnych połączeń jednostek pływających oraz stacji nabrzeżnych; • Zastosowano mechanizmy optymalizacyjne i CACHE; • Zbudowano dedykowane rozwiązanie programistyczne API (XML) dla aplikacji zewnętrznych; • Dalszy import danych do systemu; • Rozbudowa bazy danych o nowe jednostki pływające (automat); • Nowe aplikacje zewnętrzne wykorzystujące dedykowane API programistyczne (XML). 12
  • 13. Dziękujemy za uwagę! • Prezentowane prace realizowane były przy częściowym finansowaniu przez Narodowe Centrum Badań i Rozwoju w ramach projektu Programu Badań Stosowanych PBS3/A3/20/2015. 13