Agregacja 17 źródeł danych jak wdrożyć i nie zwariować

Stowarzyszenie Profesjonalistów Informacji
Stowarzyszenie Profesjonalistów InformacjiStowarzyszenie Profesjonalistów Informacji
Agregacja 17 źródeł danych
jak wdrożyć i nie zwariować
mint software
Co potrafimy:
• FinTech
• E-Commerce
• Oprogramowanie
dla biznesu
Jesteśmy specjalistami w tworzeniu oprogramowania
dla biznesu: platform operacyjnych, rozliczeniowych,
rozwiązań automatyzujących procesy biznesowe, systemów
scoringowych, systemów przetwarzających
i integrujących informacje gospodarcze, systemów
wspierających sprzedaż oraz platform e-commerce.
Tworzymy oprogramowanie od postaw, jak również
podejmujemy się automatyzacji i integracji systemów
już istniejących.
Bywamy wsparciem dla firm, które szukają sprawnego,
dostępnego „od zaraz” zespołu (TaaS – team as a service).
mint software
Zacznijmy od początku – kontekst sytuacyjny
Czy CTRL + C, CTRL + V musi tyle trwać ?
mint software
Pojawia się pomysł….
mint software
[programista coś słyszałem]
… i chęć realizacji
CRM
SYSTEM
ROZLICZENIOWY
SYSTEM SCORINGOWY
Landing pages
Porozmawiajmy o potrzebach
Gromadzenie danych
Automatyzacja procesów
Utrzymanie systemów
Ujednolicenie
mint software
CRM
SYSTEM ROZLICZENIOWY
SYSTEM SCORINGOWY
Landing pages
Hurtownia
danych
Porozmawiajmy o
możliwych
scenariuszach
nie posiadamy danych dotyczących X ?
posiadamy różne dane dotyczących X ?
wiele systemów pyta o te same dane ?
mamy konflikt – dane się wykluczają ?
Skąd wiemy że dane są aktualne ?
Skąd wiemy o jakie dane odpytać ?
Jak postępujemy w
momencie kiedy…
Jak tutaj nie zwariować
Nie stanowi problemu pobranie danych od
dostawców
Wymagające jest udostępnienie właściwych
danych klientom wewnętrznych
mint software
Przygotujmy miejsce
na gromadzone
informacje
Definicja podmiotu
Jak wygląda proces – zapytania o dane
Zapytanie
do hurtowi
• Na podstawie wybranego identyfikatora, prosimy o dostarczenie
wymaganych informacji
Udzielenie
informacji i
walidacja
• Gdy hurtownia posiada aktualne dane –
wysyła informacje
• Gdy nie posiada danych prosi o
autoryzacje do pobrania profilu danych
Udzielenie autoryzacji
hurtowni do pobrania
danych
mint software
Czy wszystkie dane
są warte uwagi ?
„Aktualność”
Hipoteza: jeśli dane są nie aktualne = brak
danych !
Pozwala na limitowanie danych które udzielamy
do systemów pytających o informacje
Będziemy posiadać dane starsze niż X dni – ale
ich nie zwrócę (implementacja)
Czy mam pobrać
wszystkie dane ?
„Profil danych”
Profil danych pozwala pobrać tylko te dane które
są faktycznie potrzebne ze źródeł które
faktycznie wykorzystujemy
Ekonomia – po co przepłacać !
Przykładowo : profil darmowy vs profil pełny
płatny
Gdy tłum bije do
drzwi
Kolejkowanie i czas reakcji
Jeśli czekam na dane a klient wewnętrzny
potrzebuje informacji „w locie”
1) Klient wewnętrzny dostanie wybrane dane
2) W sytuacji aktualizacji – dostanie informacje
Nadmiar informacji
Które dane wybrać ?
Dane w podmiocie gromadzone są w formie
czystej. Nie przetwarzamy ich na tym etapie (
raw data)
Skonflikty duplikacje wykluczenia
Analiza i implementacja
Co dalej ?
Analiza i inne obszary w których
można wykorzystać informacje
(metody linkowania, heurystyki)
Kluczowe czynniki mające wpływ na sukces
Analiza przedwdrożeniowa
Dołębne poznanie i zrozumienie procesów
Zakładanie że coś może pójść nie tak i tak pójdzie
mint software
Tomasz Lechowski
tel.: +48 500 009 773
e-mail: tomasz.lechowski@mint.net.pl
www: www.mintsoftware.pl
Mint Software sp. z o.o.
ul. Jasnogórska 23
31-358 Kraków
Polska
1 of 18

Recommended

Rola analityki danych w transformacji cyfrowej firmy - ITFuture'17 by
Rola analityki danych w transformacji cyfrowej firmy - ITFuture'17Rola analityki danych w transformacji cyfrowej firmy - ITFuture'17
Rola analityki danych w transformacji cyfrowej firmy - ITFuture'17Piotr Czarnas
111 views24 slides
Techniki pozyskiwania informacji z social mediów by
Techniki pozyskiwania informacji z social mediówTechniki pozyskiwania informacji z social mediów
Techniki pozyskiwania informacji z social mediówStowarzyszenie Profesjonalistów Informacji
801 views22 slides
Infobroker w sektorze finansów publicznych by
Infobroker w sektorze finansów publicznychInfobroker w sektorze finansów publicznych
Infobroker w sektorze finansów publicznychStowarzyszenie Profesjonalistów Informacji
615 views20 slides
Niekomercyjne źródła informacji na Ukrainie by
Niekomercyjne źródła informacji na UkrainieNiekomercyjne źródła informacji na Ukrainie
Niekomercyjne źródła informacji na UkrainieStowarzyszenie Profesjonalistów Informacji
661 views42 slides
Wykorzystanie sztucznej inteligencji w zarządzaniu wiedza by
Wykorzystanie sztucznej inteligencji w zarządzaniu wiedzaWykorzystanie sztucznej inteligencji w zarządzaniu wiedza
Wykorzystanie sztucznej inteligencji w zarządzaniu wiedzaStowarzyszenie Profesjonalistów Informacji
559 views30 slides
Wyszukiwanie informacji w pracy Sekcji Informacji Naukowej Biblioteki Jagiell... by
Wyszukiwanie informacji w pracy Sekcji Informacji Naukowej Biblioteki Jagiell...Wyszukiwanie informacji w pracy Sekcji Informacji Naukowej Biblioteki Jagiell...
Wyszukiwanie informacji w pracy Sekcji Informacji Naukowej Biblioteki Jagiell...Stowarzyszenie Profesjonalistów Informacji
884 views56 slides

More Related Content

Similar to Agregacja 17 źródeł danych jak wdrożyć i nie zwariować

Wyklad inauguracyjny by
Wyklad inauguracyjnyWyklad inauguracyjny
Wyklad inauguracyjnyRadoslaw Kita
577 views46 slides
Robotyzacja procesów biznesowych - od optymalizacji do transformacji modelu d... by
Robotyzacja procesów biznesowych - od optymalizacji do transformacji modelu d...Robotyzacja procesów biznesowych - od optymalizacji do transformacji modelu d...
Robotyzacja procesów biznesowych - od optymalizacji do transformacji modelu d...Andrzej Sobczak
1.1K views52 slides
Strategia Data First by
Strategia Data FirstStrategia Data First
Strategia Data FirstPiotr Smialek
585 views45 slides
Modele wdrażania i zarządzania projektami erp by
Modele wdrażania i zarządzania projektami erpModele wdrażania i zarządzania projektami erp
Modele wdrażania i zarządzania projektami erpJaroslaw Zelinski
759 views20 slides
Bartosz Pacuszka Wprowadzenie do Hurtowni Danych i Business Intelligence by
Bartosz Pacuszka Wprowadzenie do Hurtowni Danych i Business IntelligenceBartosz Pacuszka Wprowadzenie do Hurtowni Danych i Business Intelligence
Bartosz Pacuszka Wprowadzenie do Hurtowni Danych i Business IntelligenceBartosz Pacuszka
877 views30 slides
Elektroniczny Obieg Dokumentów [smartBusiness] by
Elektroniczny Obieg Dokumentów [smartBusiness]Elektroniczny Obieg Dokumentów [smartBusiness]
Elektroniczny Obieg Dokumentów [smartBusiness]smartBusiness
2.3K views19 slides

Similar to Agregacja 17 źródeł danych jak wdrożyć i nie zwariować(20)

Robotyzacja procesów biznesowych - od optymalizacji do transformacji modelu d... by Andrzej Sobczak
Robotyzacja procesów biznesowych - od optymalizacji do transformacji modelu d...Robotyzacja procesów biznesowych - od optymalizacji do transformacji modelu d...
Robotyzacja procesów biznesowych - od optymalizacji do transformacji modelu d...
Andrzej Sobczak1.1K views
Modele wdrażania i zarządzania projektami erp by Jaroslaw Zelinski
Modele wdrażania i zarządzania projektami erpModele wdrażania i zarządzania projektami erp
Modele wdrażania i zarządzania projektami erp
Jaroslaw Zelinski759 views
Bartosz Pacuszka Wprowadzenie do Hurtowni Danych i Business Intelligence by Bartosz Pacuszka
Bartosz Pacuszka Wprowadzenie do Hurtowni Danych i Business IntelligenceBartosz Pacuszka Wprowadzenie do Hurtowni Danych i Business Intelligence
Bartosz Pacuszka Wprowadzenie do Hurtowni Danych i Business Intelligence
Bartosz Pacuszka877 views
Elektroniczny Obieg Dokumentów [smartBusiness] by smartBusiness
Elektroniczny Obieg Dokumentów [smartBusiness]Elektroniczny Obieg Dokumentów [smartBusiness]
Elektroniczny Obieg Dokumentów [smartBusiness]
smartBusiness2.3K views
Ład danych w czasach automatyzacji i robotyzacji by Andrzej Sobczak
Ład danych w czasach automatyzacji i robotyzacjiŁad danych w czasach automatyzacji i robotyzacji
Ład danych w czasach automatyzacji i robotyzacji
Andrzej Sobczak284 views
Bpm summit2 bizmatica presentation - 21.01.2014 - final by Wojciech Kaszycki
Bpm summit2   bizmatica presentation - 21.01.2014 - finalBpm summit2   bizmatica presentation - 21.01.2014 - final
Bpm summit2 bizmatica presentation - 21.01.2014 - final
Wojciech Kaszycki509 views
Analityka w startupie - dlaczego musisz o niej pamiętać od samego początku? -... by Mateusz Muryjas
Analityka w startupie - dlaczego musisz o niej pamiętać od samego początku? -...Analityka w startupie - dlaczego musisz o niej pamiętać od samego początku? -...
Analityka w startupie - dlaczego musisz o niej pamiętać od samego początku? -...
Mateusz Muryjas341 views
Nowi bohaterowie? - duże dane - IBM Forum Analityki Biznesowej 2015 by Piotr Pietrzak
Nowi bohaterowie? - duże dane - IBM Forum Analityki Biznesowej 2015Nowi bohaterowie? - duże dane - IBM Forum Analityki Biznesowej 2015
Nowi bohaterowie? - duże dane - IBM Forum Analityki Biznesowej 2015
Piotr Pietrzak1K views
Automatyzacja Procesów Biznesowych (RPA) - Zmieniamy teorię w praktykę by Mindbox
Automatyzacja Procesów Biznesowych (RPA) - Zmieniamy teorię w praktykę Automatyzacja Procesów Biznesowych (RPA) - Zmieniamy teorię w praktykę
Automatyzacja Procesów Biznesowych (RPA) - Zmieniamy teorię w praktykę
Mindbox281 views
Integracja danych i raportowanie w chmurze obliczeniowej Windows Azure - tran... by Jarek Sokolnicki
Integracja danych i raportowanie w chmurze obliczeniowej Windows Azure - tran...Integracja danych i raportowanie w chmurze obliczeniowej Windows Azure - tran...
Integracja danych i raportowanie w chmurze obliczeniowej Windows Azure - tran...
Jarek Sokolnicki1.2K views
Narzedzia technologiczne, ktore umozliwiaja zachowanie wiedzy w organizacji by Tomasz Karwatka
Narzedzia technologiczne, ktore umozliwiaja zachowanie wiedzy w organizacjiNarzedzia technologiczne, ktore umozliwiaja zachowanie wiedzy w organizacji
Narzedzia technologiczne, ktore umozliwiaja zachowanie wiedzy w organizacji
Tomasz Karwatka1.5K views
Clv Kogo pozyskujesz klienta czy jego transakcje by Michal Kreczmar
Clv Kogo pozyskujesz klienta czy jego transakcjeClv Kogo pozyskujesz klienta czy jego transakcje
Clv Kogo pozyskujesz klienta czy jego transakcje
Michal Kreczmar3.4K views
Perspektywy Rozwoju NarzęDzi Informatycznych ZarząDzania by guestcbb224
Perspektywy Rozwoju NarzęDzi Informatycznych ZarząDzaniaPerspektywy Rozwoju NarzęDzi Informatycznych ZarząDzania
Perspektywy Rozwoju NarzęDzi Informatycznych ZarząDzania
guestcbb2242.1K views

More from Stowarzyszenie Profesjonalistów Informacji

Bezdroża internetu – czy pieniądze leżą na ulicy (w internecie)? Wykorzystani... by
Bezdroża internetu – czy pieniądze leżą na ulicy (w internecie)? Wykorzystani...Bezdroża internetu – czy pieniądze leżą na ulicy (w internecie)? Wykorzystani...
Bezdroża internetu – czy pieniądze leżą na ulicy (w internecie)? Wykorzystani...Stowarzyszenie Profesjonalistów Informacji
1.1K views32 slides
Działania informacyjne w środowisku międzynarodowym, na podstawie udziału w o... by
Działania informacyjne w środowisku międzynarodowym, na podstawie udziału w o...Działania informacyjne w środowisku międzynarodowym, na podstawie udziału w o...
Działania informacyjne w środowisku międzynarodowym, na podstawie udziału w o...Stowarzyszenie Profesjonalistów Informacji
1.1K views10 slides
RODO – Jak skutecznie wypełnić obowiązek informacyjny i uniknąć kary by
RODO – Jak skutecznie wypełnić obowiązek informacyjny i uniknąć karyRODO – Jak skutecznie wypełnić obowiązek informacyjny i uniknąć kary
RODO – Jak skutecznie wypełnić obowiązek informacyjny i uniknąć karyStowarzyszenie Profesjonalistów Informacji
1.2K views31 slides
Szukając pani S***k*n*us, czyli jak łączyć kompetencje informatyczne i resear... by
Szukając pani S***k*n*us, czyli jak łączyć kompetencje informatyczne i resear...Szukając pani S***k*n*us, czyli jak łączyć kompetencje informatyczne i resear...
Szukając pani S***k*n*us, czyli jak łączyć kompetencje informatyczne i resear...Stowarzyszenie Profesjonalistów Informacji
1.4K views11 slides
Informacja gospodarcza a open data - obecne bariery technologiczne i nietechn... by
Informacja gospodarcza a open data - obecne bariery technologiczne i nietechn...Informacja gospodarcza a open data - obecne bariery technologiczne i nietechn...
Informacja gospodarcza a open data - obecne bariery technologiczne i nietechn...Stowarzyszenie Profesjonalistów Informacji
1.3K views14 slides
Anonimowe sieci dystrybucji informacji na przykładzie sieci TOR by
Anonimowe sieci dystrybucji informacji na przykładzie sieci TORAnonimowe sieci dystrybucji informacji na przykładzie sieci TOR
Anonimowe sieci dystrybucji informacji na przykładzie sieci TORStowarzyszenie Profesjonalistów Informacji
1.7K views19 slides

More from Stowarzyszenie Profesjonalistów Informacji(18)

Agregacja 17 źródeł danych jak wdrożyć i nie zwariować

  • 1. Agregacja 17 źródeł danych jak wdrożyć i nie zwariować mint software
  • 2. Co potrafimy: • FinTech • E-Commerce • Oprogramowanie dla biznesu Jesteśmy specjalistami w tworzeniu oprogramowania dla biznesu: platform operacyjnych, rozliczeniowych, rozwiązań automatyzujących procesy biznesowe, systemów scoringowych, systemów przetwarzających i integrujących informacje gospodarcze, systemów wspierających sprzedaż oraz platform e-commerce. Tworzymy oprogramowanie od postaw, jak również podejmujemy się automatyzacji i integracji systemów już istniejących. Bywamy wsparciem dla firm, które szukają sprawnego, dostępnego „od zaraz” zespołu (TaaS – team as a service). mint software
  • 3. Zacznijmy od początku – kontekst sytuacyjny Czy CTRL + C, CTRL + V musi tyle trwać ? mint software
  • 4. Pojawia się pomysł…. mint software [programista coś słyszałem] … i chęć realizacji
  • 6. Porozmawiajmy o potrzebach Gromadzenie danych Automatyzacja procesów Utrzymanie systemów Ujednolicenie mint software
  • 8. Porozmawiajmy o możliwych scenariuszach nie posiadamy danych dotyczących X ? posiadamy różne dane dotyczących X ? wiele systemów pyta o te same dane ? mamy konflikt – dane się wykluczają ? Skąd wiemy że dane są aktualne ? Skąd wiemy o jakie dane odpytać ? Jak postępujemy w momencie kiedy…
  • 9. Jak tutaj nie zwariować Nie stanowi problemu pobranie danych od dostawców Wymagające jest udostępnienie właściwych danych klientom wewnętrznych mint software
  • 11. Jak wygląda proces – zapytania o dane Zapytanie do hurtowi • Na podstawie wybranego identyfikatora, prosimy o dostarczenie wymaganych informacji Udzielenie informacji i walidacja • Gdy hurtownia posiada aktualne dane – wysyła informacje • Gdy nie posiada danych prosi o autoryzacje do pobrania profilu danych Udzielenie autoryzacji hurtowni do pobrania danych mint software
  • 12. Czy wszystkie dane są warte uwagi ? „Aktualność” Hipoteza: jeśli dane są nie aktualne = brak danych ! Pozwala na limitowanie danych które udzielamy do systemów pytających o informacje Będziemy posiadać dane starsze niż X dni – ale ich nie zwrócę (implementacja)
  • 13. Czy mam pobrać wszystkie dane ? „Profil danych” Profil danych pozwala pobrać tylko te dane które są faktycznie potrzebne ze źródeł które faktycznie wykorzystujemy Ekonomia – po co przepłacać ! Przykładowo : profil darmowy vs profil pełny płatny
  • 14. Gdy tłum bije do drzwi Kolejkowanie i czas reakcji Jeśli czekam na dane a klient wewnętrzny potrzebuje informacji „w locie” 1) Klient wewnętrzny dostanie wybrane dane 2) W sytuacji aktualizacji – dostanie informacje
  • 15. Nadmiar informacji Które dane wybrać ? Dane w podmiocie gromadzone są w formie czystej. Nie przetwarzamy ich na tym etapie ( raw data) Skonflikty duplikacje wykluczenia Analiza i implementacja
  • 16. Co dalej ? Analiza i inne obszary w których można wykorzystać informacje (metody linkowania, heurystyki)
  • 17. Kluczowe czynniki mające wpływ na sukces Analiza przedwdrożeniowa Dołębne poznanie i zrozumienie procesów Zakładanie że coś może pójść nie tak i tak pójdzie mint software
  • 18. Tomasz Lechowski tel.: +48 500 009 773 e-mail: tomasz.lechowski@mint.net.pl www: www.mintsoftware.pl Mint Software sp. z o.o. ul. Jasnogórska 23 31-358 Kraków Polska