Kontrolowana Wymiana Plików: WebSphere MQ File Transfer Edition for z/OS

617 views
550 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
617
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
5
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • BA Cognos 10 Template 03/15/11 Prensenter name here.ppt
  • Kontrolowana Wymiana Plików: WebSphere MQ File Transfer Edition for z/OS

    1. 1. Kontrolowana Wymiana Plików: WebSphere MQ File Transfer Edition for z/OS Maciej Zrobek
    2. 2. Niektóre wyzwania IT Redukcja „okna” przetwarzania batchowego Zwiększenie niezawodności wymiany danych pomiędzy systemami IT i eliminacja źródeł błędów Zachowanie integralności danych i zabezpieczenie ich – szczególni przy ich przesyłaniu między systemami Przyspieszenie dewelopmentu poprzez uniknięcie duplikacji funkcji Konsolidacja i reuse infrastruktury IT w przedsiębiorstwie Wykorzystanie właściwości SOA w infrastrukturze IT Powszechne wykorzystywanie infrastruktury IT i zmniejszenie zależności od specjalistów IT <ul><li>Jak można przesyłać informacje bardziej efektywnie ? </li></ul><ul><li>Jak można przesyłać informacje bardziej niezawodnie ? </li></ul><ul><li>Jak można przesyłać informacje bardziej bezpiecznie, transakcyjnie ? </li></ul><ul><li>Jak można przesyłać informacje bez duplikacji kodu ? </li></ul><ul><li>Jak można przesyłać informacje poprzez pojedyncza infrastrukture ? </li></ul><ul><li>Jak można przesyłać informacje do mojego rozwiazania SOA ? </li></ul><ul><li>Jak można przesyłać informacje wykorzystując obecne umiejętności zespołu ? </li></ul>przesyłać informacje przesyłać informacje przesyłać informacje przesyłać informacje przesyłać informacje przesyłać informacje przesyłać informacje
    3. 3. Jak przesyłamy informacje? Większość dzisiejszych aplikacji jest oparta na plikach Przetwarzają pliki wsadowo Produkują pliki na wyjściu Wczytują pliki na wejściu Większość danych przesyłanych w firmie to pl i ki Tekstowe lub binarne Przepływ i rozmiar danych ciągle rośnie move information
    4. 4. Jak większość organizacji przesyła dziś pliki ? <ul><li>Obecnie wiele krytycznych aplikacji integruje się za pomocą plików </li></ul><ul><ul><li>Większość firm posiada kilka produktów i używa różnych technik do przesyłu plików </li></ul></ul><ul><ul><li>Typowy obraz to mieszanka FTP, własnych rozwiązań i innych produktów </li></ul></ul><ul><li>Dlaczego więc transfer plików jest używany tak powszechnie ? </li></ul><ul><ul><li>Był zawsze i będzie „najmniejszym wspólnym mianownikiem” integracji systemów </li></ul></ul><ul><ul><li>Koncepcja FTP jest prosta, intuicyjna i nie wymaga zbyt wielu zdolności technicznych </li></ul></ul><ul><ul><li>Narzędzia FTP są „darmowe”, proste, intuicyjne i jest ich wielki wybór </li></ul></ul>
    5. 5. Słabe punkty prostych rozwiązań opartych o FTP <ul><li>Ograniczona niezawodność </li></ul><ul><ul><li>Możliwości restartu przesyłu nie zawsze dostępne – pliki można stracić! </li></ul></ul><ul><ul><ul><li>Z natury brak transakcyjności </li></ul></ul></ul><ul><ul><li>Przesyły lub grupy przesyłów mogą się zakończyć bez powiadomienia </li></ul></ul><ul><ul><ul><li>Niekompletne pliki lub ich grupy mogą zostać użyte w przetwarzaniu biznesowym i spowodować poważne problemy </li></ul></ul></ul><ul><li>Ograniczona elastyczność </li></ul><ul><ul><li>Wszystkie elementy przesyłu muszą być zazwyczaj jednocześnie dostępne </li></ul></ul><ul><ul><li>Często można wykonywać tylko jeden przesył FTP na raz </li></ul></ul><ul><ul><li>Przesyły z reguły nie podlegają priorytetyzacji </li></ul></ul><ul><li>Ograniczone bezpieczeństwo </li></ul><ul><ul><li>W niektórych przypadkach nazwy użytkowników/hasła są przesyłane z danymi – jawnym tekstem! </li></ul></ul><ul><ul><li>Autentykacja i szyfrowanie może nie być dostępne </li></ul></ul><ul><li>Ograniczona widoczność i możliwość śledzenia przesyłów </li></ul><ul><ul><li>Zwykle przesyły nie mogą być monitorowane i zarządzane centralnie </li></ul></ul><ul><ul><li>Możliwości logowania mogą być ograniczone i dotyczyć tylko przesyłów pomiędzy bezpośrednio połączonymi systemami </li></ul></ul>
    6. 6. Czym jest Kontrolowany Przesył Plików ( Managed File Transfer ) ? <ul><li>Umożliwia przesył plików pomiędzy systemami IT: </li></ul><ul><ul><li>W sposób niezawodny </li></ul></ul><ul><ul><li>W sposób bezpieczny </li></ul></ul><ul><ul><li>Niezależnie od wielkości pliku </li></ul></ul><ul><ul><li>Przy automatyzacji wszystkich aspektów przesyłu </li></ul></ul><ul><ul><li>Z możliwością logowania przesyłów dla celów audytu </li></ul></ul><ul><ul><li>Pomiędzy rozproszonymi systemami IT, które nie muszą być bezpośrednio połączone </li></ul></ul><ul><ul><li>Bez wymagania, aby systemy IT i sieć między nimi były ciągle dostępne </li></ul></ul><ul><ul><li>Z możliwością zdalnego zarządzania i monitorowania wszystkich aspektów przesyłu </li></ul></ul><ul><ul><li>Bez potrzeby ręcznego restartu przesyłów w przypadku wystąpienia błędów </li></ul></ul>
    7. 7. WebSphere MQ File Transfer Edition V7.0 <ul><li>Realizuje niezawodny i w pełni kontrolowany przesył plików pomiędzy systemami IT </li></ul><ul><ul><li>Niezależnie od wielkości plików </li></ul></ul><ul><ul><li>Bez potrzeby programowania </li></ul></ul><ul><li>Do przesyłu plików wykorzystana jest infrastruktura WebSphere MQ </li></ul><ul><ul><li>Pliki dzielone są na komunikaty i przesyłane przez kolejki MQ </li></ul></ul>
    8. 8. <ul><li>Wsparcie dla przesyłu plików binarnych i tekstowych </li></ul><ul><ul><li>Pliki tekstowe są automatycznie konwertowane pod względem stron kodowych i konwencji końca linii pomiędzy systemem źródłowym i docelowym </li></ul></ul><ul><li>Pliki mogą być zabezpieczone za pomocą SSL </li></ul>WebSphere MQ File Transfer Edition V7.0
    9. 9. WebSphere MQ File Transfer Edition V7.0 <ul><li>Przesyły warunkowe: </li></ul><ul><ul><li>O określonej dacie i czasie ( scheduling ) </li></ul></ul><ul><ul><li>Przy zajściu pewnych zdarzeń w systemie plików ( triggering ) </li></ul></ul><ul><ul><ul><li>Obecność/nieobecność określonego pliku </li></ul></ul></ul><ul><ul><ul><li>Kiedy plik osiągnie pewien rozmiar </li></ul></ul></ul><ul><ul><ul><li>Kiedy plik przestanie być blokowany </li></ul></ul></ul><ul><ul><li>Obydwa rodzaje przesyłów warunkowych są konfigurowane poprzez interfejs GUI i z linii komend </li></ul></ul>
    10. 10. WebSphere MQ File Transfer Edition V7.0 <ul><li>Narzędzia graficzne zintegrowane z WebSphere MQ Explorer </li></ul><ul><ul><li>Umożliwiają inicjalizację przesyłu plików pomiędzy agentami WMQ FTE </li></ul></ul><ul><ul><li>Dostarczają logów przesyłów plików z informacjami, która może być użyta dla celów audytu </li></ul></ul><ul><li>Interfejs z linii komend </li></ul><ul><ul><li>Dostarczony w celu administracji agentami WMQ FTE i definicji żądań przesyłu </li></ul></ul>
    11. 11. WebSphere MQ File Transfer Edition V7.0 <ul><li>Pliki są dzielone pomiędzy kolejki MQ typu non-persistent </li></ul><ul><ul><li>( Minimalny wpływ na logi MQ ) </li></ul></ul><ul><ul><li>Wewnętrzny protokół obsługuje niepowodzenia dostarczenia komunikaty </li></ul></ul><ul><li>Prędkość przesyłu jest regulowana </li></ul><ul><ul><li>Zapobiega to „rozsynchronizowaniu się” agenta źródłowego i docelowego, jeśli prędkości ich pracy się różnią </li></ul></ul><ul><ul><li>Zapobiega to „zalaniu” infrastruktury MQ przez komunikaty </li></ul></ul><ul><li>Pliki przesyłane są w sposób niezawodny </li></ul><ul><ul><li>Funkcja Checkpoint Restart niweluje efekty przerw w połączeniu sieciowym </li></ul></ul><ul><ul><li>Kiedy połączenie zostanie przywrócone, przesył jest restartowany w miejscu, gdzie się skończył, co zapobiega konieczności przesyłu całego pliku na nowo </li></ul></ul>
    12. 12. Exity w Javie <ul><li>Użytkownik może dostarczyć własny Kod w Javie, który może zostać wywołany: </li></ul><ul><ul><li>Przed rozpoczęciem przesyłu, po stronie wysyłającej i odbierającej </li></ul></ul><ul><ul><li>Po zakończeniu przesyłu, po stronie wysyłającej i odbierającej </li></ul></ul><ul><li>Kod ten może spowodować m.in. : </li></ul><ul><ul><li>Anulowanie przesyłu </li></ul></ul><ul><ul><li>Zmianę tego, które pliki mają zostać przesłane </li></ul></ul><ul><ul><li>Odczyt i zmianę meta-danych towarzyszących przesyłowi </li></ul></ul><ul><li>Wykorzystanie exitów konfigurowane jest na poziomie agentów </li></ul>time Source Agent Destination Agent request response pre-transfer exit invocation pre-transfer exit invocation post-transfer exit invocation post-transfer exit invocation (negotiation) (completion) transfer
    13. 13. WebSphere MQ File Transfer Edition V7.0 Jak to działa? Główne komponenty
    14. 14. WebSphere MQ FTE - agenty <ul><li>Pliki są przesyłane pomiędzy agentami WMQ FTE </li></ul><ul><li>Agenty wymagają połączenia z Queue Managerem </li></ul><ul><ul><li>W trybie Bindings lub Client </li></ul></ul><ul><ul><li>( uwaga: klient MQ nie jest wymagany na maszynach bez zainstalowanego MQ ) </li></ul></ul><ul><li>Dwa typy agentów: </li></ul><ul><ul><li>Serwerowe: działają na tej samej maszynie, co MQ </li></ul></ul><ul><ul><li>Klienckie: nie wymagają obecności MQ na tej samej maszynie </li></ul></ul><ul><li>Agenty zaimplementowane są lokalnie w stosunku do przesyłanych plików jako procesy Java ( Long running ) </li></ul><ul><li>Pojedynczy agent może jednocześnie obsługiwać kilka przesyłów plików, do różnych odbiorców </li></ul>
    15. 15. WebSphere MQ FTE - narzędzia <ul><li>Narzędzia wywoływane z linii komend: </li></ul><ul><ul><li>Do wykonywania operacji (np. przesłanie pliku) </li></ul></ul><ul><ul><li>Do administracji ( np. wystartowanie agenta ) </li></ul></ul><ul><li>Narzędzia GUI </li></ul><ul><ul><li>Wtyczka Eclipse do MQ Explorer </li></ul></ul><ul><ul><li>Służą wyłącznie do wykonywania operacji ( np. przesyłanie plików, przeglądanie logu przesyłów ) </li></ul></ul><ul><li>Skrypty Ant </li></ul><ul><ul><li>Pozwalają na wykonywanie zadań FTE </li></ul></ul><ul><ul><li>Uruchamiane są za pomocą komendy fteAnt </li></ul></ul>
    16. 16. Wymagane definicje obiektów Queue Manager <ul><li>WebSphere MQ File Transfer Edition wymaga zdefiniowania następujących QM: </li></ul><ul><ul><li>Coordination Q ueue M anager </li></ul></ul><ul><ul><li>Command Q ueue M anager </li></ul></ul><ul><ul><li>Agent Q ueue M anager </li></ul></ul><ul><li>Uwaga : process instalacyjny WMQ FTE zakłada, że powyższe obiekty QM są już zdefiniowane i dostępne </li></ul>
    17. 17. Coordination Queue Manager - zadania <ul><li>Zbieranie informacji o: </li></ul><ul><ul><li>postępie aktywnych przesyłów plików </li></ul></ul><ul><ul><li>historii przesyłów dla celów audytu </li></ul></ul><ul><li>Utrzymywanie informacji o agentach zdefiniowanych w sieci WMQ FTE </li></ul><ul><li>Posiada kolejkę SYSTEM.FTE i temat Publish-Subscribe do wykorzystania wewnętrznie przez produkt </li></ul><ul><li>Musi być uruchomiony na MQ V7 </li></ul><ul><li>Wszystkie agenty w sieci WMQ FTE muszą mieć dostęp do tego QM, aby móc publikować komunikaty dotyczące przebiegu przesyłu plików </li></ul><ul><li>W tym QM nie wykonuje się żaden kod specyficzny dla WMQ FTE </li></ul>
    18. 18. Command Queue Manager - zadania <ul><li>Wykorzystywany do przyjmowania komend sterujących siecią WMQ FTE </li></ul><ul><li>Może działać zarówno na WMQ V7, jak i na V6 </li></ul><ul><li>Można zdefiniować kilka obiektów Command Queue Manager , aby mieć kilka punktów do wydawania komend </li></ul><ul><li>W tym QM nie wykonuje się żaden kod specyficzny dla WMQ FTE </li></ul><ul><li>(fizycznie może to być ten sam obiekt MQ, co Coordination Queue Manager , albo różny) </li></ul>
    19. 19. Agent Queue Manager - zadania <ul><li>Jest to QM, do którego podłączają się agenty WMQ FTE </li></ul><ul><li>Wykorzystywany przez agentów do przesyłu/odbioru plików do/z sieci MQ </li></ul><ul><li>Może działać zarówno na WMQ V7, jak i na V6 </li></ul><ul><li>Może komunikować się z kilkoma agentami na raz: </li></ul><ul><ul><li>Każdy agent wykorzystuje swój dedykowany zestaw kolejek do komunikacji </li></ul></ul><ul><li>Wymaga Capacity Planning w zależności od przewidzianego obciążenia </li></ul>
    20. 20. WebSphere MQ File Transfer Edition V7.0 Jak to działa? Przykład prostej topologii
    21. 21. Prosta topologia sieci WMQ FTE AgentA Agent Q ueue M anager Coordination Q ueue M anager AgentB Operations (V6 or V7) (V6 or V7) (V7) Q ueue M anager Command Agent Q ueue M anager (V6 or V7)
    22. 22. Prosta topologia sieci WMQ FTE AgentA Queue M anager A Queue M anager B Queue M anager AgentB Monitoring Log Opera cje (V6 or V7) (V6 or V7) (V7) (Coordination) <ul><li>Narzędzia wysyłają komendy sterujące do kolejki monitorowanej przez Command QM </li></ul><ul><li>Agenty przesyłają pliki za pomocą kolejek MQ </li></ul><ul><li>Agenty wysyłają informacje dotyczące statusu przesyłów do Coordination QM , które publikuje je zainteresowanym aplikacjom </li></ul>Queue M anager (Command) Store + forward Pub/Sub Opis
    23. 23. Jawne interfejsy XML Udokumentowany format komunikatów Udokumentowany format komunikatów FTE Agent Queue M anager Queue M anager Queue M anager FTE Agent Monitoring Log Operations (V6 or V7) (V6 or V7) (V7) (Coordination)
    24. 24. Graficzne narzędzie zintegrowane z MQ Explorer
    25. 25. Definicja przesyłu plików
    26. 26. Audyt przesyłu plików PROTOTYPE <ul><li>Przechwytywane są logi na obydwu końcach przesyłu </li></ul><ul><li>Można je oglądać zdalnie za pomocą MQ Explorer </li></ul><ul><li>Aplikacje mogą się subskrybować do informacji z logów </li></ul><ul><li>Rekordy z logów mogą być ładowane do innych systemów (np. baza danych) </li></ul>
    27. 27. Użycie skryptu fteCreateTransfer na z/OS <ul><li>W tym przykładzie przesyłamy zbiór tekstowy z Windows do zbioru na z/OS </li></ul><ul><li>Różne formy specyfikacji zbioru doeclowego: </li></ul><ul><ul><li>//EXAMPLE </li></ul></ul><ul><ul><li>//’USERID.EXAMPLE1’ </li></ul></ul><ul><ul><li>//’USERID.EXAMPLE2(MBR1)’ </li></ul></ul><ul><li>Możemy od razu określić parametry alokacji: </li></ul><ul><ul><li>//EXAMPLE3;RECFM(V,B);BLKSIZE(6144);LRECL(1028) </li></ul></ul><ul><li>Parametr –ds używany jest do określenia zbioru sekwencyjnego </li></ul><ul><li>Parametr –dp używany jest do określenia zbioru partycjonowanego </li></ul>fteCreateTransfer -t text -sa WASH.AGENT -sm WASHQM -da CHICAGO.AGENT -dm MQH1 -ds &quot;//TRANS.FILE.TXT;RECFM(V,B);BLKSIZE(6144);LRECL(1028);SPACE(5,1)&quot; C:transferText.txt
    28. 28. Wykonanie przesyłu pliku z JCL ... //STEP1 EXEC PGM=BPXBATCH,REGION=0M, // PARM='PGM /bin/sh /opt/wmqfte/bin/fteCreateTransfer' //STDIN DD PATH='/dev/null', // PATHOPTS=(ORDONLY) //STDOUT DD PATH=‘/tmp/fteout.txt', // PATHOPTS=(OWRONLY,OCREAT,OTRUNC), // PATHMODE=SIRWXU //STDERR DD PATH=‘/tmp/fteerr.txt', // PATHOPTS=(OWRONLY,OCREAT,OTRUNC), // PATHMODE=SIRWXU ...
    29. 29. Strojenie procesu przesyłania plików <ul><li>Protokół przesyłu może zostać dostrojony poprzez specyfikację następujących parametrów agent : </li></ul><ul><ul><li>Rozmiar przesyłanych komunikatów ( chunks ) </li></ul></ul><ul><ul><li>Częstotliwość potwierdzeń, a co za tym idzie, ilość danych pozostających w kolejkach MQ ( windows ) </li></ul></ul><ul><ul><li>Punkt, w którym transmisja jest blokowana do czasu otrzymania potwierdzenia ( frames ) </li></ul></ul><ul><ul><li>Częstotliwość zapisu informacji o stanie przez agenta ( wyrażona we frames ) </li></ul></ul>Frame Window Chunk
    30. 30. Podsumowanie <ul><li>WebSphere MQ File Transfer Edition jest rozwiązaniem zapewniającym kontrolowany przesył plików w przedsiębiorstwie </li></ul><ul><li>Jako „środek transportu” dla plików MQ FTE wykorzystuje od dawna obecny na rynku i ceniony produkt WebSphere MQ </li></ul><ul><li>Cechy przesyłu plików za pomocą MQ FTE to: niezawodność, bezpieczeństwo, możliwość monitorowania </li></ul><ul><li>Za pomocą MQ FTE możemy zbudować solidną infrastrukturę przesyłu plików łączącą ze sobą różne platformy sprzętowe i systemy operacyjne </li></ul>Więcej na stronie: http://www-01.ibm.com/software/integration/wmq/filetransfer/
    31. 31. THE END

    ×