Jak ustrzec sie przed przeciążeniem systemów IT - Michał Kuratczyk, Oracle


Published on

Oracle Technology Day, 22.06.2011

Published in: Technology
  • Be the first to comment

  • Be the first to like this

No Downloads
Total views
On SlideShare
From Embeds
Number of Embeds
Embeds 0
No embeds

No notes for slide
  • Discuss Oracle’s Experience with Exadata to show continuityTested the waters with data warehousing applianceWe were very successful with HPFound it was very appropriate for OLTP in addition to data warehousing. We have now come back to the market with Exadata V2 with SUN as a hardware partner. This was tremendously successful as wellMany customers told us that their interested was not only in OLTP and DW but also in database consolidation and this was a big part of what they saw in Exadata V2Customers would ask about the rest of the infrastructure – what about the middle tier?Oracle is in a position to have conversations with customers - Not just a Data Warehousing, OLTP or Middleware applianceQuestion from customers: What about enterprise-wide standardization, consolidation, PaaS and (ultimately) Private cloud?This is where Exalogic fits inNot just another productNot just an applianceExalogic is the next step in Oracles vision for the data center of the 21st century!We are talking about something much bigger than appliancesExalogic/Exadata are not solution building blocks, they are datacenter building blocks
  • There are two classes of applications you can useExtreme Performance: Oracle Fusion MiddlewareWhen you deploy anything that you have built (Customer Apps) that can be deployed on the Oracle WebLogic Suite you will benefit from this performance optimization In addition, all the Fusion Applications & Middleware Stack runs fasterWebCenterSOA SuiteContent ManagementAll other Fusion Applications: There is a Java stack that not only runs on the machine, but they are performance optimized for this machineThey are built for the machine, and the machine is built for themFusion Applications is the #1 focus of ExalogicAlso an Open Platform: Any Oracle Linux 5.5 64 bit certified application – From Oracle or from anyone else – is supportedNo special certification for ExalogicSupport Oracle Solaris 11 Express Applications (though there are not many in existence)We fully expect Oracle Solaris 11 Express to support Solaris 10-branded ZonesInfiniBand portability layer – the big differenceYou can run your applications most likely faster than they are running today, but they are not performance optimized for InfiniBandWe have not gone through every app and stack and run it on the machine. This is in progress, with a prioritized list. These applications will be physically tried on the box
  • Black boxes represent the physical machine (that thing, the thing you see)Preassembled machine 19” 42U RackPre-loaded with Oracle Solaris and Oracle Linux (customer chooses)Ready to run – unpack, wheel it in, plug in the network and power and you’re ready to goWe have a services team to do the installation for you (if you want)Red Boxes: Optimized Java StackThese are the core components in WL SuiteMany changes have been made under the covers to improve performance in this environmentThe machine was spec’d and designed for this Java stack, and this Java Stack was tuned for this machineThey are closely coupled and complimentaryManagement from Application Level to Disk/Hardware level with Enterprise Manager
  • Coherence is an in-memory data grid, also sometimes referred to as a “distributed cache”This technology allows an application running on one machine [technically, an instance of the app server or TPM] to use the memory of many machines as if all that memory were local. This is important because many applications are memory-constrained rather than CPU- or storage-constrained, and allowing more data to be acted upon in memory at a time without time-consuming disk fetches significantly speeds up many applications. It also allows them to scale linearly (i.e. at consistent incremental cost) from tens to thousands of nodes.With its latest release Oracle Coherence is able to support Terabytes of Data in memory!!! You heard me correctly – that is in fact, Terabytes of data. Additional features include reliability through redundancy – Coherence replicates data in the grid at least once and thereby providing higher data reliability and no single points of failure.Because data is replicated operations can be parallelized and performance improved. As Coherence supports Java, C/C++, and .Net, data from distributed heterogeneous environments can be integrated through the grid saving huge integration expenses. ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Coherence is a separate tier within your architecture. It can sit on the same node as your app server, but some of our customers have deployed it to a separate tier entirely. What does it do?Enables read /write access to data at in-memory speedEnsures updates to data are captured, preserved and pushed through to backend systems – synchronously or asynchronouslyEnsures that information such as catalogues, tariffs, profiles are available to the application tier without the need to go to backend systems – such as mainframes, to capture the data. Once you have the data in memory, you application just run faster. And for developers out there  coherence is just a set of libraries that you use with simple get and put functions that enable you to write objects into the cache and read it back from the hash map.One thing to note, data gird not just applicable to financial trading applications, but also to web applications – whether they are in java or .net?!The story behind Coherence is that many applications with performance issues, the common cause is always the database bottleneckCoherence is built to remove this bottleneck. RAM is getting cheaper and cheaper and therefore caching with Coherence in memory will only get more interesting/important in the future
  • Jak ustrzec sie przed przeciążeniem systemów IT - Michał Kuratczyk, Oracle

    1. 1. Jak ustrzec się przed przeciążeniem systemów ITMichał Kuratczykprincipal solution architect
    2. 2. Agenda• Exadata i Exalogic• Odciążenie baz danych – Replikacja baz danych (active-active, multi-master) – Cache dla baz danych – Przetwarzanie danych obiektowych w pamięci• Wdrażanie zmian w systemie produkcyjnym• Reprezentatywne dane testowe – Bezpieczne i aktualne• Analiza wydajności w systemie produkcyjnym 2
    3. 3. W tym tygodniu nie mówimy o...• Klastrowaniu – Real Application Clusters – Klastry Weblogic• Testowaniu oprogramowania – Testy funkcjonalne i obciążeniowe (Application Testing Suite)• Środowiskach zapasowych – Replikacja baz danych do środowisk DR (Data Guard, Active Data Guard) – Replikacja sesji do środowisk DR (Weblogic, Coherence)• Kopiach bezpieczeństwa – Biblioteki dyskowe, taśmowe, szyfrowanie... 3
    4. 4. Exadata & ExalogicHardware and Software, Engineered to Work Together Data center XXI wieku 4
    5. 5. Exalogic – wydajna i niezawodna platforma aplikacyjnaZoptymalizowana dla aplikacji Java Custom Oracle 3rd Party ApplicationsApplications Applications on FMW Oracle Exalogic Elastic Cloud 5
    6. 6. Exalogic Elastic CloudGotowe środowisko do uruchomienia w jeden dzień Applications WebLogicEnterprise Manager Coherence Server Tuxedo JRockit and HotSpot Exalogic Elastic Cloud Software Performance and Management Optimizations Linux Solaris Exalogic Elastic Cloud X2-2 EL X2-2 Factory Assembled and Installed Installed on premises 6
    7. 7. Exalogic Elastic Cloud X2-2 Gotowe środowisko do uruchomienia w jeden dzień Integrated Storage• Shared storage for applications• Clustered for HA• 40 TB SAS disk Flash• 4 TB read cache Accelerated• 72 GB write cache InfiniBand I/O Fabric and 10GbE/GbE• 40 Gb/sec links Fully• 10 Gigabit Ethernet connectivity to datacenter Redundant Compute Nodes• 30 x86 compute nodes• 360 Xeon cores (2.93 GHz) Balanced for• 2.8 TB DRAM• 960 GB SSD Performance EL X2-2 7
    8. 8. Exalogic Elastic Cloud Skalowanie od 16 do setek procesorów• Zaprojektowany z myślą o pracy 24/7/365• Upgrade bez przestojuAll figures are model EL X2-2 8 Compute 16 Compute 30 Compute Nodes Nodes Nodes 8
    9. 9. Odciążenie baz danych• Replikacja baz danych (active-active, multi-master)• Cache dla bazy danych• Przetwarzanie danych obiektowych w pamięci 9
    10. 10. Replikacja baz danych z użyciem Goldengate Minimalne obciążenie i opóźnienia, duża elastycznośćCapture: Goldengate czyta informacje o transakcjachz logów transakcyjnych i może je filtrować Trail: Transakcje zapisywane są w plikach Pump: dostarcza dane do systemów docelowych Route: dane mogą być kompresowane i szyfrowane Delivery: dostarczenie danych odbywa się z zachowaniem spójności transakcji; dane mogą być transformowane Trail Trail Capture Pump Delivery Source Target Bi-directional 10
    11. 11. Replikacja baz danych z użyciem Goldengate Źródłem i celem może być praktycznie dowolna baza danychunidirectional bi-directional multi-masterQuery Offloading Hot Standby Load Balancing,Zero-Downtime Migration Active-Active Multi-Masterbroadcast integration/consolidation data distributionData Distribution Data Warehouse via Messaging BPM 11
    12. 12. In-Memory Database Cache (TimesTen) Cache bazy danych w pamięci serwerów aplikacji Financial / Telco Services, Web Portal, CRM • Cache do odczytu i zapisu • Standardowy SQL i PL/SQL • Automatyczna synchronizacja IMDB Cache Grid z bazą danychMid-tier Application Application Application • Czas odpowiedzi liczony w mikrosekundach • Wysoka dostępność • Trwały zapis Database-tier 12
    13. 13. Coherence In-Memory Data Grid Przechowywanie i przetwarzanie obiektów Java/.NET/C++ w pamięci• Wspólna przestrzeń dla obiektów różnych aplikacji WebLogic WebLogic Server Server• Klaster składa się z wielu maszyn fizycznych Coherence• Dodawanie i usuwanie węzłów bez przestoju JRockit JRockit• Skalowanie do tysięcy JVM OS OS• Wysoka dostępność dzięki redundancji• Wysoka wydajność dzięki rozproszeniu operacji 13
    14. 14. Wdrażanie zmian w systemie produkcyjnym Migracja/aktualizacja bez przestoju• Migracja lub aktualizacja bazy danych, sprzętu, s Siebel CRM v6/7 Siebel CRM v8 ystemu Real-time changed data operacyjnego i/lub aplikacji• Minimalizacja ryzyka dzięki możliwości Database A Database B powrotu do Failback Data Flow starego środowiska• Stopniowa migracja Compare & Verify użytkowników 14
    15. 15. Wdrażanie zmian w systemie produkcyjnymTestowanie zmian (Real Application Testing)• Nagrywanie ruchu bazodanowego na systemie produkcyjnym• Odtwarzanie ruchu na systemie testowym• Identyfikacja problemów przed wdrożeniem zmiany Capture Replay Workload PRODUCTION TEST 15
    16. 16. Reprezentatywne dane testowe Data Masking Pack (DB EE)• Anonimizacja danych osobowych, LAST_NAME SSN SALARY finansowych i wrażliwych AGUILAR 203-33-3234 40,000 z zachowaniem rozmiaru danych, konkretnych wartości i/lub ich cech BENSON 323-22-2943 60,000 (ilość znaków, wyrazów, znaki D’SOUZA 989-22-2403 80,000 specjalne, itp) FIORANO 093-44-3823 45,000• Ochrona danych wrażliwych w środowiskach testowych, do których dostęp nie jest tak dobrze chroniony• Możliwość udostępnienia danych LAST_NAME SSN SALARY testowych zewnętrznym podmiotom ANSKEKSL 111—23-1111 40,000 BKJHHEIEDK 111-34-1345 60,000 KDDEHLHESA 111-97-2749 80,000 FPENZXIEK 111-49-3849 45,000 Goldengate może zapewnić aktualność danych na środowisku testowym 16
    17. 17. Analiza wydajności w systemie produkcyjnymJaka jest wydajność systemu? Jakie są trendy? Co trzeba poprawić? 17
    18. 18. Analiza wydajności w systemie produkcyjnymCo robią użytkownicy? Jakie problemy napotykają? 18
    19. 19. Podsumowanie• Coherence – Rozproszone przechowywanie i przetwarzanie obiektów w pamięci• Data Masking Pack – Bezpieczne testowanie na reprezentatywnych danych• Exadata & Exalogic – Najprostszy sposób, by uzyskać bardzo wysoką wydajność i skalowalność• Goldengate – Replikacja baz danych (Oracle, MySQL, DB2, Sybase, SQL Server, Teradata), minimalne obciążenie i opóźnienia• In-Memory Database Cache (TimesTen)• Real Application Testing (opcja DB EE)• Real User Experience Insight – Analiza wydajności i problemów, śledzenie odczuć użytkowników 19
    20. 20. 20