DATA CENTER CONVERGED 2013 WARSAW

  • 650 views
Uploaded on

This presentation – made together by my friend, Robert Gronberski, Project Manager and I, Pawel Wawrzyniak, Head of Data Centre Services Team – is dedicated to data center infrastructure related …

This presentation – made together by my friend, Robert Gronberski, Project Manager and I, Pawel Wawrzyniak, Head of Data Centre Services Team – is dedicated to data center infrastructure related projects which were managed to complete between 2008 and 2013 in Nordea Bank Polska S.A. Our presentation covers the following projects:

• "Old" PDC (Primary Data Center) extension - 2008
• Site adaptation for the purposes of DRC (Disaster Recovery Center), 2009-2010
• "New" PDC (Primary Data Center) construction, 2010-2012
• Other important infrastructure projects in Nordea: Adaptation and extension of Nordea Operation Centre (NOC), 2009-2013; Server room construction in Nordea House Warsaw (NHW, a new HQ), 2012

The aim of presentation is to show these demanding projects, challenges we've faced, standards we've developed and lessons we've learned to share our company's experience in data center infrastructure related projects, which were collected between 2008 – 2013, with other industry experts.

Presented on DatacenterDynamics Converged Warsaw 2013:
http://www.datacenterdynamics.com/pl/conferences/2013/warsaw-2013

Presentation language: Polish
Presentation title (translated): Nordea's experience on construction, maintenance and management of data centre facilities. Historical/Technological view with Project Management perspective

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
650
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
1
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. www.datacenterdynamics.com Doświadczenia Nordea w zakresie budowy i eksploatacji ośrodków przetwarzania danych Rys historyczno-technologiczny z perspektywy zarządzania projektami Robert Gronberski, Paweł Wawrzyniak / Nordea BP S.A.
  • 2. www.datacenterdynamics.com Omówione projekty / chronologia zdarzeo:  Rozbudowa „starego” PDC, 2008 rok  Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Budowa „nowego” PDC, 2010-2012 rok  Inne większe projekty infrastrukturalne Nordea  Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok  Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
  • 3. www.datacenterdynamics.com Rozbudowa „starego” PDC, 2008 rok  Zwiększone zapotrzebowanie Nordea na przestrzeo OPD (Ośrodków Przetwarzania Danych)  Koniecznośd sprawnej obsługi rejonu PL&BC:  Polska  Litwa  Łotwa  Estonia  Zapada decyzja o rozbudowie podstawowego OPD (tzw. „stare” PDC)  Prace realizowane w ekspresowym tempie – na podstawie wcześniej przygotowanych w Nordea projektów koncepcyjnych, firmy podwykonawcze otrzymują zlecenia na:  Projekt techniczny i wykonanie rozbudowy systemów: zasilania gwarantowanego, chłodzenia, okablowania strukturalnego  Projekt techniczny i wykonanie wymaganego wzmocnienia konstrukcji budynku Centrali 2013-05-06 3 • DatacenterDynamics 2013 Warszawa
  • 4. www.datacenterdynamics.com Rozbudowa „starego” PDC, 2008 rok  Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są:  Nowa, budynkowa stacja transformatorowa o mocy 800 kW  Nowy agregat prądotwórczy o mocy 630 kVA oraz dodatkowe przyłącze agregatu zapasowego, używanego w czasie prac serwisowych na podstawowym agregacie  Dedykowane pomieszczenie dla centralnego systemu UPS o mocy 2x120 kVA (2(N+1)) z możliwością rozbudowy do mocy 2x160 kVA (N+1)  Dedykowane pomieszczenie butlowni systemu gaszenia gazem Inergen  Dedykowane pomieszczenie RGNN (Rozdzielni Głównej Niskiego Napięcia) wyposażone w najnowocześniejsze rozwiązania w roku 2008, w tym automatyczny układ SZR (Samoczynnego Załączania Rezerwy) oraz analizator jakości zasilania Eaton PowerXpert  Dodatkowa powierzchnia serwerowni: 100 m. kw., zabudowa zimnego korytarza (elastyczna - ColdBlox), nadmiarowy system klimatyzacji precyzyjnej (2N+1) pracujący w trybie rotacyjnym, wodoszczelny (i wygłuszający) sufit oraz podłoga podniesiona 4 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 5. www.datacenterdynamics.com Rozbudowa „starego” PDC, 2008 rok  Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są (c.d.):  Wydzielone stanowisko testowe zasilania (przenośny szynoprzewód)  System wczesnego wykrywania zadymienia VESDA  System gaszenia gazem Inergen zintegrowany z budynkowym systemem ppoż.  Budynkowy system KD i SSWiN (jak dla wszystkich pomieszczeo PDC)  Dozór kamerami IP (serwerownie i pomieszczenia techniczne), CCTV (korytarze)  Monitoring parametrów krytycznych ośrodka za pomocą systemów:  BMS – TAC/Vista (parametry zasilania RGNN, UPS, agregat, czujki temperatury/wilgotności, zalania)  NMS – SNMPc Enterprise Edition (obecnie 8.0)  Wdrożenie systemu zarządzania infrastrukturą fizyczną OPD: DCPI (Data Centre Physical Infrastructure Manager)  Łączna powierzchnia PDC po rozbudowie: ok. 300 m. kw. (stare serwerownie i nowa przestrzeo)  Obiekt podlega ochronie budynkowej (jeden, wspólny posterunek dla całego obiektu) 5 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 6. www.datacenterdynamics.com Rozbudowa „starego” PDC, 2008 rok  Sukces: PDC otrzymuje status tymczasowego, podstawowego ośrodka przetwarzania danych do czasu znalezienia partnera do projektu budowy nowych OPD  Wykonany zostaje szereg audytów rozbudowanego PDC – w audycie firmy IBM ośrodek zostaje sklasyfikowany na poziomie odpowiadającym Tier II wg klasyfikacji Uptime Institute (IBM Level 2)  Nowa serwerownia rozbudowanego PDC, po obciążeniu odbiorami IT, osiąga PUE o wartości 1,7 6 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 7. www.datacenterdynamics.com Rozbudowa „starego” PDC, 2008 rok  Kilka zdjęd z przebudowy i obecnie 2013-05-06 DatacenterDynamics 2013 Warszawa7 •
  • 8. www.datacenterdynamics.com Rozbudowa „starego” PDC, 2008 rok  Systemy i narzędzia wspomagające 2013-05-06 DatacenterDynamics 2013 Warszawa8 •
  • 9. www.datacenterdynamics.com Rozbudowa „starego” PDC, 2008 rok  Ciekawostki:  Rozbudowa PDC w 2008 roku trwała 3 miesiące od momentu zatwierdzenia projektów technicznych opracowanych na podstawie specyfikacji wymagao i projektów koncepcyjnych  Wszystkie prace odbyły się bezprzerwowo! Wyjątkiem było zaplanowane wyłączenie ośrodka związane z wymianą budynkowej stacji transformatorowej  Wnioski:  Koniecznośd znalezienia partnera z doświadczeniem w budowie OPD  IT Banku nie powinno prowadzid prac budowlanych, a wyłącznie definiowad wymagania dotyczące infrastruktury i poświęcad swój czas na egzekwowanie standardów od wykonawcy generalnego  W IT musi istnied komórka merytoryczna odpowiedzialna za definicję standardów i kontrolę jakości prac podwykonawców w dziedzinie infrastruktury OPD  DRC będzie obiektem poddanym adaptacji 9 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 10. www.datacenterdynamics.com Omówione projekty / chronologia zdarzeo:  Rozbudowa „starego” PDC, 2008 rok  Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Budowa „nowego” PDC, 2010-2012 rok  Inne większe projekty infrastrukturalne Nordea  Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok  Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
  • 11. www.datacenterdynamics.com Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Pojawia się potrzeba stworzenia profesjonalnego, zapasowego ośrodka przetwarzania danych – Disaster Recovery Centre, DRC  W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych i profesjonalnych oferentów  Wybrana zostaje firma IBM Polska  Na podstawie doświadczeo Nordea wynikających z rozbudowy PDC w 2008 roku, powstaje specyfikacja funkcjonalna ośrodka przetwarzania danych oraz ustalony zostaje zakres projektu  Po ocenie ryzyka zostaje wybrana lokalizacja – obiekt mieszanego przeznaczenia, do adaptacji  IBM opracowuje techniczne projekty branżowe na podstawie wymagao Nordea (w tym na podstawie projektów koncepcyjnych) i przedstawia swoje propozycje do zatwierdzenia w Nordea  Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagao i standardów 11 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 12. www.datacenterdynamics.com Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Specyfikacja ośrodka DRC (700 m.kw. powierzchni całkowitej):  200 m.kw. przestrzeni komory serwerowej (z możliwością rozbudowy o dodatkowe 50 m.kw.)  Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z rozbudowy PDC w 2008 roku) powstaje:  Zabudowa zimnych korytarzy (sztywna):  4 rzędy, po 9 szaf w każdym rzędzie  dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia między węzłami klastrów)  Centralny punkt dystrybucji połączeo – tzw. MDF (Main Distribution Frame)  Ponadto, komora serwerowni posiada:  2 krótsze rzędy dla urządzeo wolnostojących (duże serwery, macierze, biblioteka taśmowa itp.) – każdy rząd składający się z 6-ciu punków montażowych 12 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 13. www.datacenterdynamics.com Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Specyfikacja ośrodka DRC, c.d.:  Zespół 3 zasilaczy UPS Emerson/Chloride 80 NET o mocy 150 kW z możliwością łatwej rozbudowy (1 punkt montażowy) o 50 kW  Dedykowany moduł UPS do podtrzymania klimatyzacji  Dedykowany, mniejszy UPS do podtrzymania odbiorów budynkowych na powierzchniach biurowych (sala BCP IT) o mocy 10 kW (Eaton)  Agregat prądotwórczy o mocy 516 kW; zewnętrzny, monitorowany zbiornik paliwa  Możliwośd podłączenia zapasowego agregatu prądotwórczego w przypadku serwisu lub awarii agregatu podstawowego (rozwiązanie z PDC 2008)  Ze względu na nadmiarowośd powierzchni serwerowej względem obecnie dostępnej mocy – opracowano gotowe plany rozbudowy systemu zasilania, które można wdrożyd w przyszłości  System gaszenia gazem FM200  System CCTV, KD, BMS 13 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 14. www.datacenterdynamics.com Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Specyfikacja ośrodka DRC, c.d.:  Dedykowany posterunek ochrony  Obsługa techniczna IBM on-site, początkowo 2 osoby (1 zmiana) – wsparcie Nordea, realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego zakresu  Dostęp dla IT Nordea: 24/7  Przeprowadzone zostają audyty:  Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie zasad konstrukcji i eksploatacji ośrodków przetwarzania danych  Zewnętrzne – w tym audyt firmy IBM, który określił poziom niezawodności ośrodka jako: IBM Level 2 (zdaniem IBM odpowiednik Tier 2 wg klasyfikacji Uptime Institute) 14 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 15. www.datacenterdynamics.com Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Ciekawostki:  Standard niezawodności nowego DRC odpowiada standardowi ówczesnego PDC (2008), co – jednocześnie – podnosi poprzeczkę, jeżeli chodzi o oczekiwania względem nowego PDC  Po obciążeniu odbiorami IT, DRC osiąga PUE = 1,6 15 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 16. www.datacenterdynamics.com Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Kilka zdjęd z budowy i obecnych 2013-05-06 DatacenterDynamics 2013 Warszawa16 •
  • 17. www.datacenterdynamics.com Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Kilka zdjęd z budowy i obecnych 2013-05-06 DatacenterDynamics 2013 Warszawa17 •
  • 18. www.datacenterdynamics.com Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Kilka zdjęd z budowy i obecnych 2013-05-06 DatacenterDynamics 2013 Warszawa18 •
  • 19. www.datacenterdynamics.com Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Kilka zdjęd z budowy i obecnych 2013-05-06 DatacenterDynamics 2013 Warszawa19 •
  • 20. www.datacenterdynamics.com Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Wnioski:  Nowe PDC musi zostad wybudowane „od zera” – obiekt dedykowany pod ośrodek przetwarzania danych  Standard niezawodności musi zostad podwyższony (więcej niż IBM Level 2) – na podstawie wniosków z audytów „resilience” 20 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 21. www.datacenterdynamics.com Omówione projekty / chronologia zdarzeo:  Rozbudowa „starego” PDC, 2008 rok  Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Budowa „nowego” PDC, 2010-2012 rok  Inne większe projekty infrastrukturalne Nordea  Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok  Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
  • 22. www.datacenterdynamics.com Budowa „nowego” PDC, 2010-2012 rok  Zgodnie z planami rozwoju infrastruktury ośrodków przetwarzania danych w Nordea, konsekwentnie realizowany jest projekt konstrukcji nowego PDC  W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych i profesjonalnych oferentów  Wybrana zostaje firma IBM Polska – która już zdążyła wyrobid sobie odpowiednią markę w Nordea (projekt DRC)  Umowa zostaje podpisana w 2010 roku  Na podstawie dotychczasowych doświadczeo obydwu partnerów i wiedzy IBM na temat standardów obowiązujących w Nordea, zdefiniowane zostają wymagania funkcjonalne i opracowane zostają projekty koncepcyjne  IBM opracowuje techniczne projekty branżowe i przedstawia swoje propozycje do zatwierdzenia w Nordea  Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagao i standardów 22 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 23. www.datacenterdynamics.com Budowa „nowego” PDC, 2010-2012 rok  Specyfikacja nowego ośrodka PDC:  500 m.kw. przestrzeni komory serwerowej, zabezpieczonej komorą AST  Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z rozbudowy PDC w 2008 roku i konstrukcji DRC) powstaje:  Zabudowa zimnych korytarzy (sztywna):  6 rzędów, po 12 szaf w każdym rzędzie  dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia między węzłami klastrów)  Przestrzeo pod dodatkowe 4 rzędy szaf (po 12 szaf w rzędzie)  2 rzędy dla urządzeo wolnostojących (12 punktów montażowych na rząd)  Łącznie 12 rzędów po 12 punktów montażowych  Nowoczesna, wysokiej niezawodności architektura okablowania sieciowego oparta na koncepcji mieszanej: EoR, ToR, MDF (w oparciu o m.in. przełączniki sieciowe Cisco Nexus z extenderami)  W każdej szafie stosowane są PDU z monitoringiem (SNMP, Syslog, WWW)  Wydzielone stanowiska testowe zasilania (naścienne w komorze serwerowni) 23 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 24. www.datacenterdynamics.com Budowa „nowego” PDC, 2010-2012 rok  Specyfikacja nowego ośrodka PDC, c.d.:  Moc gwarantowana na UPS dla komory IT = 798 kW, dwa modularne, nowoczesne zasilacze UPS firmy Emerson Trinergy (99% sprawności wg producenta, PF bliski 1)  Dedykowane zasilacze UPS Emerson/Chloride 80 NET do podtrzymania klimatyzacji i odbiorów budynkowych  2 agregaty prądotwórcze SDMO o mocy 2 500 kVA każdy; zewnętrzny, monitorowany zbiornik paliwa o pojemności 30 000 litrów  Klimatyzacja oparta na rozwiązaniach firmy Emerson – freecooling, wysoka efektywnośd energetyczna  System CCTV, KD, BMS 24 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 25. www.datacenterdynamics.com Budowa „nowego” PDC, 2010-2012 rok  Specyfikacja nowego ośrodka PDC, c.d.:  Dedykowany posterunek ochrony  Obsługa techniczna IBM on-site, łącznie 7 osób (3 zmiany) - wsparcie Nordea, realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego zakresu  Dostęp dla IT Nordea: 24/7  Przeprowadzone zostają audyty:  Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie zasad konstrukcji i eksploatacji ośrodków przetwarzania danych, w tym testy obciążeniowe przy współpracy z firmą Nixen (według metodyki testowej Uptime Institute)  Zewnętrzne – w tym testy integracyjne IBM  Testy integracyjne systemów nowego PDC oraz testy obciążeniowe (Nordea + Nixen) potwierdzają, że ośrodek spełnia wymagania dla poziomu niezawodności IBM Level 3+ (według klasyfikacji IBM) 25 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 26. www.datacenterdynamics.com Budowa „nowego” PDC, 2010-2012 rok  Ciekawostki:  Wsparcie systemu klimatyzacji dedykowanym algorytmem według koncepcji Nordea, który pozwala zminimalizowad koszt energii elektrycznej w okresie relokacji (niepełne obciążenie komory serwerowej)  Obecnie trwa relokacja do nowego PDC z lokalizacji rozbudowanej w 2008 roku („stare PDC”)  Po obciążeniu odbiorami IT spodziewamy się, że współczynnik PUE będzie równy 1,4 ;-) – projekt zakładał min.: 1,6 26 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 27. www.datacenterdynamics.com Budowa „nowego” PDC, 2010-2012 rok  Kilka zdjęd z konstrukcji i obecnie 27 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 28. www.datacenterdynamics.com Budowa „nowego” PDC, 2010-2012 rok  Kilka zdjęd z konstrukcji i obecnie 28 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 29. www.datacenterdynamics.com Budowa „nowego” PDC, 2010-2012 rok  Kilka zdjęd z konstrukcji i obecnie 29 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 30. www.datacenterdynamics.com Budowa „nowego” PDC, 2010-2012 rok  Kilka zdjęd z konstrukcji i obecnie 30 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 31. www.datacenterdynamics.com Budowa „nowego” PDC, 2010-2012 rok  Kilka zdjęd z konstrukcji i obecnie 31 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 32. www.datacenterdynamics.com Omówione projekty / chronologia zdarzeo:  Rozbudowa „starego” PDC, 2008 rok  Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Budowa „nowego” PDC, 2010-2012 rok  Inne większe projekty infrastrukturalne Nordea  Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok  Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
  • 33. www.datacenterdynamics.com Budowa i rozbudowa Nordea Operation Centre, 2009-2013 rok 33 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 34. www.datacenterdynamics.com Budowa i rozbudowa Nordea Operation Centre, 2009-2013 rok 34 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 35. www.datacenterdynamics.com Omówione projekty / chronologia zdarzeo:  Rozbudowa „starego” PDC, 2008 rok  Adaptacja obiektu na potrzeby DRC, 2009-2010 rok  Budowa „nowego” PDC, 2010-2012 rok  Inne większe projekty infrastrukturalne Nordea  Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok  Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
  • 36. www.datacenterdynamics.com Budowa serwerowni centrali Nordea House Warsaw, 2012 rok 36 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 37. www.datacenterdynamics.com Budowa serwerowni centrali Nordea House Warsaw, 2012 rok 37 • 2013-05-06 DatacenterDynamics 2013 Warszawa
  • 38. www.datacenterdynamics.com Dziękujemy 