DATA CENTER CONVERGED 2013 WARSAW

www.datacenterdynamics.com
Doświadczenia Nordea w zakresie budowy
i eksploatacji ośrodków przetwarzania danych
Rys historyczno-technologiczny
z perspektywy zarządzania projektami
Robert Gronberski, Paweł Wawrzyniak /
Nordea BP S.A.

Omówione projekty / chronologia zdarzeo:
 Rozbudowa „starego” PDC, 2008 rok
 Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
 Budowa „nowego” PDC, 2010-2012 rok
 Inne większe projekty infrastrukturalne Nordea
 Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
 Budowa serwerowni centrali Nordea House Warsaw, 2012 rok

Rozbudowa „starego” PDC, 2008 rok
 Zwiększone zapotrzebowanie Nordea na przestrzeo OPD (Ośrodków Przetwarzania
Danych)
 Koniecznośd sprawnej obsługi rejonu PL&BC:
 Polska
 Litwa
 Łotwa
 Estonia
 Zapada decyzja o rozbudowie podstawowego OPD (tzw. „stare” PDC)
 Prace realizowane w ekspresowym tempie – na podstawie wcześniej przygotowanych
w Nordea projektów koncepcyjnych, firmy podwykonawcze otrzymują zlecenia na:
 Projekt techniczny i wykonanie rozbudowy systemów: zasilania gwarantowanego,
chłodzenia, okablowania strukturalnego
 Projekt techniczny i wykonanie wymaganego wzmocnienia konstrukcji budynku
Centrali
2013-05-06
3 • DatacenterDynamics 2013 Warszawa

 Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są:
 Nowa, budynkowa stacja transformatorowa o mocy 800 kW
 Nowy agregat prądotwórczy o mocy 630 kVA oraz dodatkowe przyłącze agregatu
zapasowego, używanego w czasie prac serwisowych na podstawowym agregacie
 Dedykowane pomieszczenie dla centralnego systemu UPS o mocy 2x120 kVA
(2(N+1)) z możliwością rozbudowy do mocy 2x160 kVA (N+1)
 Dedykowane pomieszczenie butlowni systemu gaszenia gazem Inergen
 Dedykowane pomieszczenie RGNN (Rozdzielni Głównej Niskiego Napięcia)
wyposażone w najnowocześniejsze rozwiązania w roku 2008, w tym automatyczny
układ SZR (Samoczynnego Załączania Rezerwy) oraz analizator jakości zasilania
Eaton PowerXpert
 Dodatkowa powierzchnia serwerowni: 100 m. kw., zabudowa zimnego korytarza
(elastyczna - ColdBlox), nadmiarowy system klimatyzacji precyzyjnej (2N+1)
pracujący w trybie rotacyjnym, wodoszczelny (i wygłuszający) sufit oraz podłoga
podniesiona
4 •
2013-05-06
DatacenterDynamics 2013 Warszawa

 Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są (c.d.):
 Wydzielone stanowisko testowe zasilania (przenośny szynoprzewód)
 System wczesnego wykrywania zadymienia VESDA
 System gaszenia gazem Inergen zintegrowany z budynkowym systemem ppoż.
 Budynkowy system KD i SSWiN (jak dla wszystkich pomieszczeo PDC)
 Dozór kamerami IP (serwerownie i pomieszczenia techniczne), CCTV (korytarze)
 Monitoring parametrów krytycznych ośrodka za pomocą systemów:
 BMS – TAC/Vista (parametry zasilania RGNN, UPS, agregat, czujki
temperatury/wilgotności, zalania)
 NMS – SNMPc Enterprise Edition (obecnie 8.0)
 Wdrożenie systemu zarządzania infrastrukturą fizyczną OPD: DCPI (Data Centre
Physical Infrastructure Manager)
 Łączna powierzchnia PDC po rozbudowie: ok. 300 m. kw. (stare serwerownie i
nowa przestrzeo)
 Obiekt podlega ochronie budynkowej (jeden, wspólny posterunek dla całego
obiektu)
5 •
2013-05-06

 Sukces: PDC otrzymuje status tymczasowego, podstawowego ośrodka przetwarzania
danych do czasu znalezienia partnera do projektu budowy nowych OPD
 Wykonany zostaje szereg audytów rozbudowanego PDC – w audycie firmy IBM ośrodek
zostaje sklasyfikowany na poziomie odpowiadającym Tier II wg klasyfikacji Uptime
Institute (IBM Level 2)
 Nowa serwerownia rozbudowanego PDC, po obciążeniu odbiorami IT, osiąga PUE o
wartości 1,7
6 •
2013-05-06

 Kilka zdjęd z przebudowy i obecnie
2013-05-06
DatacenterDynamics 2013 Warszawa7 •

 Systemy i narzędzia wspomagające
2013-05-06

 Ciekawostki:
 Rozbudowa PDC w 2008 roku trwała 3 miesiące od momentu zatwierdzenia
projektów technicznych opracowanych na podstawie specyfikacji wymagao i
projektów koncepcyjnych
 Wszystkie prace odbyły się bezprzerwowo! Wyjątkiem było zaplanowane
wyłączenie ośrodka związane z wymianą budynkowej stacji transformatorowej
 Wnioski:
 Koniecznośd znalezienia partnera z doświadczeniem w budowie OPD
 IT Banku nie powinno prowadzid prac budowlanych, a wyłącznie definiowad
wymagania dotyczące infrastruktury i poświęcad swój czas na egzekwowanie
standardów od wykonawcy generalnego
 W IT musi istnied komórka merytoryczna odpowiedzialna za definicję standardów i
kontrolę jakości prac podwykonawców w dziedzinie infrastruktury OPD
 DRC będzie obiektem poddanym adaptacji
9 •
2013-05-06

Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
 Pojawia się potrzeba stworzenia profesjonalnego, zapasowego ośrodka przetwarzania
danych – Disaster Recovery Centre, DRC
 W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych
i profesjonalnych oferentów
 Wybrana zostaje firma IBM Polska
 Na podstawie doświadczeo Nordea wynikających z rozbudowy PDC w 2008 roku,
powstaje specyfikacja funkcjonalna ośrodka przetwarzania danych oraz ustalony zostaje
zakres projektu
 Po ocenie ryzyka zostaje wybrana lokalizacja – obiekt mieszanego przeznaczenia, do
adaptacji
 IBM opracowuje techniczne projekty branżowe na podstawie wymagao Nordea (w tym
na podstawie projektów koncepcyjnych) i przedstawia swoje propozycje do
zatwierdzenia w Nordea
 Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagao i standardów
11 •
2013-05-06

 Specyfikacja ośrodka DRC (700 m.kw. powierzchni całkowitej):
 200 m.kw. przestrzeni komory serwerowej (z możliwością rozbudowy o dodatkowe
50 m.kw.)
 Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z
rozbudowy PDC w 2008 roku) powstaje:
 Zabudowa zimnych korytarzy (sztywna):
 4 rzędy, po 9 szaf w każdym rzędzie
 dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia
między węzłami klastrów)
 Centralny punkt dystrybucji połączeo – tzw. MDF (Main Distribution Frame)
 Ponadto, komora serwerowni posiada:
 2 krótsze rzędy dla urządzeo wolnostojących (duże serwery, macierze,
biblioteka taśmowa itp.) – każdy rząd składający się z 6-ciu punków
montażowych
12 •
2013-05-06

 Specyfikacja ośrodka DRC, c.d.:
 Zespół 3 zasilaczy UPS Emerson/Chloride 80 NET o mocy 150 kW z możliwością
łatwej rozbudowy (1 punkt montażowy) o 50 kW
 Dedykowany moduł UPS do podtrzymania klimatyzacji
 Dedykowany, mniejszy UPS do podtrzymania odbiorów budynkowych na
powierzchniach biurowych (sala BCP IT) o mocy 10 kW (Eaton)
 Agregat prądotwórczy o mocy 516 kW; zewnętrzny, monitorowany zbiornik paliwa
 Możliwośd podłączenia zapasowego agregatu prądotwórczego w przypadku
serwisu lub awarii agregatu podstawowego (rozwiązanie z PDC 2008)
 Ze względu na nadmiarowośd powierzchni serwerowej względem obecnie
dostępnej mocy – opracowano gotowe plany rozbudowy systemu zasilania, które
można wdrożyd w przyszłości
 System gaszenia gazem FM200
 System CCTV, KD, BMS
13 •
2013-05-06

 Specyfikacja ośrodka DRC, c.d.:
 Dedykowany posterunek ochrony
 Obsługa techniczna IBM on-site, początkowo 2 osoby (1 zmiana) – wsparcie
Nordea, realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego
zakresu
 Dostęp dla IT Nordea: 24/7
 Przeprowadzone zostają audyty:
 Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie
zasad konstrukcji i eksploatacji ośrodków przetwarzania danych
 Zewnętrzne – w tym audyt firmy IBM, który określił poziom niezawodności ośrodka
jako: IBM Level 2 (zdaniem IBM odpowiednik Tier 2 wg klasyfikacji Uptime
Institute)
14 •
2013-05-06

 Ciekawostki:
 Standard niezawodności nowego DRC odpowiada standardowi ówczesnego PDC
(2008), co – jednocześnie – podnosi poprzeczkę, jeżeli chodzi o oczekiwania
względem nowego PDC
 Po obciążeniu odbiorami IT, DRC osiąga PUE = 1,6
15 •
2013-05-06

 Kilka zdjęd z budowy i obecnych
2013-05-06

2013-05-06

 Wnioski:
 Nowe PDC musi zostad wybudowane „od zera” – obiekt dedykowany pod ośrodek
przetwarzania danych
 Standard niezawodności musi zostad podwyższony (więcej niż IBM Level 2) – na
podstawie wniosków z audytów „resilience”
20 •
2013-05-06

Budowa „nowego” PDC, 2010-2012 rok
 Zgodnie z planami rozwoju infrastruktury ośrodków przetwarzania danych w Nordea,
konsekwentnie realizowany jest projekt konstrukcji nowego PDC
 W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych
i profesjonalnych oferentów
 Wybrana zostaje firma IBM Polska – która już zdążyła wyrobid sobie odpowiednią
markę w Nordea (projekt DRC)
 Umowa zostaje podpisana w 2010 roku
 Na podstawie dotychczasowych doświadczeo obydwu partnerów i wiedzy IBM na
temat standardów obowiązujących w Nordea, zdefiniowane zostają wymagania
funkcjonalne i opracowane zostają projekty koncepcyjne
 IBM opracowuje techniczne projekty branżowe i przedstawia swoje propozycje do
zatwierdzenia w Nordea
 Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagao i standardów
22 •
2013-05-06

 Specyfikacja nowego ośrodka PDC:
 500 m.kw. przestrzeni komory serwerowej, zabezpieczonej komorą AST
 Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z
rozbudowy PDC w 2008 roku i konstrukcji DRC) powstaje:
 Zabudowa zimnych korytarzy (sztywna):
 6 rzędów, po 12 szaf w każdym rzędzie
 dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia
między węzłami klastrów)
 Przestrzeo pod dodatkowe 4 rzędy szaf (po 12 szaf w rzędzie)
 2 rzędy dla urządzeo wolnostojących (12 punktów montażowych na rząd)
 Łącznie 12 rzędów po 12 punktów montażowych
 Nowoczesna, wysokiej niezawodności architektura okablowania sieciowego
oparta na koncepcji mieszanej: EoR, ToR, MDF (w oparciu o m.in. przełączniki
sieciowe Cisco Nexus z extenderami)
 W każdej szafie stosowane są PDU z monitoringiem (SNMP, Syslog, WWW)
 Wydzielone stanowiska testowe zasilania (naścienne w komorze serwerowni)
23 •
2013-05-06

 Specyfikacja nowego ośrodka PDC, c.d.:
 Moc gwarantowana na UPS dla komory IT = 798 kW, dwa modularne, nowoczesne
zasilacze UPS firmy Emerson Trinergy (99% sprawności wg producenta, PF bliski 1)
 Dedykowane zasilacze UPS Emerson/Chloride 80 NET do podtrzymania klimatyzacji
i odbiorów budynkowych
 2 agregaty prądotwórcze SDMO o mocy 2 500 kVA każdy; zewnętrzny,
monitorowany zbiornik paliwa o pojemności 30 000 litrów
 Klimatyzacja oparta na rozwiązaniach firmy Emerson – freecooling, wysoka
efektywnośd energetyczna
 System CCTV, KD, BMS
24 •
2013-05-06

 Specyfikacja nowego ośrodka PDC, c.d.:
 Dedykowany posterunek ochrony
 Obsługa techniczna IBM on-site, łącznie 7 osób (3 zmiany) - wsparcie Nordea,
realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego zakresu
 Dostęp dla IT Nordea: 24/7
 Przeprowadzone zostają audyty:
 Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie
zasad konstrukcji i eksploatacji ośrodków przetwarzania danych, w tym testy
obciążeniowe przy współpracy z firmą Nixen (według metodyki testowej Uptime
Institute)
 Zewnętrzne – w tym testy integracyjne IBM
 Testy integracyjne systemów nowego PDC oraz testy obciążeniowe (Nordea + Nixen)
potwierdzają, że ośrodek spełnia wymagania dla poziomu niezawodności IBM Level 3+
(według klasyfikacji IBM)
25 •
2013-05-06

 Ciekawostki:
 Wsparcie systemu klimatyzacji dedykowanym algorytmem według koncepcji
Nordea, który pozwala zminimalizowad koszt energii elektrycznej w okresie
relokacji (niepełne obciążenie komory serwerowej)
 Obecnie trwa relokacja do nowego PDC z lokalizacji rozbudowanej w 2008 roku
(„stare PDC”)
 Po obciążeniu odbiorami IT spodziewamy się, że współczynnik PUE będzie równy
1,4 ;-) – projekt zakładał min.: 1,6
26 •
2013-05-06

 Kilka zdjęd z konstrukcji i obecnie
27 •
2013-05-06

28 •
2013-05-06

29 •
2013-05-06

30 •
2013-05-06

31 •
2013-05-06

Budowa i rozbudowa Nordea Operation Centre, 2009-2013 rok
33 •
2013-05-06

Budowa i rozbudowa Nordea Operation Centre, 2009-2013 rok
34 •
2013-05-06

Budowa serwerowni centrali Nordea House Warsaw,
2012 rok
36 •
2013-05-06

Budowa serwerowni centrali Nordea House Warsaw,
2012 rok
37 •
2013-05-06

Dziękujemy 

DATA CENTER CONVERGED 2013 WARSAW

DATA CENTER CONVERGED 2013 WARSAW

Recommended

More Related Content

Featured

Featured(20)

DATA CENTER CONVERGED 2013 WARSAW