Principles for Designing a data centre infrastructure and some rules for guaranteeing electricity power in a data center

1. ‫سنتر‬ ‫دیتا‬ ‫برق‬ ‫تضمین‬
‫ایمن‬ ‫برق‬ ‫تامین‬ ‫زنجیره‬ ‫در‬ ‫مباحثی‬ ‫و‬
‫پورصادق‬ ‫مهدی‬
pursadiq@irib.ir
And IMEN Power Supply Chain
‫ماه‬ ‫دی‬1395

2. ، ‫برق‬ ‫بدون‬
‫کار‬ ‫امکان‬‫تجهیزات‬ ‫یا‬ ‫سیستمها‬
‫ساخت‬‫ندارد‬ ‫وجود‬ ‫بشر‬

3. ‫مصرف‬ ‫شکل‬ ‫کارآمدترین‬ ، ‫برق‬
‫است‬ ‫انرژی‬
‫آن‬ ‫توانسته‬ ‫تاکنون‬ ‫بشر‬ ‫که‬
‫های‬ ‫صورت‬ ‫به‬ ‫انرژی‬‫گوناگون‬‫دارد‬ ‫وجود‬‫؛‬
‫الکتریکی‬ ‫انرژی‬ ،‫گرمایی‬ ‫انرژی‬، ‫مکانیکی‬ ‫انرژی‬ ،‫انرژی‬
‫تابشی‬ ‫انرژی‬ ،‫ای‬ ‫هسته‬ ‫انرژی‬ ،‫شیمیایی‬،‫انرژی‬‫و‬ ‫گرانشی‬
...

4. ‫تصور‬ ‫قابل‬ ‫برق‬ ‫بدون‬ ‫معاصر‬ ‫انسان‬ ‫زندگی‬
‫نیست‬
‫با‬‫خاموش‬‫شدن‬‫شبکه‬‫برق‬‫کشور‬
‫،موتورتمام‬‫صنایع‬‫از‬‫کار‬
‫خواهد‬‫افتاد‬،‫آسایش‬‫منازل‬‫و‬
‫آرامش‬‫شهرها‬‫از‬‫بین‬‫خواهد‬
‫رفت‬‫و‬...‫امنیت‬‫ملی‬‫با‬
‫خطرناکترین‬‫تهدید‬‫خود‬‫مواجه‬
‫خواهد‬‫شد‬.

7. ‫سنتر‬ ‫دیتا‬ ‫برق‬ ‫تضمین‬
‫سنتر‬ ‫دیتا‬ ‫برق‬ ‫اما‬ ‫و‬

8. ‫فقرات‬ ‫ستون‬ ‫دیتاسنترها‬ ‫امروزه‬
‫هستند‬ ‫مدرن‬ ‫اقتصاد‬.
‫مصرف‬ ‫رشد‬ ‫ترین‬ ‫سریع‬ ‫و‬
‫کشورهای‬ ‫در‬ ‫هم‬ ‫انرژی‬
‫همین‬ ‫به‬ ‫متعلق‬ ، ‫پیشرفته‬
‫است‬ ‫دیتاسنترها‬.

9. Moore's law is the observation that the number of transistors in a
dense integrated circuit doubles approximately every two years.
‫سال‬ ‫پنجاه‬ ‫در‬‫طبق‬ ‫اخیر‬‫گوردون‬ ‫آقای‬ ‫بینی‬ ‫پیش‬‫اینتل‬ ‫شرکت‬ ‫موسس‬ ‫مــــور‬
‫ترانزیستورها‬ ‫تعداد‬‫یک‬ ‫در‬‫یک‬ ‫از‬ ‫مشخص‬ ‫سطح‬‫مدار‬،‫مجتمع‬ً‫ا‬‫تقریب‬ ‫سال‬ ‫دو‬ ‫درهر‬‫دو‬‫شده‬ ‫برابر‬
‫است‬.

12. Total Power = ‫تاسیسات‬ ‫مصرف‬+‫مصرف‬

14. What’s Your PUE Strategy ?
%89

15. Availability
Availability is defined as the percentage of time
a system is considered ready to use when tasked.

16. 1-Fault tolerance
2-Redundancy
3-Separation
4-Robustness
5-Scalability
6-Prioritization
7-Simplicity
8-Automatism
9-Autonomy
‫پذیری‬ ‫تحمل‬
‫افزونگی‬
‫جداسازی‬
‫استواری‬
‫توسعه‬ ‫قابلیت‬
‫بندی‬ ‫اولویت‬
‫سادگی‬
‫خودکار‬
‫استقالل‬
Principles of high Availability Design

17. Redundancy
Redundancy In engineering is the duplication of critical
components or functions of a system with the intention of
increasing reliability of the system.

18. ‫اطمینان‬ ‫قابلیت‬ ‫وافزایش‬
‫حفظ‬ ‫برای‬
‫جان‬

26. Maintainability
Maintainability is defined as the probability of performing a
successful repair action or service within a given time

27. Reliability
According to (Institute of Electrical and Electronics Engineers)
Reliability is defined as the ability of a system or
component to perform its required functions under
stated conditions for a specified period of time
‫اطمینان‬ ‫قابلیت‬‫فوق‬ ‫تعریف‬ ‫طبق‬
‫از‬ ‫است‬ ‫عبارت‬:
‫در‬ ‫قطعه‬ ‫یک‬ ‫یا‬ ‫سیستم‬ ‫یک‬ ‫قابلیت‬
، ‫خود‬ ِ‫ماموریت‬ ِ‫صحیح‬ ِ‫انجام‬

28. ‫است‬ ‫مطرح‬ ‫مرحله‬ ‫سه‬ ‫هر‬ ‫در‬ ‫اطمینان‬ ‫قابلیت‬ ‫بحث‬:
‫مرحله‬
‫پروژه‬ ‫وتصمیم‬ ‫طراحی‬
2
‫مرحله‬
‫تعمیرات‬ ‫و‬ ‫نگهداری‬
‫مرحله‬
‫پروژه‬ ‫اجرای‬ ‫و‬ ‫نصب‬
1
3

29. ‫شود‬ ‫می‬ ‫کم‬ ‫اعتماد‬ ‫قابلیت‬
‫شود‬‫می‬‫زیاد‬‫ها‬‫هزینه‬

30. ‫با‬‫اطمینان‬‫ورزیدگی‬ ‫و‬ ‫تجهیزات‬ ‫قابلیت‬ ‫به‬
‫صخره‬‫انتظار‬ ‫میتوان‬ ‫نورد‬‫صعود‬ ‫یک‬‫را‬ ‫موفق‬
‫داشت‬.

31. SPOF
Single Point of Failure

32. ‫ایجاد‬ ‫عوامل‬
‫ها‬:
1-‫ها‬ ‫انسان‬
(‫طراحی‬-‫خرید‬-‫نصب‬-‫نگهداری‬-
‫برداری‬ ‫بهره‬)
2-‫تجهیزات‬
SPOF

34. SPOF

37. Fault tolerance is the ability of a system
to continue performing its intended
functions in presence of faults.
‫اشکاالت‬ ‫یا‬ ‫خطا‬ ‫پذیری‬ ‫تحمل‬ ‫برای‬ ‫سیستم‬ ‫طراحی‬
‫بروز‬ ‫صورت‬ ‫در‬ ‫که‬ ‫است‬ ‫سیستم‬ ‫از‬ ‫قابلیتی‬ ، ‫پذیری‬ ‫تحمل‬
‫مشخصی‬ ‫سطح‬ ‫و‬ ‫دهد‬ ‫ادامه‬ ‫خود‬ ‫وظایف‬ ‫انجام‬ ‫به‬ ‫سیستم‬ ،‫مشکل‬
‫بدهد‬ ‫را‬ ‫خدمات‬ ‫از‬.
Fault Tolerant Design

38. 1- Long life systems
2- Critical systems
3- High Availability Systems
4- High Availability over citrine
level of performance
Applications of FTD
‫فضاپیماها‬ ‫مثل‬
‫مثل‬‫هواپیما‬ ‫کنترل‬ ‫سیستم‬
‫مثل‬‫سنترها‬ ‫دیتا‬ ،‫بانکها‬ ‫تراکنش‬
‫مثل‬‫ها‬ ‫تلفنخانه‬
‫پذیر‬ ‫تحمل‬ ‫سیستمهای‬ ‫کاربرد‬

39. Estimating power demand is the
biggest challenge for data centers.
Estimating power demand
‫سنتر‬ ‫دیتا‬ ‫یک‬ ‫برق‬ ‫مصرف‬ ‫تخمین‬

40. AFCOM segments data center density into four
categories:
1. Low Density (up to 4 kW per rack)
2. Medium Density(5 kW to 8 kW)
3. High Density(8 kW to 15 kW)
4. Extreme Density(more than 16 kW per rack average)
Estimating power demand
‫سنتر‬ ‫دیتا‬ ‫یک‬ ‫برق‬ ‫مصرف‬ ‫تخمین‬

41. Generally, data centers operate with about 50%
low density cabinets
35% medium
15% high density.
Estimating power demand
Demand Per Rack = 0.5x 4kW + 0.35x 6.5kW + 0.15x12kW
= 2kW + 2.275kW + 1.8kW
= 6.075kW
‫سنتر‬ ‫دیتا‬ ‫یک‬ ‫برق‬ ‫مصرف‬ ‫تخمین‬

42. average power draw per cabinet
1) "Ten years ago, was probably 700 to 800 watts “
2) "Five years ago, it was 1.5 kW”
3) “Now, 3 kW”
4) “we'll see 5 or 6 kilowatt average power draw in five years”
said Jason Black, VP of data center services at Cosentry.
Estimating power demand
‫فضاپیماها‬ ‫مثل‬
‫سنتر‬ ‫دیتا‬ ‫یک‬ ‫برق‬ ‫مصرف‬ ‫تخمین‬

43. http://www.apc.com/salestools/NRAN-8FL6LW/NRAN-8FL6LW_R0_EN.pdf

44. http://www.apc.com/salestools/VAVR-8B3VJQ/VAVR-8B3VJQ_R0_EN.pdf
Stranded Capacity

45. http://www.apc.com/salestools/VAVR-8B3VJQ/VAVR-8B3VJQ_R0_EN.pdf
Mixed IT Loads

46. This European Standard is intended for use by and
collaboration between architects, building designers
and builders, system and installation designers
Information technology - data centre facilities and infrastructures
EUROPEAN STANDARD-EN50600
‫بین‬ ‫هماهنگی‬ ‫برای‬ ‫اروپایی‬ ‫استاندارد‬ ‫این‬
‫معماری‬ ‫طراحان‬‫سازه‬ ‫و‬،‫برق‬ ‫مهندسان‬ ،
‫شده‬ ‫گرفته‬ ‫نظر‬ ‫در‬ ‫اجراکنندگان‬ ‫و‬ ‫تاسیسات‬
‫است‬.
BS EN 50600-2-2:2014

47. Schematic relationship between the EN 50600 standards
Data centre facilities and infrastructures
EUROPEAN STANDARD-EN50600

48. 1. location and site selection;
2. building construction;
3. building configuration;
4. fire protection;
5. quality construction measures.
Data centre facilities and infrastructures
EUROPEAN STANDARD-EN50600
Building Construction
EN 50600-2-1

49. Data centre facilities and infrastructures
EUROPEAN STANDARD-EN50600
Power distribution
EN 50600-2-2
1. Power supplies to data centres;
2. Power distribution systems within data centres;
3. Facilities for both normal and emergency lighting;
4. Equipotential bonding and earthing;
5. Lightning protection;
6. Devices for the measurement of the power consumption
characteristics at points along the power distribution system
and their integration within management tools.

51. Thermal Imaging Assists in Predictive Maintenance for Substations

52. ً‫ا‬‫تقریب‬ ‫پروژه‬ ‫یک‬ ‫افتتاح‬ ‫و‬ ‫اندازی‬ ‫راه‬ ‫هزینه‬36%‫عمر‬ ‫دوره‬ ‫هزینه‬ ‫کل‬ ‫از‬(LCC)‫شامل‬ ‫را‬ ‫آن‬
‫میشود‬.‫بشود‬ ‫آن‬ ‫نگهداری‬ ‫هزینه‬ ‫مبلغ‬ ‫این‬ ‫برابر‬ ‫دو‬ ‫باید‬ ‫آن‬ ‫از‬ ‫برداری‬ ‫بهره‬ ‫برای‬.
‫پروژه‬ ‫اندازی‬ ‫راه‬ ‫برای‬ ‫اگر‬
،‫شود‬ ‫هزینه‬ ‫دالر‬ ‫میلیون‬ ‫یک‬
‫تا‬ ‫دو‬ ‫بین‬ ‫آن‬ ‫نگهداری‬ ‫برای‬
‫صرف‬ ‫دالر‬ ‫میلیون‬ ‫پنج‬
‫شد‬ ‫خواهد‬.
1=(2~5)

54. ‫تغذیه‬ ‫منبع‬
‫کارکرد‬ ‫و‬ ‫اندازی‬ ‫راه‬ ‫برای‬ ‫خاصی‬ ‫جریان‬ ‫و‬ ‫ولتاژ‬ ‫به‬ ‫الکتریکی‬ ‫وسیله‬ ‫هر‬‫نیاز‬
‫ولتاژ‬ ‫با‬ ‫ورودی‬ ‫یک‬ ‫از‬ ‫است‬ ‫قادر‬ ‫که‬ ‫است‬ ‫دستگاهی‬ ‫تغذیه‬ ‫منبع‬ ،‫دارد‬‫ثاب‬‫ت‬،
‫با‬ ‫ولتاژهایی‬‫نماید‬ ‫تولید‬ ‫را‬ ‫مختلفی‬ ‫جریانهای‬.
‫کلیه‬‫نی‬ ‫مورد‬ ‫الکتریکی‬ ‫انرژی‬ ،‫دیتاسنتر‬ ‫تجهیزات‬‫خود‬ ‫از‬
‫بصورت‬ ‫را‬DC‫متناوب‬ ‫ولتاژ‬ ‫که‬ ‫دستگاهی‬ ،‫خواهند‬ ‫می‬
(‫مستقیم‬ ‫یا‬)‫را‬‫ولتاژهای‬ ‫به‬DC‫تب‬ ‫تر‬ ‫پایین‬ ِ‫ه‬‫شد‬ ‫رگوله‬‫دیل‬
‫تغذیه‬ ‫،منبع‬ ‫کند‬ ‫می‬(PSU)‫شود‬ ‫می‬ ‫نامیده‬.
Power Supply

55. Holdup Time
‫پایداری‬ ‫زمان‬
‫که‬ ‫است‬ ‫زمانی‬ ‫مدت‬
‫تغذیه‬ ‫منبع‬
‫از‬ ‫بعد‬ ‫بتواند‬
، ‫آن‬ ‫برق‬ ‫قطع‬
‫روشن‬ ‫را‬ ‫سیستم‬
‫نگهدارد‬.
‫موقع‬ ‫در‬ ‫باید‬ ‫که‬
‫تجهیزات‬ ‫سفارش‬
‫این‬ ‫تا‬ ‫کرد‬ ‫دقت‬
‫از‬ ‫کمتر‬ ‫زمان‬25
‫ثانیه‬ ‫میلی‬
‫نباشد‬.
Setup Time

56. ‫تجهیزات‬ ‫بر‬ ‫برق‬ ‫شدن‬ ‫وصل‬ ‫و‬ ‫قطع‬ ‫آثار‬
‫غیر‬
‫مستقیم‬
.1‫دیتا‬ ‫رفتن‬ ‫بین‬ ‫از‬
‫خرابی‬ ‫و‬ ‫اطالعات‬ ‫و‬
‫فایلها‬
.2‫رسانی‬ ‫خدمت‬ ‫توقف‬
‫مستقیم‬
.1‫منابع‬ ‫در‬ ‫اشکال‬
‫تجهیزات‬ ‫تغذیه‬
.2‫خرابیها‬ ‫افزایش‬
‫بردهای‬ ‫در‬
‫عملیاتی‬
Power Outage

57. 1.‫شبکه‬ ‫مشکالت‬
‫برق‬:
•‫تجهیزات‬ ‫برق‬ ‫شدن‬ ‫وصل‬ ‫و‬ ‫قطع‬
•‫ها‬ ‫برق‬ ‫و‬ ‫رعد‬
•‫ها‬ ‫کوتاه‬ ‫اتصال‬
•‫مجاور‬ ‫بارهای‬ ‫شدن‬ ‫وصل‬ ‫و‬ ‫قطع‬
•‫آنها‬ ‫کار‬ ‫در‬ ‫اختالل‬ ‫یا‬ ‫برق‬ ‫اداره‬ ‫بد‬ ‫عملکرد‬
•‫اتوماتیک‬ ‫کلیدهای‬ ‫عملکرد‬ ‫و‬ ‫ها‬ ‫کلیدزنی‬
•‫برق‬ ‫قبوض‬ ‫موقع‬ ‫به‬ ‫نشدن‬ ‫پرداخت‬
•‫سیستم‬ ‫کهولت‬

58. 2.‫دیزل‬ ‫مشکالت‬-‫و‬ ‫ژنراتورها‬
‫نیروگاهها‬:
•‫سوخت‬ ‫تهیه‬
•، ‫باطری‬ ،‫فیلتر‬ ،‫روغن‬ ‫تهیه‬...
•‫کارآمد‬ ‫تکنسین‬
•‫برق‬ ‫تابلوهای‬ ‫و‬ ‫کنترل‬ ‫مدارات‬ ‫نگهداری‬
‫ژنراتورها‬
•‫آن‬ ‫بردن‬ ‫بار‬ ‫زیر‬ ‫و‬ ‫مولد‬ ‫منظم‬ ‫انداختن‬ ‫کار‬ ‫به‬

59. 3.‫نگهداری‬ ‫مشکالت‬
UPS‫ها‬: •‫آموزش‬
•‫سازی‬ ‫خنک‬ ‫و‬ ‫تهویه‬
•‫باطریها‬ ‫موقع‬ ‫به‬ ‫تدارک‬ ‫و‬ ‫تهیه‬
•‫فنها‬ ‫و‬ ‫خازنها‬ ‫خرید‬
•‫ها‬ ‫باطریخانه‬ ‫نگهداری‬
•‫بار‬ ‫مدیریت‬
•‫مونیتورینگ‬
•‫تعمیرات‬

60. 4.‫انسانی‬ ‫نیروی‬ ‫مدیریت‬ ‫مشکالت‬
:
•‫موثر‬ ‫و‬ ‫مستمر‬ ‫آموزش‬
•‫پاداش‬ ‫و‬ ‫کار‬ ‫اضافه‬ ، ‫حقوق‬
•‫کار‬ ‫امنیت‬
•‫شغلی‬ ‫ارتقای‬ ‫و‬ ‫ارزیابی‬
•‫انصاف‬
•‫پرسنل‬ ‫آموزش‬ ‫و‬ ‫جذب‬

61. 5.‫مشکالت‬
‫تدارکات‬:
•‫بودجه‬ ‫تخصیص‬ ‫برای‬ ‫التماس‬
•‫تعمیرات‬ ‫یا‬ ‫پروژه‬ ‫تصویب‬ ‫فرآیند‬
•‫خریدها‬ ‫انجام‬ ‫فرآیند‬
•‫انبار‬
•‫ترابری‬ ‫و‬ ‫نقل‬ ‫و‬ ‫حمل‬
•‫قراردادها‬ ‫و‬ ‫مناسب‬ ‫پیمانکار‬ ‫انتخاب‬

62. ‫ایمن‬ ‫برق‬ ‫تامین‬ ‫زنجیره‬
POWER SUPPLY CHAIN
‫از‬ ‫پیوسته‬ ‫هم‬ ‫به‬ ‫ای‬ ‫شبکه‬
‫و‬ ‫سیستمها‬ ، ‫تجهیزات‬
‫وظیفه‬ ‫که‬ ‫متخصص‬ ‫افراد‬
‫توزیع‬ ‫و‬ ‫انتقال‬ ، ‫تولید‬
‫یک‬ ‫در‬ ‫را‬ ‫برق‬ ‫انرژی‬
‫عهده‬ ‫به‬ ‫فعال‬ ِ‫دیتاسنتر‬
، ‫دارند‬‫تامین‬ ‫زنجیره‬

63. ‫سختی‬ ‫کار‬
1-‫برق‬ ‫انتقال‬ ‫شبکه‬ ‫وجود‬
‫پشتیبان‬ ‫نیروگاه‬ ‫و‬ ‫ای‬ ‫منطقه‬
‫سایت‬ ‫در‬
2-‫برق‬ ‫توزیع‬ ‫سیستم‬ ‫وجود‬
‫استاندارد‬
3-‫بودن‬ ‫مدار‬ ‫در‬UPS‫با‬ ‫ها‬
‫سالم‬ ‫باطریهای‬
4-‫سیستم‬ ‫و‬ ‫مجرب‬ ‫انسانی‬ ‫نیروی‬
‫کارآمد‬ ‫مونیتورینگ‬
‫برق‬ ‫تامین‬ ‫زنجیره‬
‫ایمن‬
Power Supply Chain

64. •‫عوامل‬ ‫کلیه‬ ‫شامل‬ ‫زنجیره‬ ‫این‬
‫یک‬ ‫ایمن‬ ‫برق‬ ‫تامین‬ ‫در‬ ‫موثر‬
‫است‬ ‫سایت‬.
•‫یک‬ ،‫زنجیره‬ ‫این‬ ‫مدیریت‬
‫عملکرد‬ ‫برای‬ ‫حیاتی‬ ‫فرایند‬
‫باید‬ ‫که‬ ،‫است‬ ‫دیتاسنتر‬ ‫صحیح‬
،‫روزی‬ ‫شبانه‬ ‫و‬ ‫پیوسته‬ ‫بطور‬
‫برای‬ ‫را‬ ‫الزم‬ ‫الکتریکی‬ ‫انرژی‬
‫برق‬ ‫تامین‬ ‫زنجیره‬
‫ایمن‬
Power Supply Chain

65. ‫فقط‬
، ‫وعده‬ ،‫نگاری،گزارش‬ ‫نامه‬
‫بازدید‬ ،‫ریزی‬ ‫همدردی،برنامه‬
‫نیست‬ ‫کافی‬
‫را‬ ‫سازمان‬ ‫مشکالت‬ ‫تمام‬ ‫ما‬
‫میکنیم‬ ‫درک‬
‫متاسفانه‬:
‫شعور‬ ‫که‬ ‫هستند‬ ‫تجهیزات‬ ‫این‬

67. ‫متشکرم‬
pursadiq@gmail.com