1. Пост роение сис т емы анализ а
произ водит ельност и
и планирования ресурсов ЕЦОД
Фирстов Сергей Валерьевич
Главный инженер Екатеринбургского ИВЦ
сп ГВЦ филиала ОАО «РЖД»

2. Проблематика
1. Ежегодный рост объемов хранимых данных от 15 до 50%
2. Внедрение нового и модернизация существующего ПО
3. Неконтролируемый рост нагрузки на аппаратную составляющую
4. Отсутствует накопление статистических данных по загрузке каждого
из компонент ИТ инфраструктуры в используемой СУИР IBM Tivoli
5. Недостаточно оперативно отслеживается загрузка компонент СХД
(LUNы, сервис процессоры, кэш, диски и пр.)
6. Недостаточно оперативно отслеживается загрузка коммутационного
оборудования (порты и др.)
7. Отсутствует прогнозирование и анализ загрузки компонент ЦОД
2

3. Стадии трансформации ИТ инфраструктуры
Виртуализация
Сетей
Виртуализация
систем
хранения
Orchestration
Виртуализация
серверов
Виртуализация
информации
Management
Уровень виртуализации
исполнения
Виртуализация
Рабочей нагрузки
Provisioning
Прикладной
уровень
Уровень управления
Уровень
операционных систем
Уровень
виртуализации
данных
Уровень виртуализации
файловых систем
Уровень
виртуализации
томов
Операционные
системы
Гипервизоры
Виртуальные
машины
Виртуальные диски
Контроллеры томов
Физический уровень
Сети
Grid Scheduler
3
Grid Middleware

4. Подход к оптимизации модели ЦОД
Цена
Приобретения
Критичность для
бизнеса
Критически
Важные
Средней
Важности
Windows
Операционные среды
zOS
Стоимость
Владения
AIX
Качество
Среды
Низкой
Важности
Intel
RISC
Аппаратные платформы
4
zSeies
Качество
Платформы

5. Унифицированная инфраструктура
IBM
Modular
…
CLUSTER
LAN
Switch
Technologies:
Technologies:
• DLPAR, mPAR
• DLPAR, mPAR
• CuOD
• CuOD
• HACMP
• HACMP
LAN
WLM
IBM
Mainframe
.....
CF
Technologies:
Technologies:
• LPAR, IRD, WLM
• LPAR, IRD, WLM
• CBU, CIU, CoD On/Off
• CBU, CIU, CoD
• zIIP, zAAP, IFL On/Off
• zIIP, zAAP, IFL
• Parallel Sysplex, GDPS
• Parallel Sysplex, GDPS
Parallel Sysplex & Data Sharing
WLM
SAN
Director
IBM
System Storage
.....
SAN
SYNC
COPY
Дисковые
подсистемы
Дисковые
подсистемы
Подсистемы Резервного
копирования
Technologies:
Technologies:
• LPAR, PAV,
• LPAR, PAV,
• CoD
• CoD
• RMC, RMZ,PTC
• RMC, RMZ,PTC
• HiperSWAP
• HiperSWAP
Сквозное управление системами, сетями и данными ( Tivoli )
Blade Center
IBM
Power
…
Серверы
Приложений
Серверы
Баз Данных
Системы
Хранения
и Архивирования

6. ИТ-услуги
готовые к использованию в облачных вычислениях
E-Mail, Collaboration
Разработка ПО
Тестовые и препроизводственные
системы
Интенсивные
вычисления
Информационная
инфраструктура
ИТ-услуги
Каталог
ИТ-услуг
Портал
запросов
Портал
управления
Динамическо
е управление
Мониторинг
SLA
производительности
Сервис-менеджмент
Виртуальные
СХД
Виртуальные сети
Виртуальныепри
ложения &
Middleware
Виртуальные
клиенты
Non-IBM Servers
Виртуализация
Виртуальные
сервера
IBM System z
Power Systems
System x,
BladeCenter
IBM & Other
Storage
Networking
Физический уровень

7. ИТ-как-сервис
основа облачной модели предоставления ИТ
Примеры
CRM/ERP/HR
Collaboration
БизнесОтраслевые
процессы
приложения
Приложения-как-сервис (SaaS)
Java
Web 2.0
Middlew
are Базы Application Среды Runtime
Runtime разработки
данных
Платформа-как-сервис (PaaS)
Системы
хранения
Разделяемая, виртуализированная,
динамическая инфраструктура
Инфраструктура-как-сервис (IaaS)
Серверы
7
Сети
Инфраструктура
а
ЦОД
ЦОД
Smart Business Dev. &
Smart Business Dev. &
Test on the IBM Cloud
Test on the IBM Cloud

8. Бизнес логики
Бизнес логики
Appl-x
Appl-x
BW //
BW
BI
BI
Интеграционный
Интеграционный
File
File
services
services
Клиенты и Офисы
Клиенты и Офисы
Enterprise
Enterprise
Service Bus
Service Bus
MSQL
MSQL
Cluster
Cluster
services
services
PLM
PLM
Прочие
Прочие
Web
Web
services
services
Time
Time
Sync
Sync
UNIX
UNIX
Windows
Windows
Linux
Linux
Специализи
Специализи
рованные
рованные
Workstation
Workstation
Virtualisation
Virtualisation
Storage
Storage
Virtualisation
Virtualisation
Network
Network
Virtualisation
Virtualisation
HW
HW
Hypervisors
Hypervisors
SW
SW
Hypervisors
Hypervisors
Mainframe
Mainframe
Disk
Disk
Storage
Storage
Каналы связи
Каналы связи
• ЦОД- Основной
ECM
ECM
zOS
zOS
RISC
RISC
x86
x86
HPC
HPC
ILM
ILM
Services
Services
Archive
Archive
Services
Services
Copy
Copy
Services
Services
Backup
Backup
Services
Services
LAN ЦОДа
LAN ЦОДа
SAN ЦОДа
SAN ЦОДа
ЦОД-ЦОД
ЦОД-ЦОД
каналы
каналы
Внешние
Внешние
каналы
каналы
Серверные платформы
Серверные платформы
ЦОД • ЦОД- Резервный
ЦОД
Information
Information
Integration
Integration
Oracle
Oracle
Print
Print
services
services
MDM
MDM
Tape
Tape
Storage
Storage
Сервисы
Сервисы
коммуникации
коммуникации
Помещения
Помещения
Энергоснабжение
Энергоснабжение
Освещение
Освещение
Кондиционирование
Кондиционирование
Центры
Центры
управления
управления
Кабельное
Кабельное
хозяйство
хозяйство
Рабочие
Рабочие
станции
станции
Интегрированная система
Интегрированная система
управления и безопасности
управления и безопасности
Офисы
Офисы
Мобильные
Мобильные
клиенты
клиенты
Управление Безопасностью
Управление Безопасностью
E-mail
E-mail
services
services
SCM
SCM
Управление Системами и Сервисами
Управление Системами и Сервисами
DB2
DB2
Инфраструктурный
Инфраструктурный
Системы Хранения
Системы Хранения
CRM
CRM
Processes
Processes
Integration
Integration
Баз Данных
Баз Данных
Виртуализация
Виртуализация
Базовые сервисы
платформы
ERP
ERP
People
People
Integration
Integration
Операционные Системы
Операционные Системы
Инженерные
сервисы
HR
HR
Платформа
Платформа
разработки
разработки
Инфраструктурные
сервисы
Прикладные
ИНФРАСТРУКТУРНАЯ МОДЕЛЬ

9. Архитектурные блоки
9

10. Взаимозависимость архитектурных блоков
10

11. Операционная модель
Управление эксплуатацией
Служба
поддержки
Управление
элементами
Мейнфреймы
(Mainframe)
Технологические операции
• Управ ление с консолей
• Обработка событий
• Распределение нагрузк и и
планирование заданий
Сервера
(Other
Servers)
Сети
(Network)
• Техническое обслуж ив ание
Инфр. сервисы
(Common Inf
Services)
• Инц иденты / Проблемы
• Исполнение запросов
• Наг руз ка/Произв одительность
• Непрерыв ность у слуг
• У ровни обслужив ания (OLA)
• Вз аимоот ношения с пост ав щиками
Управление инженерной
инфраструктурой
• ЦОД
Пром. ПО
(Middleware)
Безопастност
ь (Security)
АСУ ПП
Процессы
обслуживания
• Доступность
СУБД
(Database
)
АСУ
ГП
• Резервное к опиров ание
• Изменения / Конфигу рации
Системы хр.
(Storage)
Управление
приложениями
• Офисные здания
Принятие решений
• Корпоративная архит ект ура
АСУ ФР,
АСУ ТР

12. Основные положения операционной модели (ОМ)

Определены целевые процессы ЦОД (в т.ч. требующие
улучшения/модернизации)

Определены параметры сложности управления элементами (архитектурными
блоками) инфраструктурной модели

Определены функции управления:


Технологическая функция (техническое управление)

Функция управления эксплуатацией

Функция управления приложениями


Служба поддержки
Функция управления процессами
Определено управление функциями:

Управление персоналом (обеспечение) – локальное в рамках ИВЦ

Управление предоставлением услуг (управление и ответственность за
исполнение функции) – глобальное в рамках ГВЦ

Определены роли и штатные расписания в рамках функций

13. Инфраструктура
Системы Хранения
Дисковые
подсистемы
ДГУ
ИБП
SAN
Replication
Подсистемы Резервного
копирования
Кондиционер
Дисковые
подсистемы
Датчики
tº
CF
IP
VP
Applications
Transaction
Уровень Систем
TADD
M
Netcool/Impact
NetCool/Omnibus
DB
DW
Netcool/Reporter
Network
IBM Tivoli Сomposite
Application Mamager
Perfomance Management
Tivoli Business Services
Management (TBSM)
Storage
Cluster
z/OS
Tivoli OMEGAMON
Уровень Устройств
NetCool
WebTop
Tivoli
Enterprise
Portal
LAN
Replicat
ion
WAN
IBM Systems
Director
Клиенты
Резервный
центр
Total Storage
Data Productivity Center
Fabric
Disk
Серверы Приложений
Основной
центр
Tivoli
Network
Manager
Серверы Баз данных
Мониторинг и управлениe ИТ-ресурсами
Event Management
Уровень
Бизнес Сервисов

14. Архитектура системы управления и мониторинга
ресурсов
Мониторинг
Управление
ЦОД
Dashboards:
 Dashboards:
 Ключевые
Ключевые
показатели ИТ
показатели ИТ
ЦОД + ИВЦ
ЦОД + ИВЦ
ИВЦ
Дорожный
уровень
Consoles:
Consoles:
  Приложений
Приложений
дорожного
дорожного
уровня
уровня
  ОС и СУБД
ОС и СУБД
 Серверов
 Серверов
  Систем
Систем
Хранения
Хранения
  Сетей
Сетей
Автоматизация
Service
Management
Center
Сетевой
уровень
Dashboards:
 Dashboards:
 Ключевые
Ключевые
показатели ИТ
показатели ИТ
РЖД
РЖД
Отделения
дорог
Agents:
Agents:
 Сетей (LAN)
Сетей (LAN)
 APMов
APMов
АРМы
АРМы
АРМы
АРМы
АРМы
АРМы
Линейные
предприятия
Линейный
уровень
Оперативное
управление
Тактическое
управление
Стратегическое
управление
Департамент
Корпоративной
Информатизации

15. Архитектурные блоки системы управления и
мониторинга
Архитектурный блок системы управления ИТ
инфраструктурой
Управление отказами
Поддерживаемые процессы
управления
• управление проблемами
FMT – Fault Management
Управление производительностью
PMT – Performance Mgmt
Резервное копирование и восстановление
BRT – Backup and recovery
Управление конфигурациями
CFG – Configuration Management
Мониторинг приложений
APMT – Application Monitoring
Управление событиями
EMT – Event Management
Мониторинг серверов
SMT – Server Monitoring
Сетевой мониторинг
NMT – Network Monitoring
15
• управление конфигурациями
• управление проблемами
• управление изменениями
• управление изменениями
• управление качеством услуг
• управление доступностью
• управление конфигурациями
• управление проблемами
• управление изменениями
• управление событиями
• управление проблемами
• управление доступностью
• управление проблемами
• управление событиями
• управление доступностью
•
•
•
•
управление проблемами
управление событиями
управление изменениями
управление доступностью
• управление проблемами
• управление событиями
• управление доступностью

16. Информационные системы ОАО «РЖД»
Количество информационных систем ОАО «РЖД» около 800
Количество информационных систем ОАО «РЖД» около 800
из них для грузовых перевозок
около 500 (63%)
из них для грузовых перевозок
около 500 (63%)
Основные системы:
Основные системы:
● АСОУП (АС оперативного управления перевозками) -- Базовая система для обработки и хранения
● АСОУП (АС оперативного управления перевозками) Базовая система для обработки и хранения
всей поступающей информации из смежных систем
всей поступающей информации из смежных систем
● АС Этран (АС Электронная Транспортная Накладная) -- Система для оформления перевозочных
● АС Этран (АС Электронная Транспортная Накладная) Система для оформления перевозочных
документов на груз:
документов на груз:
● АСУСт (АС управления станциями) -- Система управления вагонными парками на станциях
● АСУСт (АС управления станциями) Система управления вагонными парками на станциях
● ГИД «Урал-ВНИИЖТ» (График исполненного движения поездов) -- Система для контроля за
● ГИД «Урал-ВНИИЖТ» (График исполненного движения поездов) Система для контроля за
продвижением поездов по диспетчерским участкам ОАО «РЖД»
продвижением поездов по диспетчерским участкам ОАО «РЖД»
● АРМ Терминал,
● АРМ Терминал,
● АРМ Терминал-Маршрут (АРМ Слежение),
● АРМ Терминал-Маршрут (АРМ Слежение),
● АРМ Терминал-Логист -- Системы, устанавливаемые у клиентов для контроля за продвижением
● АРМ Терминал-Логист Системы, устанавливаемые у клиентов для контроля за продвижением
их вагонов по сети ОАО «РЖД»
их вагонов по сети ОАО «РЖД»
АСУ Т (АСУ локомотивного хозяйства) -- Система управления локомотивным парком и
АСУ Т (АСУ локомотивного хозяйства) Система управления локомотивным парком и
бригадами
бригадами
АС ЭТД (Электронный документооборот) -- Система электронного документооборота между
АС ЭТД (Электронный документооборот) Система электронного документооборота между
подразделениями ОАО «РЖД» и между клиентом и ОАО «РЖД»
подразделениями ОАО «РЖД» и между клиентом и ОАО «РЖД»
16

17. Автоматизированная система
оперативного управления перевозками
Система АСОУП – это базовая система АСУЖТ в области
управления перевозочным процессом.
На ее разработку ушло более 6000челлет работы
программистов.
Сегодня в состав АСОУП входит более 6000 программ, около
150 томов технической документации.
К системе АСОУП (16 в России, 15 в ближнем зарубежье)
подключено более 25 тыс. абонентов.
В среднем за сутки пользователям системы передается более
1млн. Сообщений.
В единую дорожно-сетевую базу данных АСОУП-2,
реализованную на СУБД DB-2 IBM, входят динамические модели:
поездная, вагонная, локомотивная, бригадная, контейнерная,
отправочная, модель заявок.
Архитектура системы АСОУП построена по модульному
принципу. Система работает на платформе mainframe.
17

18. Архитектура АСОУП
Сетевой
уровень
БД
Серверы
приложений
Репликации НСИ
ЖД 1
Дорожный
уровень
Сервер приложений (WebSphere)
БД
DB2
Обработка данных:
EJB
Линейный
уровень
БД
DB2
Представление данных:
MQ-Series SOAP,IIOP
Станция
отправления
ЖД 2
Серверы
приложений
HTML
Станция
перехода
Станция
назначения
Базы данных идентичной структуры на DB2 на IBM-Z10. Идентичные серверы приложений в среде WebSphere Application Server (в
сетевых дополнительные модули) на разных платформах, в первую очередь на IBM-Z10. В нормальном режиме все БД
синхронизированы. Сетевая БД хранит всю информацию; дорожные, - по объектам, затрагивающим дорогу.
Прикладная система обращается к серверу приложений по одному из предоставляемых им стандартных протоколов в соответствии с
описанием операций классов; АРМ – через HTML или 3270. Сервер приложений обращается к дорожной БД ( при междорожных
операциях также к сетевой БД) при контроле и записывает информацию в дорожную, сетевую и, при междорожной операции, в другую
18 дорожную БД. Транзакционный механизм – JTS.

19. Схема информационного взаимодействия АСУ ОЦ
АСОУП
АРМ тех.конторы
АРМ ДСП
•приём сообщения 1042
из АСОУП (подход)
•передача
сообщений
1042 об операциях с
поездом и локомотивом
в АСОУП
•передача
сообщений
об изменении номера,
индекса поезда
•приём сообщения 6042
из АРМ ТК
краткие
сведения о поезде
•передачу
всех
сообщений в сервер
АСКУПР
•приём сообщения 02 из
АСОУП
•приём сообщения 7042 из
АРМ ДСП о занятии пути
•приём сообщения 6005 из
АРМ ТВК о погруженных
вагонах
•прием сообщения 6024 из
АРМ ПС об убранных от
клиента вагонах
•прием сообщения 6002 из
АРМ ДСЦ о сформированном
составе
•передача сообщения в АРМ
ТВК о вагонах прибывших на
станцию выгрузки
•передача
сообщения
02,
09,209 1397, в АСОУП
•передачу всех сообщений в
сервер АСКУПР
АРМ
приемосдатчика
•передача сообщения 501 в ТВК,
памятка о подаче и уборке
•передача
сообщений
о
подаче,выгрузке, уборке вагонов
в АСОУП (1397.242)
•передачу всех сообщений в
сервер АСКУПР
АРМ ДСЦ
•прием сообщения из АРМ ТК
(ТГНЛ)
на
поезда
в
расформирование.
•ведение
модели
путей
сортировочного парка
•передача сообщения в АРМ ТК
о завершении формирования
•передачу всех сообщений в
АСКУПР
Сервер АСУОЦ
Вагонная модель
Отправочная модель
Контейнерная модель
Поездная модель
модель
Модель подъездных
путей
АРМ товарного
кассира
•Передача сообщений 6005
в АРМ ТК о погруженных
вагонах
•приём сообщений из АРМ
ПС КП о погруженных
контейнерах
•приём сообщения из АРМ
ТК о вагонах прибывших
под выгрузку
•передача сообщений о
погруженных, выгруженных
вагонах (410, 242)
в
АСОУП,ЕК ИОДВ
•передачу всех сообщений
в сервер АСКУПР
АРМ приемосдатчика
контейнерной
площадки
•прием сообщения 6001 из
АРМ ТВК, накладная
•передача сообщения в
ТВК, подтверждение
отправки
•передача
сообщений
421,422,423 в АСОУП
•передачу всех сообщений в
сервер АСКУПР

20. СПАСИБО ЗА ВНИМ
АНИЕ !

21. СПАСИБО ЗА ВНИМ
АНИЕ !

22. ПРОЕКТИРУЕМАЯ СИСТЕМА
• Система предназначена для обеспечения бесперебойности и
требуемого качества технологических и производственных процессов
на всех объектах ЦОД Заказчика.
• Система должна обеспечить сбор и анализ данных по загрузке
серверного оборудования, предоставить данные по использованию
программного обеспечения, обеспечить сбор и анализ данных по
производительности компонент СХД и коммутационного
оборудования, анализ виртуальной инфраструктуры.
• Система также должна помочь оптимизировать затраты на
эксплуатацию телекоммуникационной инфраструктуры и при
интеграции с существующей системой IBM Tivoli снизить потери и
издержки на эксплуатацию
• На основе проведённого анализа рынка предлагается в качестве
системы сбора и анализа производительности использовать ПО
EMC w4net.

23. Связка EMC W4NET и IBM Tivoli
Обеспечивает комплексное решение по управлению
производительностью ИТ-инфраструктуры, являясь ключевым
компонентом системы поддержки эксплуатации (OSS).
W4NET в состоянии собирать информацию из любых источников,
которые поддерживают экспорт данных. Базовая функциональность
W4NET включает: анализ SLA; анализ трендов; прогнозирование
критической загрузки оборудования; поиск повторяющихся событий,
требующих внимания со стороны обслуживающего персонала.
W4NET позволяет анализировать транзакции приложений, время
отклика БД – практически любые параметры производительности ИТ
инфраструктуры. Система W4NET гибка в настройке, обладает
дружественным интерфейсом и характеризуется высокой
производительностью. Имеется встроенный графический редактор
отчётов. Встроенный редактор формул позволяет формировать сложные
параметры производительности KQI, состоящие из простых KPI.

24. Планирование мощности.
Интеграция с ПО IBM Tivoli.
Система ЕМС W4NET позволяет осуществлять прогнозирование любой
степени сложности. В качестве базовых функций могут быть
использованы функции линейная, полиномиальная, метод скользящего
среднего, можно задавать собственный вид функции.
Интеграция с существующей системой мониторинга позволит вести
статистическую базу по всем мгновенным параметрам
производительности, собираемым Tivoli. Кроме того, возможно
осуществлять сбор информации о времени возникновения и
длительности аварийного события и осуществлять визуализацию его
путём наложения на график статистики. Основная цель – понять, как
событие могло воздействовать на производительность того или иного
компонента или инфраструктуры в целом.

25. Выводы
Использование комбинации ПО ЕМС W4NET и IBM Tivoli
позволит осуществлять не только осуществлять полный
контроль над состоянием всех компонент ЦОД, но и:
- предоставлять отчётность в автоматическом режиме о
текущей загрузке всех систем ИВЦ;
- предоставлять отчёт о прогнозировании загрузки ресурсов;
- предоставлять предупреждения о перегрузке (в том числе
предстоящей) ресурсов;
Комбинация данных систем позволит инициировать и начать
развитие концепции CSI (Continuous Service Improvement) –
постоянное улучшение сервиса. То есть анализ поведения
того или иного компонента ИВЦ, оптимизация его поведения

26. СПАСИБО ЗА ВНИМ
АНИЕ !