Доклад Валерия Костенко, МГУ им. М.В. Ломоносова, на семинаре "Технологии программно-конфигурируемых сетей в научной и образовательной среде"

1. ЗАДАЧА РАСПРЕДЕЛЕНИЯ РЕСУРСОВ
ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ И
АЛГОРИТМЫ ЕЕ РЕШЕНИЯ
Костенко Валерий Алексеевич
kost@cs.msu.su

2. Модель обслуживания IaaS (Infrastructure-as-a-Service)
Загрузка физических ресурсов ЦОД 20-30%
Приемлемы простые алгоритмы распределения ресурсов:
• «назначение запроса на первый подходящий ресурс»
• «выбор случайным образом физического ресурса из
множества подходящих ресурсов»
Виртуализация, облачные вычисления → загрузка 70-90%
• отображение виртуальных машин на вычислительные
модули ЦОД,
• отображение storage-элементов на хранилища данных
ЦОД,
• отображение виртуальных каналов на физические ресурсы
сети обмена ЦОД.

3. Модель физических ресурсов ЦОД
Модель физических ресурсов:
• Р – множество вычислительных узлов, vh(p)
• М – множество хранилищ данных, uh(m), type(m)
• К – множество коммутационных элементов сети
обмена,
• L – множество физических каналов передачи
данных, rh(l)
),( LKMPH ∪∪=
)(khτ

4. Топология сети обмена ЦОД fattree

5. Модель запроса
Модель запроса:
• W – множество виртуальных машин реализующих
приложения, v(w)
• S – множество storage-элементов, u(s), type(s)
• E – множество виртуальных каналов, r(e)
Запросы могут быть двух типов:
• слабосвязный:
• сильносвязный:
),( ESWG ∪=
)]),}{,}[({ 11 ∅=== ESW K
jj
N
ii
)}]}{,}{{(),}{,}[({ 1
'
1
'
11
K
jj
N
ii
K
jj
N
ii SSWWESW ==== ⊂⊂=

6. Размещение элементов запроса на физические
ресурсы ЦОД
Размещением запроса будем называть отображение
которое удовлетворяет ограничениям:
)()( pvhwv
pWw
≤∑∈
}},{,,{: LKEMSPWHGA →→→=→
)()( lrher
lEe
≤∑∈
)()( kher
kEe
τ≤∑∈
)()( muhsu
mSs
≤∑∈
)()(: mtypestypeSs m =∈∀

7. Репликация и остаточный граф сети
Репликация :
дублирует данные хранилища m в m’
и создается канал поддержания консистентности:
Остаточный граф ресурсов сети Hres:
• для него переопределены функции: vh(p), uh(m),
type(m) , rh(l), .
∑∈
−=
pWw
res wvpvhpvh )()()(
)(khτ
HHR →:
MmLlKkmlkklm iinn ∈∈∈− ',,);,,,,,,'( 111 

8. Задача распределения ресурсов
Дано:
• Множество запросов: Z = {(Gi,Ti)} .
• Остаточный граф ресурсов ЦОД: Hres.
Требуется:
• из множества Z разместить на выполнение в ЦОД
максимальное число запросов. При это должны
выполняться требования SLA.

9. Задача
Выделение
вычислительны
х ресурсов как
типа ресурсов
Выделение
хранилищ
данных как
типа
ресурсов
Выделение
коммутирующих
устройств как
типа ресурсов
Возможность
прокладки
виртуальных
каналов
Возможность
репликации
storage-эл.
Возможность
миграции
Application
Placement on a
Cluster of
Servers
+ - - - - -
Cloud Storage
and Online Bin
Packing
- + - - - -
Efficient
Resource
Scheduling in
Data Centers
using MRIS
+ + + - - -
Разработанные
алгоритмы
+ + + + + +

10. Алгоритмы распределения ресурсов ЦОД
• Алгоритмы сочетающие жадные стратегии и
стратегии ограниченного перебора:
– для ЦОД с единым планировщиком для всех типов
ресурсов,
– для ЦОД с раздельными планировщиками для
каждого типа ресурсов.
• Алгоритм, основанный на схеме муравьиных
колоний.

11. Алгоритмы сочетающие жадные стратегии и
стратегии ограниченного перебора
Выбор запроса (k1)
Выбор элемента запроса (k2)
Построение мн. допустимых физ. ресурсов (А) в
соответствии с SLA для размещения элемента
А=0
Разместить запрос и
изменить HRES
Выбор физ. ресурса (k3)
эл.∈S
Вызов проц. репликации
Успеш. зав.
Вызов процедуры
ограниченного перебора
Разместить «реплику» и
изменить HRES
нет да
да
да
нет
нет

12. Ограниченный перебор
О.4
0.3
0.5
0.2
0.3
0.5
0.2
0.4
0.4
0.1
0.1
M1 M2 M3

13. Алгоритм, основанный на схеме
муравьиных колоний
• Муравьиный алгоритм для отображения
виртуальных машин и storage-элементов на
вычислительные узлы и хранилища данных.
• Алгоритм нахождения кратчайшего пути для
отображения виртуальных каналов на
физические ресурсы сети обмена ЦОД.

14. Муравьиные алгоритмы
( )
( )( ) ( )( )
( )( ) ( )( )







∈
∉
⋅
⋅
= ∑
∈
k
k
Jl
ilil
ijij
kij
Lj
Lj
tt
tt
tP
k
,0
,
,
βα
βα
ητ
ητ
ii
j
( ) ( ) ( ) ( )∑
=
∆+⋅−=+
m
k
kijijij ttpt
1
,11 τττ
( )
( )( ) ( ) ( )
( ) ( )


∉
∈
=∆
tTji
tTjitTF
t
k
kk
kij
,,0
,,
,τ

15. Результаты исследования свойств алгоритмов
• Алгоритм с общим планировщиком имеет лучшую точность
когда критическим ресурсом является сеть обмена ЦОД.
• Алгоритм с раздельными планировщиками имеет лучшую
точность когда критическими ресурсами являются ВМ и
хранилища данных.
• Эффективность применения репликации растет:
– с ростом загрузки сети обмена ЦОД,
– с уменьшением значения "пропускная способность
канала для поддержания консистентности "/"суммарная
пропускная способность каналов БД - виртуальные
машины"

16. 0
5
10
15
20
25
0 0,2 0,4 0,6 0,8 1
Загрузка сети
Количествоназначенных
запросов
без репликации
с репликацией