Все enterprise-решения имеют свою специфику и отличаются весьма щепетильным подходом к эксплуатации. Но иногда возникает необходимость тиражировать их с минимальными усилиями. Нам в Яндексе понадобилось создать множество тестовых сред с продуктами Oracle. Для облегчения этой задачи мы виртуализовали их в приватном облаке OpenStack. В докладе пойдёт речь об этом опыте: с какими проблемами пришлось столкнуться и как мы будем использовать в дальнейшем полученные знания.

2. OpenStack & Oracle —
взболтать, но не смешивать
Филимонцев Сергей

3. О чём мой доклад
Фин. сервисы Яндекса и Oracle
Что такое OpenStack
Как приготовить в нём Oracle
3

4. Зачем нам OpenStack

5. Финансовые сервисы
5

6. Финансовые сервисы
Исключительные требования к системе
5

7. Финансовые сервисы
Исключительные требования к системе
Используем различные продукты Oracle
5

8. OEBS
6

9. OEBS
OEBS — ERP-система
6

10. OEBS
OEBS — ERP-система
OEBS активно растёт — за три года:
6

11. OEBS
OEBS — ERP-система
OEBS активно растёт — за три года:
–Данные × 5 = 1,5 TB
6

12. OEBS
OEBS — ERP-система
OEBS активно растёт — за три года:
–Данные × 5 = 1,5 TB
–Пользователи × 50 = 1500
6

13. OEBS
OEBS — ERP-система
OEBS активно растёт — за три года:
–Данные × 5 = 1,5 TB
–Пользователи × 50 = 1500
Активная разработка — активное тестирование
6

14. Тестовые среды
7

15. Тестовые среды
7
Разработка

16. Тестовые среды
7
Разработка
Тестирование

17. Тестовые среды
7
Разработка
Тестирование
–функциональное

18. Тестовые среды
7
Разработка
Тестирование
–функциональное
–миграционное

19. Тестовые среды
7
Разработка
Тестирование
–функциональное
–миграционное
–пользовательское

20. Тестовые среды
7
Разработка
Тестирование
–функциональное
–миграционное
–пользовательское
Документирование

21. Тестовые среды
7
Разработка
Тестирование
–функциональное
–миграционное
–пользовательское
Документирование
Обучение

22. Конфигурация тестовой среды
8

23. 6 серверов: 2 × Xeon 5530; 48GB RAM
2 дисковые полки: 24 × 2TB SATA
Конфигурация тестовой среды
8

24. 6 серверов: 2 × Xeon 5530; 48GB RAM
2 дисковые полки: 24 × 2TB SATA
Конфигурация тестовой среды
8
iSCSI-target iSCSI-target

25. 6 серверов: 2 × Xeon 5530; 48GB RAM
2 дисковые полки: 24 × 2TB SATA
Конфигурация тестовой среды
8
Oracle ASM iSCSI-target iSCSI-target

26. 6 серверов: 2 × Xeon 5530; 48GB RAM
2 дисковые полки: 24 × 2TB SATA
Конфигурация тестовой среды
8
Oracle DB EE Oracle DB EE
Oracle ASM iSCSI-target iSCSI-target

27. 6 серверов: 2 × Xeon 5530; 48GB RAM
2 дисковые полки: 24 × 2TB SATA
Конфигурация тестовой среды
8
Oracle RAC Oracle DB EE Oracle DB EE
Oracle ASM iSCSI-target iSCSI-target

28. 6 серверов: 2 × Xeon 5530; 48GB RAM
2 дисковые полки: 24 × 2TB SATA
Конфигурация тестовой среды
8
Oracle RAC Oracle DB EE Oracle DB EE
Appl Appl
Oracle ASM iSCSI-target iSCSI-target

29. 6 серверов: 2 × Xeon 5530; 48GB RAM
2 дисковые полки: 24 × 2TB SATA
OEBS
Конфигурация тестовой среды
8
Oracle RAC Oracle DB EE Oracle DB EE
Appl Appl
Oracle ASM iSCSI-target iSCSI-target

30. Сон админа тревожен и краток
9

31. Сон админа тревожен и краток
9
OS config Oracle patches OEBS restore adconfig

32. Сон админа тревожен и краток
9
OS config Oracle patches OEBS restore adconfig
администрирование
сон*

33. Задача от разработки
10

34. Задача от разработки
10
Параллельное внедрение 4 модулей OEBS

35. Задача от разработки
10
Параллельное внедрение 4 модулей OEBS
Требуется 20 тестовых сред

36. Задача от разработки
10
Параллельное внедрение 4 модулей OEBS
Требуется 20 тестовых сред
≈Админо-месяц

37. «Запомни: лучше день потерять, потом за
пять минут долететь!»
11
Крылья, ноги и хвосты
ТО «Экран», 1986

38. New age with cloud
12

39. New age with cloud
Унификация аппаратного обеспечения
12

40. New age with cloud
Унификация аппаратного обеспечения
Более полная утилизация ресурсов
12

41. New age with cloud
Унификация аппаратного обеспечения
Более полная утилизация ресурсов
Создание сред «on-demand»
12

42. New age with cloud
Унификация аппаратного обеспечения
Более полная утилизация ресурсов
Создание сред «on-demand»
Онлайн миграция между серверами
12

43. Что такое OpenStack

44. OpenStack — IaaS provider
14

45. OpenStack — IaaS provider
Управляет ресурсами:
14

46. OpenStack — IaaS provider
Управляет ресурсами:
–Сервера: CPU, RAM, HDD
14

47. OpenStack — IaaS provider
Управляет ресурсами:
–Сервера: CPU, RAM, HDD
–Сеть: VLAN, CIDR
14

48. OpenStack — IaaS provider
Управляет ресурсами:
–Сервера: CPU, RAM, HDD
–Сеть: VLAN, CIDR
–Образы VM
14

49. OpenStack — IaaS provider
Управляет ресурсами:
–Сервера: CPU, RAM, HDD
–Сеть: VLAN, CIDR
–Образы VM
Запускает VM
14

50. OpenStack — IaaS provider
Управляет ресурсами:
–Сервера: CPU, RAM, HDD
–Сеть: VLAN, CIDR
–Образы VM
Запускает VM
Предоставляет *aaS
14

51. OpenStack — IaaS provider
Управляет ресурсами:
–Сервера: CPU, RAM, HDD
–Сеть: VLAN, CIDR
–Образы VM
Запускает VM
Предоставляет *aaS
Разграничивает доступы
14

52. Когда использовать OpenStack?
15

53. Когда использовать OpenStack?
Нужны виртуальные машины
15

54. Когда использовать OpenStack?
Нужны виртуальные машины
–VM нужны в количестве больше 5
15

55. Когда использовать OpenStack?
Нужны виртуальные машины
–VM нужны в количестве больше 5
–VM работают на нескольких серверах
15

56. Когда использовать OpenStack?
Нужны виртуальные машины
–VM нужны в количестве больше 5
–VM работают на нескольких серверах
Провайдер VM
15

57. Попробовать OpenStack
16

58. Попробовать OpenStack
16
Официальная документация:
–docs.openstack.org

59. Попробовать OpenStack
16
Официальная документация:
–docs.openstack.org
Инструкции по установке от Bilel Msekni:
–bit.ly/yac2013_openstack_deploy

60. 17

61. BPDU
17

62. Quantum + OpenvSwitch + provider vlan
18

63. Compute-node
eth1
Quantum + OpenvSwitch + provider vlan
18

64. Compute-node
eth1
VM
eth0
Quantum + OpenvSwitch + provider vlan
18

65. Compute-node
eth1
VM
eth0
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
18

66. Compute-node
eth1
VM
eth0
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
18
magic

67. Compute-node
eth1
VM
eth0
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
18
magic

68. Compute-node
eth1
VM
eth0
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0 veth
18
magic

69. Compute-node
eth1
VM
eth0
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
VLAN:
veth
18
magic

70. Compute-node
eth1
VM
eth0
eth2 qbr1 vnet1
VM
eth0
eth1br-eth2
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
105
VLAN:
veth
18
magic

71. Compute-node
eth1
VM
eth0
eth2 qbr1 vnet1
VM
eth0
eth1br-eth2
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
105
VLAN:
veth
18
magic

72. Compute-node
eth1
VM
eth0
eth2 qbr1 vnet1
VM
eth0
eth1br-eth2
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
1
105
2
VLAN:
veth
18
magic

73. Compute-node
eth1
VM
eth0
eth2 qbr1 vnet1
VM
eth0
eth1br-eth2
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
1
105
2
VLAN:
veth
18
magic

74. Compute-node
eth1
VM
eth0
eth2 qbr1 vnet1
VM
eth0
eth1br-eth2
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
1
105
2
VLAN:
veth
18
magic

75. Compute-node
eth1
VM
eth0
eth2 qbr1 vnet1
VM
eth0
eth1br-eth2
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
1
105
2
VLAN:
veth
18
magic

76. Compute-node
eth1
VM
eth0
eth2 qbr1 vnet1
VM
eth0
eth1br-eth2
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
1
105
2
VLAN:
veth
18
magic

77. Compute-node
eth1
VM
eth0
eth2 qbr1 vnet1
VM
eth0
eth1br-eth2
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
1
105
2
VLAN:
veth
18
magic

78. Compute-node
eth1
VM
eth0
eth2 qbr1 vnet1
VM
eth0
eth1br-eth2
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
1
105
2
VLAN:
veth
18
magic

79. Compute-node
eth1
VM
eth0
eth2 qbr1 vnet1
VM
eth0
eth1br-eth2
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
1
105
2
VLAN:
veth
18
magic

80. Compute-node
eth1
VM
eth0
eth2 qbr1 vnet1
VM
eth0
eth1br-eth2
Quantum + OpenvSwitch + provider vlan
br-eth1
br-int
qbr0 vnet0
103
1
105
2
VLAN:
veth
18
magic
/etc/default/openvswitch-switch:
OVS_RESTART_SAVE_FLOWS=yes

81. Enterprise Oracle
в OpenStack
Shaken, not stirred

82. Oracle в OpenStack OOB
20

83. Oracle в OpenStack OOB
20
OEBS
RAC DB DB
APPL APPL
ASM iSCSI iSCSI

84. OEBS
Oracle в OpenStack OOB
20
OEBS
RAC DB DB
APPL APPL
ASM iSCSI iSCSI
DB
APPL

85. Oracle в OpenStack OOB
20
OEBS
RAC DB DB
APPL APPL
ASM iSCSI iSCSI
OEBS
DB
APPL
☣‎

86. Oracle в OpenStack OOB
Jumbo Frames
20
OEBS
RAC DB DB
APPL APPL
ASM iSCSI iSCSI
OEBS
DB
APPL
☣‎

87. Oracle в OpenStack OOB
Jumbo Frames
Shared network interface
20
OEBS
RAC DB DB
APPL APPL
ASM iSCSI iSCSI
OEBS
DB
APPL
☣‎

88. Oracle в OpenStack OOB
Jumbo Frames
Shared network interface
Security & Firewall
20
OEBS
RAC DB DB
APPL APPL
ASM iSCSI iSCSI
OEBS
DB
APPL
☣‎

89. Jumbo Frames
21

90. Jumbo Frames
Default MTU not modifiable
21

91. Jumbo Frames
Default MTU not modifiable
LinuxBridge (fixed in Grizzly):
–bit.ly/yac2013_openstack_br_fix
OpenvSwitch (fixed in Havana):
–bit.ly/yac2013_openstack_ovs_fix
21

92. Shared network interface
22

93. Shared network interface
22
br-eth2
eth2
trunk

94. Shared network interface
22
br-eth2
eth2
trunk
eth2.105

95. Shared network interface
ovs-vsctl
! ! add-port br-eth2 eth2.105 tag=105 --
! ! set interface eth2.105 type=internal
22
br-eth2
eth2
trunk
eth2.105

96. Shared network interface
ovs-vsctl
! ! add-port br-eth2 eth2.105 tag=105 --
! ! set interface eth2.105 type=internal
22
ip addr add … dev eth2.105
ip link set eth2.105 up
ip route add …/… dev eth2.105
br-eth2
eth2
trunk
eth2.105

97. Security
23

98. Security
Oracle RAC:
23

99. Security
Oracle RAC:
virtual interfaces
23

100. Security
Oracle RAC:
virtual interfaces
169.254.0.0/16
23

101. Security
Oracle RAC:
virtual interfaces
169.254.0.0/16
interconnect multicast UDP
23

102. Security
Oracle RAC:
virtual interfaces
169.254.0.0/16
interconnect multicast UDP
Disable firewall
23

103. Security
Oracle RAC:
virtual interfaces
169.254.0.0/16
interconnect multicast UDP
Disable firewall
23
OpenStack security:

104. Security
Oracle RAC:
virtual interfaces
169.254.0.0/16
interconnect multicast UDP
Disable firewall
23
OpenStack security:
ebtables

105. Security
Oracle RAC:
virtual interfaces
169.254.0.0/16
interconnect multicast UDP
Disable firewall
23
OpenStack security:
ebtables
iptables

106. Security
Oracle RAC:
virtual interfaces
169.254.0.0/16
interconnect multicast UDP
Disable firewall
23
OpenStack security:
ebtables
iptables
spoof-protection:

107. Security
Oracle RAC:
virtual interfaces
169.254.0.0/16
interconnect multicast UDP
Disable firewall
23
OpenStack security:
ebtables
iptables
spoof-protection:
MAC, IP, ARP

108. Firewall disabling
24

109. Firewall disabling
virsh nwfilter-edit nova-base
24

110. Firewall disabling
virsh nwfilter-edit nova-base
firewall_driver
24

111. Firewall disabling
virsh nwfilter-edit nova-base
firewall_driver
/etc/nova/nova.conf:
24

112. Firewall disabling
virsh nwfilter-edit nova-base
firewall_driver
/etc/nova/nova.conf:
nova.virt.firewall.NoopFirewallDriver
24

113. Firewall disabling
virsh nwfilter-edit nova-base
firewall_driver
/etc/nova/nova.conf:
nova.virt.firewall.NoopFirewallDriver
/etc/quantum/plugins/…/…ini:
24

114. Firewall disabling
virsh nwfilter-edit nova-base
firewall_driver
/etc/nova/nova.conf:
nova.virt.firewall.NoopFirewallDriver
/etc/quantum/plugins/…/…ini:
quantum.agent.firewall.NoopFirewallDriver
24

115. Заключение
Результаты и взгляд в будущее

116. Что у нас получилось
26

117. Что у нас получилось
Proof of concept… success!
26

118. Что у нас получилось
Proof of concept… success!
Два облака, десятки серверов
26

119. Что у нас получилось
Proof of concept… success!
Два облака, десятки серверов
Подготовка среды занимает админо-минуту
26

120. Что у нас получилось
Proof of concept… success!
Два облака, десятки серверов
Подготовка среды занимает админо-минуту
–30 тестовых сред Oracle
–20 прочих ВМ
26

121. Будущее
27

122. Будущее
17 октября 2013 — Havana Release (2013.2)
–Quantum ➡ Neutron
27

123. Будущее
17 октября 2013 — Havana Release (2013.2)
–Quantum ➡ Neutron
* as a Services:
27

124. Будущее
17 октября 2013 — Havana Release (2013.2)
–Quantum ➡ Neutron
* as a Services:
–FWaaS
27

125. Будущее
17 октября 2013 — Havana Release (2013.2)
–Quantum ➡ Neutron
* as a Services:
–FWaaS
–LBaaS
27

126. Будущее
17 октября 2013 — Havana Release (2013.2)
–Quantum ➡ Neutron
* as a Services:
–FWaaS
–LBaaS
–DNSaaS
27

127. Будущее
17 октября 2013 — Havana Release (2013.2)
–Quantum ➡ Neutron
* as a Services:
–FWaaS
–LBaaS
–DNSaaS
–MySQLaaS
27

128. Спасибо за внимание

129. 29
Сергей Филимонцев
Системный
администратор
+7
926
573-­‐41-­‐01
askort@yandex-team.ru
twi0er.com/troksa
;.com/sfilimontsev