OpenStack изнутри
Евгений Потапов
Евгений Потапов
10 лет опыта веб-разработки
5 лет опыта использования облачных
технологий
генеральный директор компании
«С...
Стартовали в 2008 году в Иркутске
Поддержка высоконагруженных веб-сайтов
140 миллионов посетителей в сутки
1000+ серверов ...
внутренние задачи
внутренние задачи
тестирование failover-планов
(быстро переключились на резервную архитектуру)
развертывание бэкапов
(нака...
удобно и просто
(не залезая в консоль можно сделать виртуалку, использовать и удалить)
о парке хост-машин думать не надо
(...
на самом деле
нужно следить за AWS постоянно
закончил таск – выключи инстанс
(AWS – дорогая штука при оплате за месяц)
раб...
а может ?
о нем много говорят
(большое комьюнити, будет нормальная поддержка)
навсегда забыть об остановках инстансов
ради...
Не специализируемся на OpenStack
Личный опыт (+опыт друзей и коллег)
Доклад на стыке системного
администрирования и менедж...
OpenStack - структура
http://www.openstack.org/software/
“The diagram below, illustrates the most common
architecture of an OpenStack-based cloud”
http://www.solinea.com/blog/open...
OpenStack - структура
Nova – контроллер виртуализации
Neutron (Quantum) – управление сетевой
инфраструктурой
Cinder – упра...
OpenStack - структура
http://ilearnstack.com/tag/openstack/
OpenStack Nova
Nova – контроллер виртуализации
Службы Nova:
API – интерфейс к Nova
AMPQ – служба очередей
Compute – взаимо...
OpenStack Nova
OpenStack Nova
1. Запрос на создание инстанса приходит в
Nova API
2. Nova API записывает в очередь запрос к
Nova Scheduler...
OpenStack Nova
OpenStack Nova
5. Nova Compute получает из очереди запрос
о том что надо получить инстанс.
6. …но Nova Compute не знает о ...
OpenStack Nova
OpenStack Nova
8. Nova Conductor делает запрос в БД о
свойствах инстанса и отдает в очередь ответ
с информацией о свойства...
OpenStack Nova
OpenStack Nova
БД – MySQL
Очередь – QIPD или RabbitMQ
7 демонов
те или иные ошибки возникают регулярно
OpenStack Nova
«Race condition возникает в момент запуска и
одновременного с этим удаления инстанса,
если на инстансы назн...
OpenStack Nova
«Невозможно запустить инстанс, если
существуют несколько security group с одним
и тем же именем (например, ...
OpenStack Nova
«Инстансы в состоянии suspend нельзя
вывести из этого состояния после
перезагрузки host-машины»
- “My lesso...
https://twitter.com/lusis/status/436697765679468544
Neutron
«Neutron это система для управления сетями и IP
адресами».
«Neutron позволяет вам быть уверенным в том, что
сеть –...
Neutron
http://openstack.redhat.com/Netw
orking_in_too_much_detail
Neutron
1. Виртуальная машина получает информацию об IP-
адресе своего интерфейса по DHCP (об этом позже)
[itsumma@cloud ~...
Neutron
2. Сетевой интерфейс виртуальной машины
соединяется с TAP-устройством хост-машины
Neutron
3. На TAP-девайс, связанный с данной виртуальной
машиной, навешаны iptables чейны, в которых
прописаны правила наз...
Neutron
4. TAP-девайс соединен с интерфейсом br-int,
реализованном через Open vSwitch.
«Open vSwitch – программный многоур...
Neutron
5. Интерфейс br-int соединяется с интерфейсом br-ext,
который уже доступен хост-машине, но это не все 
Neutron
6. DHCP на виртуальные машины раздается через
приложение dnsmasq, работающее внутри network
namespace – службы lin...
Neutron
[root@openstack itsumma]# ip netns exec qrouter-89f090d0-aa1e-4189-bfd8-
b8381de2cc97 iptables -t nat -S
-A neutro...
Хватит безумия, выводы
На развертывание системы с нуля уходит от двух
недель до двух месяцев
На хостинге должна быть возмо...
Евгений Потапов
http://itsumma.ru
eapotapov@itsumma.ru
http://twitter.com/eapotapov
OpenStack изнутри
Евгений Потапов (Сумма Айти)
Евгений Потапов (Сумма Айти)
Upcoming SlideShare
Loading in...5
×

Евгений Потапов (Сумма Айти)

1,125

Published on

Published in: Internet
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,125
On Slideshare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
8
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Евгений Потапов (Сумма Айти)

  1. 1. OpenStack изнутри Евгений Потапов
  2. 2. Евгений Потапов 10 лет опыта веб-разработки 5 лет опыта использования облачных технологий генеральный директор компании «Сумма АйТи»
  3. 3. Стартовали в 2008 году в Иркутске Поддержка высоконагруженных веб-сайтов 140 миллионов посетителей в сутки 1000+ серверов на поддержке 40 специалистов
  4. 4. внутренние задачи
  5. 5. внутренние задачи тестирование failover-планов (быстро переключились на резервную архитектуру) развертывание бэкапов (накатили свежий бэкап и убедились что он работает) тестирование новых версий ПО (выкатили новую версию и убедились что она не падает) тестирование новых решений (mongo db is web scale) разработка внутренних проектов (доработки мониторинга, машины для девелоперов и тд)
  6. 6. удобно и просто (не залезая в консоль можно сделать виртуалку, использовать и удалить) о парке хост-машин думать не надо (не нужно думать о том что на хост-машине может полететь рейд-массив) что используем за то и платим (платим только за то, что используем) +
  7. 7. на самом деле нужно следить за AWS постоянно закончил таск – выключи инстанс (AWS – дорогая штука при оплате за месяц) работа на паузе – останови инстанс (не дай бог что-то было в ephemeral) надо что-то запустить – дважды подумай (может не стоит запускать эту фигню на две недели на m1.xlarge?) -
  8. 8. а может ? о нем много говорят (большое комьюнити, будет нормальная поддержка) навсегда забыть об остановках инстансов ради экономии при этом также удобно как AWS (пусть себе работает до тех пор пока не потребуются ресурсы) вообще в целом - дешевле (на hetzner Xeon E5-1650 64GB RAM стоит 99 евро) да и просто интересно (тренды нужно знать)
  9. 9. Не специализируемся на OpenStack Личный опыт (+опыт друзей и коллег) Доклад на стыке системного администрирования и менеджмента, но есть хардкор 
  10. 10. OpenStack - структура http://www.openstack.org/software/
  11. 11. “The diagram below, illustrates the most common architecture of an OpenStack-based cloud” http://www.solinea.com/blog/openstack-grizzly-architecture-revisited
  12. 12. OpenStack - структура Nova – контроллер виртуализации Neutron (Quantum) – управление сетевой инфраструктурой Cinder – управление дисковой инфраструктурой Glance – управление образами Keystone – служба идентификации Horizon – Dashboard
  13. 13. OpenStack - структура http://ilearnstack.com/tag/openstack/
  14. 14. OpenStack Nova Nova – контроллер виртуализации Службы Nova: API – интерфейс к Nova AMPQ – служба очередей Compute – взаимодействие с гипервизором Conductor – интерфейс взаимодействия с БД для Compute Scheduler – выбор узла для выполнения запроса из очереди
  15. 15. OpenStack Nova
  16. 16. OpenStack Nova 1. Запрос на создание инстанса приходит в Nova API 2. Nova API записывает в очередь запрос к Nova Scheduler о том, что надо выполнить такой запрос 3. Nova Scheduler получает запрос из очереди, выбирает узел на котором надо выполнить запрос. 4. Nova Scheduler шлет запрос в очередь для Nova Compute о том, что надо запустить инстанс
  17. 17. OpenStack Nova
  18. 18. OpenStack Nova 5. Nova Compute получает из очереди запрос о том что надо получить инстанс. 6. …но Nova Compute не знает о том, какие у инстанса параметры – так как с параметрами в базе общается Nova Conductor 7. Nova Compute отправляет запрос в очередь к Nova Conductor о том что надо получить параметры инстанса
  19. 19. OpenStack Nova
  20. 20. OpenStack Nova 8. Nova Conductor делает запрос в БД о свойствах инстанса и отдает в очередь ответ с информацией о свойствах запускаемого инстанса 9.Nova Compute запускает инстанс с заданными свойствами.
  21. 21. OpenStack Nova
  22. 22. OpenStack Nova БД – MySQL Очередь – QIPD или RabbitMQ 7 демонов те или иные ошибки возникают регулярно
  23. 23. OpenStack Nova «Race condition возникает в момент запуска и одновременного с этим удаления инстанса, если на инстансы назначена одна и та же security group» https://bugs.launchpad.net/nova/+bug/1202449
  24. 24. OpenStack Nova «Невозможно запустить инстанс, если существуют несколько security group с одним и тем же именем (например, в других проектах), и эта security group назначена на этот инстанс» https://bugs.launchpad.net/nova/+bug/1203413
  25. 25. OpenStack Nova «Инстансы в состоянии suspend нельзя вывести из этого состояния после перезагрузки host-машины» - “My lessons learned are: NEVER PUT YOUR INSTANCE IN SUSPEND STATE!!!” https://bugs.launchpad.net/nova/+bug/1052 696
  26. 26. https://twitter.com/lusis/status/436697765679468544
  27. 27. Neutron «Neutron это система для управления сетями и IP адресами». «Neutron позволяет вам быть уверенным в том, что сеть – не будет узким местом или лимитирующим фактором в вашей облачной среде» http://en.wikipedia.org/wiki/OpenStack
  28. 28. Neutron http://openstack.redhat.com/Netw orking_in_too_much_detail
  29. 29. Neutron 1. Виртуальная машина получает информацию об IP- адресе своего интерфейса по DHCP (об этом позже) [itsumma@cloud ~]$ cat /etc/sysconfig/network- scripts/ifcfg-eth0 DEVICE=eth0 BOOTPROTO=dhcp ONBOOT=yes пусть, назначен адрес 10.0.0.12
  30. 30. Neutron 2. Сетевой интерфейс виртуальной машины соединяется с TAP-устройством хост-машины
  31. 31. Neutron 3. На TAP-девайс, связанный с данной виртуальной машиной, навешаны iptables чейны, в которых прописаны правила назначенной на машину секьюрити-группы
  32. 32. Neutron 4. TAP-девайс соединен с интерфейсом br-int, реализованном через Open vSwitch. «Open vSwitch – программный многоуровневый коммутатор с открытым исходным кодом, предназначенный для работы в гипервизорах и на компьютерах с виртуальными машинами» http://openvswitch.org/
  33. 33. Neutron 5. Интерфейс br-int соединяется с интерфейсом br-ext, который уже доступен хост-машине, но это не все 
  34. 34. Neutron 6. DHCP на виртуальные машины раздается через приложение dnsmasq, работающее внутри network namespace – службы linux, которая позволяет запустить собственный сетевой стэк для группы процессов
  35. 35. Neutron [root@openstack itsumma]# ip netns exec qrouter-89f090d0-aa1e-4189-bfd8- b8381de2cc97 iptables -t nat -S -A neutron-l3-agent-OUTPUT -d x.x.x.126/32 -j DNAT --to-destination 10.0.0.16 -A neutron-l3-agent-OUTPUT -d x.x.x.123/32 -j DNAT --to-destination 10.0.0.18 -A neutron-l3-agent-OUTPUT -d x.x.x.245/32 -j DNAT --to-destination 10.0.0.13 -A neutron-l3-agent-OUTPUT -d x.x.x.124/32 -j DNAT --to-destination 10.0.0.19 -A neutron-l3-agent-OUTPUT -d x.x.x.244/32 -j DNAT --to-destination 10.0.0.9 -A neutron-l3-agent-OUTPUT -d x.x.x.125/32 -j DNAT --to-destination 10.0.0.20 -A neutron-l3-agent-OUTPUT -d x.x.x.122/32 -j DNAT --to-destination 10.0.0.17
  36. 36. Хватит безумия, выводы На развертывание системы с нуля уходит от двух недель до двух месяцев На хостинге должна быть возможность просто сделать OS Reload – это обязательно потребуется в первое время, несколько раз Целесообразность экономии при использовании одной машины неочевидна – у нас ушло полтора месяца работы одного человека Для небольших деплойментов – лучше подождать пару лет
  37. 37. Евгений Потапов http://itsumma.ru eapotapov@itsumma.ru http://twitter.com/eapotapov OpenStack изнутри
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×