"Cocaine — облачная платформа Яндекса". Андрей Сибирёв, Яндекс

2758.933194
2-8-15-2
Сибирёв Андрей
1734,45
2-8-7
Co caine Clouds
A Cl oser Look

Мы делаем инфраструктуру.
3

Как и десять лет назад, обычно инфраструктура
представляет из себя бардак.
Немного истории
4
©SimpleDesktops.com

При этом, инфраструктура является основой
любого современного бизнеса.
4

При этом, инфраструктура является основой
любого современного бизнеса.
Кажется, что-то здесь не так.
4

Компании начинают с небольшого количества
серверов.
В начале был сервер
5

Компании начинают с небольшого количества
серверов.
Постепенно парк серверов растёт, вместе с
ростом пользовательской базы и,
следовательно, нагрузки.
5

Рано или поздно, компания обнаруживает у
себя кучу разнородного железа.
6

И если его использование документировано и
учтено, то всё хорошо.
6

И если его использование документировано и
учтено, то всё хорошо.
Но такое встречается редко.
6

Разнообразие — это великое зло.
7

В программах есть ошибки.
И на сервере был софт
8

Ошибки чинят и выпускают новые версии
программ, на радость пользователям.
8

Ошибки чинят и выпускают новые версии
программ, на радость пользователям.
Правда, эти новые версии сначала нужно
пользователям доставить.
8

Очевидно, чтобы выкатить новую версию
программы, нужна интеллектуальная система
деплоймента приложений.
9

Например, пять тысяч строк на Perl и Rsync!
9

Например, пять тысяч строк на Perl и Rsync!
На самом деле, нет.
9

Rsync — не инструмент деплоймента.
10

Программы, в которых есть ошибки, ломаются в
самое неподходящее время.
И софт был не очень
11

После работы пяти тысяч строк на Perl понять
где и что именно сломалось невозможно.
11

После работы пяти тысяч строк на Perl понять
где и что именно сломалось невозможно.
Бардак только что стал в два раза больше.
11

Человечество изобрело мониторинг и метрики,
чтобы такого никогда не было.
12

Только об этом надо было думать в самом
начале.
12

Только об этом надо было думать в самом
начале.
Потому что невозможно управлять хаосом.
12

Мониторинг — это контроль.
13

Иногда программисты пишут быстрые
программы.
Утилизация ресурсов
14

программы.
Звучит, вроде бы, хорошо, но, на самом деле,
это не всегда так.
14

программы.
Звучит, вроде бы, хорошо, но, на самом деле,
это не всегда так.
Обогревать датацентры серверами — не самая
хорошая экономическая модель.
14

Ваше приложение попало на главную страницу
Хабра.
Пики нагрузки
15

Хабра.
И тысяча пользователей превратилась в
пятьдесят тысяч. Вот это да, стартап окупился
за одну ночь!
15

Хабра.
И тысяча пользователей превратилась в
пятьдесят тысяч. Вот это да, стартап окупился
за одну ночь!
То есть, я хотел сказать «503 Service Temporarily
Unavailable».
15

Единообразие — это гибкость.
16

Модульная архитектура, унифицированные
вычислительные ресурсы: слоты, слайсы,
юниты.
Cloud
18

юниты.
Детерминированная система деплоймента
приложений.
Cloud
18

юниты.
Детерминированная система деплоймента
приложений.
Тесты, метрики и мониторинг. Мониторинг,
метрики и тесты.
Cloud
18

Like an OS
19

Kernel
Like an OS
19

Kernel
Drivers
Like an OS
19

Kernel
Drivers
Resource Managers
Like an OS
19

Kernel
Drivers
Resource Managers
API
Like an OS
19

Kernel
Drivers
Resource Managers
API
Userland
Like an OS
19

Kernel
Drivers
Resource Managers
API
Userland
Apps
Like an OS
19

Аналогичны модулям ядра в Linux.
Сервисы
20

Logging, Storage, Search & Indexing, URL
Fetching, Geolocation, ...
Сервисы
20

Logging, Storage, Search & Indexing, URL
Fetching, Geolocation, ...
Теперь все приложения — тоже сервисы.
Сервисы
20

Discovery & Arbitration. Для обращения к
сервису нужно знать только его имя.
Локатор
21

Мы отказались от IDL, все метаданные о
сервисе приложение получает в рантайме.
Локатор
21

Мы отказались от IDL, все метаданные о
сервисе приложение получает в рантайме.
HTTP/2.0-like RPC. Непрозрачные бинарные
потоки, мультиплексирование, расширяемость,
распространённость.
Локатор
21

Сервисы — это абстрактные фронтэнды к
разнообразным функциям инфраструктуры.
Плагины
22

Logging Service может быть реализован как
через Syslog, так и через Logstash.
Плагины
22

Logging Service может быть реализован как
через Syslog, так и через Logstash.
Смена реализации делается через изменение
конфига. Код приложений остаётся
неизменным.
Плагины
22

Система хранения — это фундамент для любой
облачной платформы.
Storage Service
23

Самое главное, такая система должна быть
надёжной, включая защиту от котиков и
безумных экскаваторщиков.
Storage Service
23

Самое главное, такая система должна быть
надёжной, включая защиту от котиков и
безумных экскаваторщиков.
Мы используем Elliptics.
Storage Service
23

Надёжнее, чем молитва.
Elliptics
24

Вторичные индексы, стриминг, кэш, server-side
processing и все остальные ключевые слова из
других систем хранения данных.
Elliptics
24

Вторичные индексы, стриминг, кэш, server-side
processing и все остальные ключевые слова из
других систем хранения данных.
И, главное, защита от атомной войны!
Elliptics
24

Контролирует работу приложений — доставка
на ноды, конфигурация, управление жизненным
циклом.
Node Service
25

циклом.
Собирает и хранит метрики и статистику о
работе приложений для балансировщика.
Node Service
25

циклом.
Собирает и хранит метрики и статистику о
работе приложений для балансировщика.
Поддерживаются процессы или контейнеры.
Node Service
25

Контейнеры — это легковесная виртуализация.
Нет гипервизора, все контейнеры делят одно
ядро.
Контейнеры
26

ядро.
Процессы работают в изолированных
неймспейсах: pid, uid, ipc, network, ﬁlesystem,
mounts, ...
26

ядро.
Процессы работают в изолированных
неймспейсах: pid, uid, ipc, network, ﬁlesystem,
mounts, ...
Запуск контейнера происходит в сотни раз
быстрее, чем запуск виртуальной машины.
26

Стандарт распространения приложений на базе
Linux Containers.
Docker
27

Linux Containers.
Поддерживается Red Hat, Rackspace, Cloudﬂare,
Ebay, Mozilla, OpenStack, Chef, Puppet, ...
Docker
27

Linux Containers.
Поддерживается Red Hat, Rackspace, Cloudﬂare,
Ebay, Mozilla, OpenStack, Chef, Puppet, ...
Единый контейнер, который будет работать как
на ноутбуке разработчика, так и на кластере из
сотен машин.
Docker
27

Балансировка в ядре: IPVS, IPv6, динамические
веса, мгновенная реакция на изменения в
кластере.
28

Балансировка в ядре: IPVS, IPv6, динамические
веса, мгновенная реакция на изменения в
кластере.
Routing Groups. Расщепление траффика между
несколькими интерфейсно-совместимыми
приложениями.
28

Доступ к сервисам по токенам, аудит и,
следовательно, биллинг.
Планы на будущее
29

Поддержка Ruby, Racket и Java.
29

Поддержка Ruby, Racket и Java.
HTTP-only режим.
29

Спасибо за внимание

31
Андрей Сибирёв
Руководитель службы
разработки облачных
технологий
kobolog@yandex-team.ru
@kobolog
kobolog
github.com/cocaine
© ООО «Яндекс», 2013

"Cocaine — облачная платформа Яндекса". Андрей Сибирёв, Яндекс

Recommended

Recommended

More Related Content

Similar to "Cocaine — облачная платформа Яндекса". Андрей Сибирёв, Яндекс

Similar to "Cocaine — облачная платформа Яндекса". Андрей Сибирёв, Яндекс (20)

More from Yandex

More from Yandex (20)

"Cocaine — облачная платформа Яндекса". Андрей Сибирёв, Яндекс