Middleware

Middleware - это такая прослойка в технологическом стеке большого проекта Александр Котов

Цели доклада
Что такое Middleware?!
В каких web-проектах можно использовать Middleware?!
Каким образом Middleware встраивается в архитектуру web-приложений?!
Как (ещё можно) справиться с высокими нагрузками для web-проектов?!
И причём здесь Perl?!

Содержание
Эволюция успешного Web-проекта
Middleware в web-проектах. Примеры:
RPC
AMQP brokers
MVC V2 (MVC + SOA)
Internal APIs

Поехали!

Веб-проект. Идея.

Запускаем v1.0. Apache, CGI, MVC. index.cgi Apache MySQL Logic.pm Template

Появляется нагрузка. Проект растёт! $$$ index.cgi Apache MySQL Logic.pm Template

Адекватная реакция: усложняем архитектурный стек На 146%

Базу данных – на отдельные сервера $$$ index.cgi Apache MySQL Logic.pm Template

Memcached для Model mod_perl для View $$$ index_mp.cgi Apache MySQL Logic.pm Template Memcached mod_perl

Ну можно еще к CDNу подцепиться для статики-)) $$$ index_mp.cgi Apache MySQL Logic.pm Template Memcached mod_perl CDN

А. Еще вроде есть NoSQL. Это сейчас модно :) $$$ index_mp.cgi Apache MongoDB Logic.pm Template Memcached mod_perl CDN MySQL

Вставляем еще серверов! $$$ index_mp.cgi Apache Logic.pm Template mod_perl CDN index_mp.cgi Apache Logic.pm Template mod_perl MongoDB Memcached MySQL nginx

Ключевой момент – понятие Application Server $$$ index_mp.cgi Apache Logic.pm Template mod_perl CDN index_mp.cgi Apache Template mod_perl MongoDB Memcached MySQL nginx

Стоп. Самое время для определения Middleware ))
http://en.wikipedia.org/wiki/Middleware
Подпрогра́ммное обеспе́чение (англ. middleware; также переводится как промежу́точное ПО, связу́ющее ПО, межплатфо́рменное ПО) — в информатике, широко используемый термин, означающий слой или комплект технологического программного обеспечения для обеспечения взаимодействия между различными приложениями, системами, компонентами.
(ИМХО) Инфраструктура для архитектурного стека

RPC. Архитектура. Logic.pm index_mp.cgi Client RPC Server RPC Zend Client RPC

RPC. Техника.
RPC over HTTP
XML-RPC
JSON-RPC
Apache Thrift
Google Protocol Buffers
CORBA
...
http://en.wikipedia.org/wiki/Remote_procedure_call

RPC – так RPC! Гуляем -)) $$$ index_mp.cgi Apache Logic.pm Template mod_perl CDN index_mp.cgi Apache Template mod_perl MongoDB Memcached MySQL nginx - www nginx - rpc Client RPC Client RPC Server RPC Logic.pm Server RPC

Теперь нам не страшны высокие нагрузки. Временно.
Такая архитектура масштабируема по серверам
С увеличением нагрузки достаточно просто добавлять новые сервера в уязвимый слой
До поры до времени...
...но что же делать дальше?!

Заглянем внутрь AppServer ... Data Model
Billing.pm
AddAccount()
AddMoney()
Withdraw()
MonthReport()
DropAccount()
...
User.pm
AddUser()
GetUser()
UpdateUser()
GetStat()
DeleteUser()
...
Server RPC

Асинхронное выполнение заданий
Примеры:
User::AddUser() -> Billing::AddAccount()
CRON -> Status::UpdateStatuses()
Очередь асинхронных заданий:
В базе данных / файловой системе
В специальном менеджере очереди (AMQP)
Обработка очереди:
CRON или демоны
Специальные AMQP-обработчики

AMQP-брокеры. Определение.
AMQP (Advanced Message Queuing Protocol) — открытый протокол для передачи сообщений между компонентами системы.
Возможна маршрутизация двух типов:
Point-to-point
Publish-subscribe
Функции AMQP-брокеров:
Постановка сообщений в очередь
Маршрутизация
Надёжная и безопасная доставка до адресата

AMQP-брокеры. Техника.
Протокол: AMQP 1.0 final (Октябрь 2011)
http://www.amqp.org
Основные реализации: OpenAMQ, RabbitMQ, ...
Net::AMQP, AnyEvent::RabbitMQ, ...
Архитектура:

Окей. Вот такой у нас архитектурный стек Server RPC Business Logic (Perl) Data model Client RPC Frontend application Interservice communication

Растёт не только нагрузка, но и код, и число кодеров.
Проблема производительности приложения более-менее решена
Проблема грамотной организации разработки проекта с большим числом разработчиков внутри одного слоя архитектурного стека становится всё более и более актуальной
На повестку дня встаёт вопрос об изоляции различных подсистем внутри одного слоя друг от друга

Декомпозиция процесса разработки MVC 1.0 MVC 1.1 Server RPC Business Logic (Perl) Data model Client RPC Frontend application Interservice communication App 1 App 2 CS1 Interservice communication BS4 DM4 CS2 CS5 CS3 CS4 BS5 DM5

Переход к MVC 2.0 MVC 1.0 MVC 1.1 MVC 2.0 Server RPC Business Logic (Perl) Data model Client RPC Frontend application Interservice communication App 1 App 2 CS1 Interservice communication BS4 DM4 CS2 CS5 CS3 CS4 BS5 DM5 App 1 App 2 CS1 Interservice communication BS4 DM4 CS2 CS5 CS3 CS4 BS5 DM5 BS1 BS2 DM2 BS3

Следствия
Изоляция различных подсистем друг от друга
Возможность изоляции вплоть до уровня разных центров разработки и дата-центров
Возможность разбить большой проект на команды по 5-6 человек
Прозрачность и управляемость разработки
Резкое увеличение значимости поддержки API различных подсистем

Параллельно, развиваем внешние API...

Есть внешние API. И есть RPC. Две сущности..
Внешний API:
Трансляция подмножества результатов RPC-вызовов (то, что не жалко давать) наружу
Data -> RPC -> Frontend APIApp -> External consumer
RPC:
Полный интерфейс к данным, не подмножество
RPC Клиент и Сервер должны быть в одном VPN
Data -> RPC -> Internal consumer

А мы начнём создавать Internal API вместо RPC!!! Basic Service Internal API Data App External API (just filter)

ЙААААЗЬ!!!
Здесь должна была бы быть картинка с архитектурой по результатам эволюции веб-проекта, но она оказалась слишком насыщенной...
Поэтому здесь другая картинка:

Нагрузка + Middleware = Успешный веб-проект
Нагрузка, => проект востребован, => успешен
Проблемы решаются организацией масштабируемой архитектуры
Middleware, => грамотная разработка, => проект развивается управляемо и прозрачно, => успешно
RPC, Internal API, External API
Inter-service communications, AMQP brokers
Декомпозиция разработки, MVC 2.0
А причём здесь Perl?! :-)

Спасибо! Вопросы?!

Middleware

by megakott on Dec 17, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

Statistics

Middleware — Presentation Transcript